月度归档: 2021年8月

使用Nutch搭建自己的搜索引擎,开源软件推荐

今天给大家分享一下如何使用Nutch搭建自己的搜索引擎,Nutch 是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。 本指南设置了一个非集群Nutch爬虫程序,该程序通过HBase存储其数据。我们将不学习如何设置Hadoop等,只学习在一台机器上抓取和索引网站的最低要求。 使用软件 Nutch – 爬虫(获取和解析网站) HBase – Nutch的文件系统存储(基本上是Hadoop…