Norconex Crawlers：功能强大且灵活的网络和文件系统爬虫工具

crawlers

Norconex Crawlers简介

Norconex Crawlers是一套功能强大且灵活的网络和文件系统爬虫工具，专为收集、解析和操作来自网络或文件系统的数据而设计。这套工具可以将收集到的数据存储到用户选择的各种数据仓库中，例如搜索引擎。Norconex Crawlers以其灵活性、强大功能、易于扩展和可移植性而闻名，可以在任何操作系统上通过命令行和基于文件的配置使用，也可以通过文档完善的API嵌入到Java应用程序中。

Norconex Crawlers的主要特点

功能全面：支持网络爬虫和文件系统爬虫
灵活性高：可以根据用户需求进行定制和配置
易于扩展：提供了丰富的API，方便开发者进行二次开发
可移植性强：可在各种操作系统上运行
使用方便：支持命令行操作和基于文件的配置
文档完善：提供详细的使用文档和API文档

Norconex Crawlers的项目结构

Norconex Crawlers是一个包含多个子项目的mono-repo，所有相关的爬虫项目都被整合在一起。这种结构使得项目的管理和发布更加统一和高效。以下是Norconex Crawlers的主要子项目：

nx-crawler-core：爬虫核心模块
nx-crawler-fs：文件系统爬虫模块
nx-crawler-web：网络爬虫模块
nx-importer：数据导入模块
nx-committer-*：各种数据提交器模块，如Amazon CloudSearch、Apache Kafka、Azure Cognitive Search等

每个子项目都有其特定的功能和用途，共同构成了Norconex Crawlers的完整生态系统。

Norconex Crawlers的使用方法

1. 安装和配置

要使用Norconex Crawlers，首先需要从官方网站下载最新的稳定版本。目前，最新的稳定版本是3.x版本。您可以通过以下链接获取：

Norconex Crawlers官方下载页面

下载完成后，根据您的操作系统和需求进行安装和配置。Norconex Crawlers支持多种运行方式，包括命令行和API调用。

2. 创建爬虫配置

Norconex Crawlers使用基于XML的配置文件来定义爬虫的行为。以下是一个简单的网络爬虫配置示例：

<?xml version="1.0" encoding="UTF-8"?>
<collector id="MyCollector">
  <crawlerDefaults>
    <startURLs>
      <url>https://www.example.com</url>
    </startURLs>
  </crawlerDefaults>
  <crawler id="MyCrawler">
    <documentFilters>
      <filter class="com.norconex.crawler.core.filter.impl.RegexReferenceFilter"
              onMatch="include" caseSensitive="false">
        https://www\.example\.com/.*
      </filter>
    </documentFilters>
  </crawler>
</collector>

这个配置文件定义了一个简单的网络爬虫，它从https://www.example.com开始爬取，并只包含匹配指定正则表达式的URL。

3. 运行爬虫

配置完成后，您可以通过命令行运行爬虫。例如：

java -jar norconex-crawler.jar -c /path/to/config.xml

这将启动爬虫，并根据配置文件中的设置开始爬取过程。

4. 数据处理和存储

Norconex Crawlers提供了多种数据处理和存储选项。您可以使用内置的导入器（Importer）来解析和处理爬取到的数据，然后使用各种提交器（Committer）将数据存储到不同的目标系统中，如Elasticsearch、Solr、SQL数据库等。

例如，要将爬取的数据存储到Elasticsearch中，您可以在配置文件中添加以下内容：

<committer class="com.norconex.committer.elasticsearch.ElasticsearchCommitter">
  <indexName>my_index</indexName>
  <typeName>my_type</typeName>
  <elasticsearch>
    <nodes>
      <node>http://localhost:9200</node>
    </nodes>
  </elasticsearch>
</committer>

Norconex Crawlers的高级功能

1. 自定义过滤器

Norconex Crawlers允许用户创建自定义过滤器来控制爬取过程。您可以基于URL、内容类型、文档大小等条件来过滤文档。例如：

<documentFilters>
  <filter class="com.norconex.crawler.core.filter.impl.ExtensionReferenceFilter"
          onMatch="exclude">
    pdf,doc,docx
  </filter>
</documentFilters>

这个过滤器将排除所有PDF和Word文档。

2. 多线程爬取

为了提高爬取效率，Norconex Crawlers支持多线程爬取。您可以在配置文件中设置线程数：

<crawler id="MyCrawler">
  <numThreads>5</numThreads>
</crawler>

3. 爬取延迟和礼貌性设置

为了避免对目标网站造成过大压力，Norconex Crawlers提供了爬取延迟和礼貌性设置：

<crawler id="MyCrawler">
  <delay default="5000" />
  <robotsTxt ignore="false" />
</crawler>

这个配置设置了5秒的默认爬取延迟，并遵守robots.txt规则。

4. 数据提取和转换

Norconex Crawlers的导入器模块提供了强大的数据提取和转换功能。您可以使用XPath、正则表达式或CSS选择器来提取特定的数据：

<importer>
  <postParseHandlers>
    <handler class="com.norconex.importer.handler.tagger.impl.XPathTagger">
      <xpath expression="//meta[@name='description']/@content" name="meta-description" />
    </handler>
  </postParseHandlers>
</importer>

这个配置将从HTML文档中提取meta description并将其存储为meta-description字段。