一个网络爬虫和浏览器自动化库

Crawlee涵盖了您的爬虫和抓取的全过程，帮助您快速构建可靠的爬虫。

即使使用默认配置，您的爬虫也会表现得像人类一样，能够避开现代机器人保护机制的检测。Crawlee为您提供了爬取网页链接、抓取数据并将其存储到磁盘或云端的工具，同时保持可配置性以满足您项目的需求。

Crawlee作为crawlee NPM包提供。

👉 在Crawlee项目网站查看完整文档、指南和示例 👈

Python版Crawlee现已开放早期使用。🐍 👉 查看源代码 👈

安装

我们建议访问Crawlee文档中的介绍教程以获取更多信息。

Crawlee需要Node.js 16或更高版本。

使用Crawlee CLI

尝试Crawlee的最快方法是使用Crawlee CLI并选择入门示例。CLI将为您安装所有必要的依赖项并添加样板代码供您使用。

npx crawlee create my-crawler

cd my-crawler
npm start

手动安装

如果您更喜欢将Crawlee添加到您自己的项目中，请尝试以下示例。因为它使用了PlaywrightCrawler，我们还需要安装Playwright。为了减小安装包大小，Crawlee并未捆绑Playwright。

npm install crawlee playwright

import { PlaywrightCrawler, Dataset } from 'crawlee';

// PlaywrightCrawler使用Playwright库控制的无头浏览器爬取网页。
const crawler = new PlaywrightCrawler({
    // 使用requestHandler处理每个爬取的页面。
    async requestHandler({ request, page, enqueueLinks, log }) {
        const title = await page.title();
        log.info(`${request.loadedUrl}的标题是'${title}'`);

        // 将结果以JSON格式保存到 ./storage/datasets/default
        await Dataset.pushData({ title, url: request.loadedUrl });

        // 从当前页面提取链接
        // 并将它们添加到爬取队列中。
        await enqueueLinks();
    },
    // 取消注释此选项以查看浏览器窗口。
    // headless: false,
});

// 将第一个URL添加到队列并开始爬取。
await crawler.run(['https://crawlee.dev']);

默认情况下，Crawlee将数据存储在当前工作目录的./storage中。您可以通过Crawlee配置覆盖此目录。有关详细信息，请参阅配置指南、请求存储和结果存储。