x-crawl简介
x-crawl是一个灵活的Node.js AI辅助爬虫库。它具有灵活的使用方式和强大的AI辅助功能,使爬虫工作更加高效、智能和便捷。
x-crawl主要由两部分组成:
- 爬虫: 包含爬虫API和各种功能,即使不依赖AI也可以正常工作。
- AI: 目前基于OpenAI提供的大型AI模型,AI简化了许多繁琐的操作。
主要特性
- 🤖 AI辅助 - 强大的AI辅助功能使爬虫工作更高效、智能和便捷。
- 🖋️ 灵活编写 - 单一的爬取API适用于多种配置,每种配置方法都有其优势。
- ⚙️ 多种用途 - 支持爬取动态页面、静态页面、接口数据和文件数据。
- ⚒️ 控制页面 - 爬取动态页面支持自动化操作、键盘输入、事件操作等。
- 👀 设备指纹 - 零配置或自定义配置,避免指纹识别以防止从不同位置识别和跟踪我们。
- 🔥 异步同步 - 无需切换爬取API即可实现异步或同步爬取模式。
- ⏱️ 间隔爬取 - 无间隔、固定间隔和随机间隔,决定是否高并发爬取。
- 🔄 失败重试 - 自定义重试次数,避免因临时问题导致爬取失败。
- ➡️ 轮换代理 - 失败重试时自动轮换代理,可自定义错误次数和HTTP状态码。
- 🚀 优先队列 - 基于单个爬取目标的优先级,可以先于其他目标爬取。
- 🧾 爬取信息 - 可控的爬取信息,会在终端输出彩色字符串信息。
- 🦾 TypeScript - 自带类型定义,通过泛型实现完整的类型。
学习资源
-
官方文档
-
GitHub仓库
-
示例代码
x-crawl提供了详细的示例代码,展示了如何结合爬虫和AI进行高效爬取:
import { createCrawl, createCrawlOpenAI } from 'x-crawl'
// 创建爬虫应用
const crawlApp = createCrawl({
maxRetry: 3,
intervalTime: { max: 2000, min: 1000 }
})
// 创建AI应用
const crawlOpenAIApp = createCrawlOpenAI({
clientOptions: { apiKey: process.env['OPENAI_API_KEY'] },
defaultModel: { chatModel: 'gpt-4-turbo-preview' }
})
// crawlPage用于爬取页面
crawlApp.crawlPage('https://www.airbnb.cn/s/select_homes').then(async (res) => {
const { page, browser } = res.data
// 等待元素出现在页面上并获取HTML
const targetSelector = '[data-tracking-id="TOP_REVIEWED_LISTINGS"]'
await page.waitForSelector(targetSelector)
const highlyHTML = await page.$eval(targetSelector, (el) => el.innerHTML)
// 让AI获取图片链接并去重
const srcResult = await crawlOpenAIApp.parseElements(
highlyHTML,
`Get the image link, don't source it inside, and de-duplicate it`
)
browser.close()
// crawlFile用于爬取文件资源
crawlApp.crawlFile({
targets: srcResult.elements.map((item) => item.src),
storeDirs: './upload'
})
})
为什么选择x-crawl?
随着网络技术的快速发展,网站更新变得越来越频繁,类名或结构的变化常常给依赖这些元素的爬虫带来相当大的挑战。在这种背景下,结合AI技术的爬虫成为了应对这一挑战的有力武器。
x-crawl结合了传统爬虫的灵活性和AI的智能性,即使在网站更新后类名或结构发生变化,也能正常爬取数据。这是因为我们不再依赖固定的类名或结构来定位和提取所需信息,而是让AI理解和解析网页的语义信息,从而更高效、智能和便捷地提取所需数据。
结语
x-crawl为开发者提供了一个强大而灵活的AI辅助爬虫解决方案。无论您是初学者还是经验丰富的开发者,x-crawl都能帮助您更轻松地完成爬虫任务。欢迎访问x-crawl GitHub仓库了解更多信息,如果您觉得x-crawl有帮助,别忘了给项目一个star哦! 🌟
