爬虫
最快的网络爬虫和索引器。为数据整理工作负载提供基础构建模块。
- 并发
- 流式处理
- 去中心化
- 无头 Chrome 渲染
- HTTP 代理
- 定时任务
- 订阅
- 智能模式
- 黑名单、白名单和深度预算
- 动态 AI 提示脚本无头执行与步骤缓存
- 使用 spider_utils 进行 CSS 抓取
- 更新日志
入门
最简单的入门方式是使用 Spider Cloud 托管服务。查看 spider 或 spider_cli 目录了解本地安装。您还可以使用 spider-nodejs 在 Node.js 中使用 spider,或使用 spider-py 在 Python 中使用。
基准测试
请参阅 基准测试。
示例
请参阅 示例。
许可证
本项目采用 MIT 许可证。
贡献
请参阅 贡献指南。