相关项目
scrapy
Scrapy是一个基于BSD许可的高效网络爬虫和结构化数据提取框架。它使用Python 3.8+开发，支持Linux、Windows、macOS和BSD等多种操作系统。Scrapy适用于数据挖掘、网站监控和自动化测试等多种场景。项目提供全面的文档和活跃的社区支持，同时也有商业支持选项。作为开源项目，Scrapy欢迎开发者贡献，并严格遵守行为准则。目前，已有众多知名企业将Scrapy应用于大规模网络数据采集工作。
Gerapy
Gerapy是一个基于Scrapy、Scrapyd和Django的分布式爬虫管理平台。它提供可视化的爬虫配置和部署功能，包括项目管理、客户端管理和任务监控。Gerapy支持创建、配置和部署Scrapy项目，实现高效的分布式爬虫管理。该平台还具备定时任务调度和权限管理功能，适用于需要大规模爬虫管理的团队。