DongTai-agent-java
DongTai-agent-java是一个针对Java应用的数据采集工具。通过重写类字节码，工具收集必要数据并发送到dongtai-OpenAPI服务，随后由云引擎处理这些数据以检测安全漏洞。其主要组件包括管理代理生命周期和配置的agent.jar、进行字节码桩和数据处理的dongtai-core.jar、用于BootStrap ClassLoader注入的dongtai-inject.jar及用于请求和响应数据展示的dongtai-servlet.jar。广泛应用于DevOps、安全测试、第三方组件管理、代码审计及0 Day漏洞挖掘。
MediaCrawler
MediaCrawler是一款开源的社交媒体数据爬虫工具，支持小红书、抖音、快手等多个主流平台。该工具可采集视频、图片、评论等内容，提供关键词搜索、指定ID爬取等功能。项目采用Playwright技术简化逆向过程，并集成了登录态缓存、IP代理等实用特性。MediaCrawler为社交媒体数据分析提供了便捷的数据采集解决方案。
examples-of-web-crawlers
该项目汇集了多个Python爬虫实例，内容涵盖网页抓取、数据分析等领域。实例包括淘宝模拟登录、天猫商品数据爬取、微信自动消息发送和高清壁纸下载等。代码结构清晰，注释详尽，适合爬虫学习者参考。项目还介绍了多线程爬虫和代理池等进阶技术，为Python爬虫技能提升提供了实践途径。
TikTokDownloader
TikTokDownloader是一个开源项目，用于下载抖音和TikTok平台的无水印视频、图集和直播内容。它支持批量下载账号作品、收藏内容，并可采集详细数据。该工具提供命令行和Web界面，具有多线程下载、代理设置等功能，适合需要采集视频数据的用户使用。
Crawler
这是一个开源项目，专注于抖音、快手、哔哩哔哩等主流社交媒体平台的数据采集。项目提供API接口，支持关键词搜索、内容详情获取、评论采集和媒体资源下载。该项目旨在帮助开发者了解平台特性，强调合法合规使用，仅供学习和研究。
Nimble Data
Nimble Data提供专业的网络数据采集服务，包括高质量住宅代理IP和先进网络抓取工具。平台特色包括AI优化的代理基础设施和现代浏览器指纹技术。Nimble Pricing提供灵活的定价方案，支持针对网页、搜索引擎结果、电商数据和地图信息的数据采集。企业和开发者可以通过免费试用体验高效、灵活的数据采集解决方案。
Webscrape AI
Webscrape AI是一款智能网页数据采集工具，无需编程技能即可使用。用户只需输入目标URL和所需数据项，AI爬虫便能自动完成数据采集。该工具具有高精度、高效率、可定制化和成本效益等优势，适合各类企业使用。Webscrape AI提供基础版、专业版和批量版等多种订阅方案，是一个基于SaaS模式的自动化数据采集解决方案。
Aasaan
Aasaan是一个快速启用在线商店的电子商务平台。通过支持条形码扫描等功能，帮助商家高效管理库存和产品信息。平台简化了在线零售流程，使商家能轻松将业务拓展到互联网，扩大市场覆盖和销售机会。
PhantomBuster
PhantomBuster提供100多个自动化功能,用于数据采集和外联。该工具可从多个网站提取潜在客户信息、丰富数据并发送外联消息,无需编码即可使用。它可节省大量重复性工作时间,加速企业增长。目前已有超10万家企业使用PhantomBuster实现营销自动化。