Project Icon

crawlee-python

Python网络爬虫和浏览器自动化库

Crawlee是一个Python网络爬虫和浏览器自动化库,为HTTP和无头浏览器爬取提供统一接口。它支持自动并行爬取、错误重试和代理轮换等功能,具有简洁的API设计和完整的类型提示。基于Asyncio构建,Crawlee适用于各种网页爬取场景,从静态HTML到动态JavaScript网站均可高效处理。

twitter-api-client - Python实现的全面Twitter API开发库
GithubPythonTwitter API开源项目数据抓取社交媒体自动化
twitter-api-client是一个Python库,实现了Twitter的v1、v2和GraphQL API。该库支持账户自动化、数据抓取、搜索和Spaces音频捕获等功能,可用于构建Twitter应用和数据分析工具。它简化了开发流程,使开发者能更便捷地使用Twitter API。
weiboSpider - 多功能新浪微博数据采集工具
GithubPython开源项目微博内容微博爬虫数据采集用户信息
weiboSpider是一款开源的新浪微博数据采集工具。它能够批量获取一个或多个用户的微博数据,涵盖用户信息和微博内容。支持将采集结果保存为txt、csv、json等多种文件格式,也可存入数据库。同时具备下载微博图片和视频的功能。该工具配置灵活,操作简便,适合各类需要微博数据的用户和研究人员使用。
metascraper - 优化网页元数据提取的多功能库
GithubJavaScriptmetascraper元数据提取开源库开源项目网页抓取
metascraper是一个高效的网页元数据提取库,支持多种格式如Open Graph、Microdata、RDFa等。它采用灵活的规则系统,可自定义和扩展,对在线文章有较高准确率。该库提供HTML解析和多级回退机制,用户可根据需求组合使用不同规则包。
tweepy - 简化Python Twitter API开发的开源库
GithubPythonTweepyTwitter API开发工具开源项目社交媒体
Tweepy是一个Python库,用于访问Twitter API。支持Python 3.7至3.11版本,通过pip安装。提供同步和异步操作,适用于多种Twitter应用开发。项目在GitHub开源,具有社区支持和详细文档。
gpt-crawler - 网站爬取工具 快速构建GPT知识库
GPT CrawlerGithubOpenAI开源项目知识文件生成网站爬虫自定义GPT
gpt-crawler是一款网站爬取工具,用于生成知识文件并创建定制GPT或AI助手。支持灵活配置爬取参数,包括URL、选择器和页面限制。生成的数据可上传至OpenAI平台,快速构建专属GPT或AI助手。工具提供本地运行、Docker容器和API服务等多种使用方式,适用于不同场景。开发者和内容创作者可借此高效构建特定领域的AI应用。
maxun - 无代码数据爬虫
GithubMaxun开源项目无代码机器人网页抓取网页数据提取
Maxun 是一款开源的网页数据提取平台,无需编码即可快速设置机器人,实现自动化数据抓取。支持数据列表、文本提取和网页截图等功能,还能进行计划任务和配置反爬虫。能够通过外部代理绕过反爬虫保护,并与 Google 表单集成。提供本地和云端版本,云版本支持大规模数据抓取和自动代理切换,满足不同用户需求。
Browse AI - 轻松实现网站数据提取和变化监控
AI工具Browse AI数据提取无代码网页抓取自动化
Browse AI提供无代码网站数据抓取和监控服务。用户可在2分钟内训练机器人,从任意网站提取数据、监控变化并转化为API。支持数据提取、定时监控、预建机器人等功能,可集成7000多个应用。适用于市场研究、竞争分析、潜在客户生成等场景,受到37万多个用户信赖。操作简单,功能强大,是获取网络数据的理想工具。
proxy_pool - 高效自动化的爬虫代理IP池项目
API服务DockerGithubProxyPool免费代理开源项目爬虫代理IP池
ProxyPool是一个开源爬虫代理IP池项目,自动采集、验证和管理免费代理IP。项目提供API和CLI接口,支持多种数据库,可扩展代理源。具备定时采集、自动验证等功能,提升爬虫效率和稳定性。支持多个Python版本,提供Docker部署,适合爬虫开发使用。
fundus - 轻量级Python新闻爬虫库
CommonCrawlFundusGithubPython开源项目新闻爬虫
Fundus是一个开源的Python新闻爬虫库,支持从在线网站和CC-NEWS数据集抓取文章。它覆盖多个英语新闻源,包括美英主要出版商。Fundus的文本提取精度高,F1分数达97.69。该工具使用简单,支持自定义过滤,并鼓励社区贡献。Fundus适用于新闻分析、媒体监测、学术研究等领域,为用户提供高质量的新闻数据采集解决方案。
claude-api-py - 使用Anthropic的Claude API与Python项目无缝集成
APIAnthropicClaude LLMGithubPython开源项目聊天机器人
claude-api-py是一个非官方库,可以让Python开发者在其项目中与Anthropic的Claude LLM互动。该库支持获取组织信息、管理对话、发送消息和创建附件等功能,并且目前是同步操作。项目在积极开发中,未来将增加异步模式和更好的缓存功能。使用该库需要从Claude网站获取sessionKey,并安装必要依赖。详细使用示例有助于快速上手。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号