Project Icon

waybackpack

命令行工具助力获取网站完整历史版本

waybackpack是一款功能丰富的命令行工具,用于从Wayback Machine存档中获取特定URL的完整历史版本。该工具支持日期范围设置、重定向处理和重复内容跳过等功能,并允许自定义用户代理和错误处理。基于Python开发,依赖少,跨平台兼容性强,为网站历史研究和数据存档提供了高效的解决方案。

chatgpt-backup - ChatGPT对话备份脚本,支持本地预览和调整偏移
ChatGPTGitHubGithub历史记录备份开源项目脚本
利用简单的客户端脚本备份ChatGPT对话历史,生成单一JSON文件。无需额外软件下载或安装,兼容Chrome和Firefox浏览器。提供清晰的操作步骤和进度日志,方便控制过程。支持脚本偏移调整,适应大量对话备份,并且代码完全可审计。适合离线查看历史记录和服务中断时使用。
scrapy - 开源Python网络爬虫和数据提取框架
GithubPythonScrapy开源框架开源项目数据抓取网络爬虫
Scrapy是一个基于BSD许可的高效网络爬虫和结构化数据提取框架。它使用Python 3.8+开发,支持Linux、Windows、macOS和BSD等多种操作系统。Scrapy适用于数据挖掘、网站监控和自动化测试等多种场景。项目提供全面的文档和活跃的社区支持,同时也有商业支持选项。作为开源项目,Scrapy欢迎开发者贡献,并严格遵守行为准则。目前,已有众多知名企业将Scrapy应用于大规模网络数据采集工作。
WeChatOpenDevTools-Python - Python重写的微信小程序和内置浏览器调试工具
F12Github开发工具开源项目微信小程序版本支持调试
WeChatOpenDevTools-Python是一个基于Python重写的微信开发工具,支持Windows和Mac平台上的微信小程序和内置浏览器调试。项目提供F12调试功能,兼容多个微信版本,并包含详细使用指南和常见问题解答。此开源项目仅供学习目的使用,旨在提高微信相关开发效率。
tools - 多功能在线Web开发工具集
DockerGithubWeb Tools在线工具开发工具开源项目桌面应用
Web Tools是一个开源的多功能在线Web开发工具集。该项目提供多种实用工具,支持在线使用和桌面应用程序。开发者可通过GitHub获取源码,也可使用Docker镜像快速部署。Web Tools设计旨在提升开发效率,满足Web开发者的日常需求。
Webtap.ai - AI赋能的网页数据抓取平台 实现无限制数据获取
AIAI工具Webtap数据采集网页抓取自然语言查询
Webtap.ai是一个创新的网页数据抓取平台,通过先进的AI技术实现全面的网页数据获取。平台支持自然语言查询,无需编码即可抓取数据。其功能包括自动解决验证码、数据识别转换、适应网站变化等,提供全方位的数据抓取解决方案。Webtap.ai支持多种数据导出格式,未来还将推出API接口,为用户带来灵活高效的数据获取体验。
gpt-crawler - 网站爬取工具 快速构建GPT知识库
GPT CrawlerGithubOpenAI开源项目知识文件生成网站爬虫自定义GPT
gpt-crawler是一款网站爬取工具,用于生成知识文件并创建定制GPT或AI助手。支持灵活配置爬取参数,包括URL、选择器和页面限制。生成的数据可上传至OpenAI平台,快速构建专属GPT或AI助手。工具提供本地运行、Docker容器和API服务等多种使用方式,适用于不同场景。开发者和内容创作者可借此高效构建特定领域的AI应用。
yagooglesearch - 智能模拟人类行为的Google搜索Python库
GithubGoogle搜索HTTP代理Python库yagooglesearch开源项目网页抓取
yagooglesearch是一个用于执行智能Google搜索的Python库。该工具模拟真实人类搜索行为,避免触发Google的限制机制。它提供可调节的客户端属性、HTTP 429检测与恢复、随机延迟、代理支持等功能,实现高效稳定的Google搜索。
web-check - 全面的网站情报分析与安全评估工具
GithubWeb-Check安全配置开源情报开源项目性能优化网站分析
Web-Check是一款综合性网站分析工具,提供深入的开源情报收集功能。它能够分析IP信息、SSL证书链、DNS记录、Cookie、爬虫规则等多个方面,帮助揭示潜在安全风险、了解服务器架构和技术栈。这个工具适用于网站管理员、安全研究人员和开发者,用于全面评估、优化和加强网站安全性。Web-Check通过直观的界面展示复杂数据,使用户能够轻松获取有价值的网站洞察。
crawlee-python - Python网络爬虫和浏览器自动化库
CrawleeGithubPython开源项目数据抓取网络爬虫自动化
Crawlee是一个Python网络爬虫和浏览器自动化库,为HTTP和无头浏览器爬取提供统一接口。它支持自动并行爬取、错误重试和代理轮换等功能,具有简洁的API设计和完整的类型提示。基于Asyncio构建,Crawlee适用于各种网页爬取场景,从静态HTML到动态JavaScript网站均可高效处理。
SiteBroker - 跨平台Python网站信息收集与渗透测试工具
GithubPython工具SiteBroker信息收集开源项目渗透测试网络安全
SiteBroker是一款Python开发的跨平台信息收集和渗透测试工具。它集成了Cloudflare检测、网站爬虫、反向IP查询、WHOIS查询、DNS检查、网站性能测试、子域名扫描等功能。该工具支持Docker部署,兼容Windows和Kali Linux系统,为网络安全分析提供自动化解决方案。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

白日梦AI

白日梦AI提供专注于AI视频生成的多样化功能,包括文生视频、动态画面和形象生成等,帮助用户快速上手,创造专业级内容。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

讯飞绘镜

讯飞绘镜是一个支持从创意到完整视频创作的智能平台,用户可以快速生成视频素材并创作独特的音乐视频和故事。平台提供多样化的主题和精选作品,帮助用户探索创意灵感。

Project Cover

讯飞文书

讯飞文书依托讯飞星火大模型,为文书写作者提供从素材筹备到稿件撰写及审稿的全程支持。通过录音智记和以稿写稿等功能,满足事务性工作的高频需求,帮助撰稿人节省精力,提高效率,优化工作与生活。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号