#CommonCrawl
fundus - 轻量级Python新闻爬虫库
Fundus新闻爬虫Python开源项目CommonCrawlGithub
Fundus是一个开源的Python新闻爬虫库，支持从在线网站和CC-NEWS数据集抓取文章。它覆盖多个英语新闻源，包括美英主要出版商。Fundus的文本提取精度高，F1分数达97.69。该工具使用简单，支持自定义过滤，并鼓励社区贡献。Fundus适用于新闻分析、媒体监测、学术研究等领域，为用户提供高质量的新闻数据采集解决方案。
metaclip-b16-fullcc2.5b - CLIP训练数据解构与MetaCLIP模型应用
图像分类HuggingfaceCommonCrawl开源项目模型Hugging FaceGithubMetaCLIP数据管理
MetaCLIP模型利用25亿个CommonCrawl数据点，在共享嵌入空间中实现图像与文本的链接应用。实现零样本图像分类、文本驱动的图像检索及图像驱动的文本检索。《Demystifying CLIP Data》论文揭示了CLIP数据训练方法，促进多模态应用发展。