Data-Provenance-Collection

跨学科倡议推动AI训练数据集透明度和责任使用

Data Provenance Initiative AI数据集透明度文档化负责任使用 Github 开源项目

Data-Provenance-Collection项目致力于提高AI训练数据集的透明度和负责任使用。该项目审计了44个数据集合,涵盖1800多个文本微调数据集,记录了其来源、许可和创建者等元数据。开发者可通过项目脚本筛选符合许可和特征要求的数据集,促进AI训练数据的规范使用。

DataDepot - 智能化研究数据管理与洞察平台

AI分析AI工具个性化显示信息整合数据洞察研究资产

DataDepot作为智能研究数据管理平台，整合多元化研究资源，提供一站式访问和管理服务。平台结合AI技术，实现海量信息快速提取、关键洞察分析，大幅优化研究流程和工作效率。同时，DataDepot打造可信研究市场，助力研究者拓展全球影响力，建立专业社群。通过动态展示、个性化推荐和AI辅助分析等功能，DataDepot致力于提升各行业用户对有价值信息的获取和应用能力。

datacomp - 多模态预训练数据集构建的创新竞赛

CLIP模型DataCompGithub图像文本对开源项目数据集机器学习

DataComp是一项聚焦于多模态预训练数据集设计的竞赛。参赛者需从海量未筛选的图像-文本对中构建高质量数据集，以提升CLIP模型在下游任务的表现。竞赛设有两个赛道和四个规模，适应不同计算资源需求。项目提供完整工具包，涵盖数据获取、模型训练和评估等环节，支持参与者进行数据集创新。

syntheticAIdata - 为计算机视觉AI模型提供大规模合成训练数据的平台

AIAI工具合成数据数据生成模型训练计算机视觉

syntheticAIdata是一个为企业提供合成数据解决方案的平台，主要用于训练视觉AI模型。该平台能够生成大规模高质量数据，具有自动注释、成本效益高等特点。它采用无代码设计，操作简便。使用syntheticAIdata不仅可以降低数据获取成本，还能保护隐私、确保合规，加快AI产品开发进程。平台支持与主流云服务一键集成，便于用户快速部署和使用。syntheticAIdata通过模拟真实场景生成数据，有效规避了隐私和监管风险。对于企业来说，这是一个能够加速AI项目落地、提高模型性能的实用工具。

AI-Catalog - AI工具和平台集合，涵盖图像生成、文本总结、代码辅助等功能

AI-CatalogAI工具Github图片生成多模态开源项目总结工具

本目录包含各种AI工具和平台，涵盖图像生成、文本总结、代码辅助等功能，适合创作者、开发者和教育者使用。工具列表持续更新，并接受新模型的拉取请求，确保项目的多样性和最新性。

RedPajama-Data - 开放大规模多语言数据集助力大型语言模型训练

GithubRedPajama-Data-v2大语言模型开放数据集开源项目数据质量自然语言处理

RedPajama-Data-v2是一个包含30万亿tokens的开放数据集，用于训练大型语言模型。该数据集涵盖了超过100B的文本文档，来源于84个CommonCrawl快照。它包含英语、德语、法语、意大利语和西班牙语5种语言的内容，并提供多种质量信号和去重处理。项目提供完整的数据处理流程，包括准备工件、计算质量信号和去重等步骤，为语言模型研究提供高质量的大规模语料资源。

awesome-remote-sensing-change-detection - 遥感变化检测数据集与代码资源汇总

Github多光谱开源项目数据集深度学习遥感变化检测高分辨率

项目整理了遥感变化检测领域的关键资源,包括数据集、算法代码和竞赛信息。数据类型覆盖多光谱、高光谱和3D等,同时收录了传统方法和深度学习的实现代码。为该领域研究和应用提供全面参考,内容持续更新。

DeepWorks - 深度学习开源项目集锦

Data ScienceDeepWorksGithubProdramp人工智能开源项目机器学习

DeepWorks是一个覆盖广泛的深度学习开源项目和资源平台，包含数据处理教程、Gradio Tabbed UI开发、卫星图像处理、LLM开源模型、NeRF项目和生成式AI等。用户可以通过Prodramp YouTube频道获取更多数据科学、机器学习和人工智能相关视频。平台还包括多种深度学习工具和开发者指南，如OpenAI Whisper、Stable Diffusion及TorchStudio。非常适合希望深入学习和实践深度学习技术的开发者和研究人员。

instruction-datasets - 大语言模型指令微调数据集汇总

GithubInstruction TuningNLP多语言大语言模型开源项目数据集

该项目整理了大语言模型指令微调所需的多种数据集，包括金标准、银标准/LM生成和偏好数据集。内容涵盖多语言和多模态任务，提供指令-响应对和人类偏好评分等资源。这些数据集有助于提升模型的指令跟随、对话和任务执行能力，为NLP研究和开发提供重要参考。

Evidently AI - 开源AI监控与机器学习观测平台

AI工具AI开发Evidently AI数据偏移数据质量机器学习模型监控模型训练热门

Evidently AI是一个开源的AI质量协作平台，旨在评估、测试和监控机器学习、LLM及通用AI应用。此平台帮助用户管理AI产品质量，维护模型性能，及时识别及应对数据偏移和异常。它支持文本、表格数据和嵌入式数据的监控，适用于各种规模的公司，提供直观的界面与丰富的可视化功能。

hh-rlhf - AI助手有用性和安全性的人类偏好数据以及人工生成的红队测试数据

AI助手Github人工智能人类反馈开源项目数据集红队测试

hh-rlhf项目开源两类数据集:AI助手有用性和安全性的人类偏好数据,以及人工生成的红队测试数据。这些数据集旨在改进AI助手的性能和安全性。数据包含敏感话题,仅供研究使用。项目提供数据格式说明和使用指南,支持AI安全研究。

相关项目

推荐项目

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。

使用协议隐私政策广告服务

投诉举报邮箱: service@vectorlightyear.com