热门
导航
快讯
推荐文章
热门
导航
快讯
推荐文章
#webdataset
audio-dataset
LAION发起的Audio Dataset Project致力于收集和处理大规模音频-文本对数据集。项目团队由Mila和UCSD的研究人员及全球贡献者组成,专注于数据收集、标准化处理和webdataset格式存储。该项目为CLAP等模型训练提供数据支持,并设有完善的贡献指南和进度跟踪系统,欢迎更多贡献者参与。
chug
chug是一个面向多模态数据训练的开源库,集成了webdataset和Hugging Face datasets的高效数据处理流程。它支持图像、文档和文本任务,提供实时PDF解码、灵活数据加载和预处理功能,并为文档阅读、视觉问答等任务设计了专用管道。尽管处于alpha阶段,chug已在多个PDF数据集上测试,可为大规模多模态模型训练提供有力支持。
相关文章
音频数据集:人工智能音频处理的基石
2 个月前
Chug: 高效的多模态数据集处理工具
2 个月前
使用协议
隐私政策
广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI
·
鲁ICP备2024100362号-6
·
鲁公网安备37021002001498号