#多模态数据处理
towhee - 非结构化数据处理框架
TowheeLLM生成式AI深度学习模型多模态数据处理Github开源项目
Towhee通过大型语言模型(LLM)编排,简化非结构化数据处理。支持多模态数据,如文本、图像、音频和视频。整合生成式AI和先进深度学习模型,将原始数据转换为特定格式并高效存储。提供丰富的预构建ETL管道、灵活的LLM编排和高性能后端。Towhee的Pythonic API使构建和优化数据处理管道更加便捷,适合开发者快速原型和生产部署。
data-juicer - 大语言模型数据处理系统,提供多模态数据支持
Data-Juicer多模态数据处理大规模语言模型数据模型协同开发数据处理Github开源项目
Data-Juicer 是一款强大的一站式数据处理系统,专为大语言模型设计。它支持多模态数据处理,具有80多种操作符和20多个配置方案,提供高效且并行的数据处理能力。其友好的用户体验和全面的文档,使其成为生产环境中的优选方案。
相关文章