#大规模

stark

STaRK提供一个大规模的半结构化检索基准，涵盖产品搜索、学术论文检索和生物医学查询，旨在评估和提升LLM在文本与关系型知识库中的检索效果。该基准含有多样化和现实的查询，要求上下文相关推理，为未来研究提供有力支持。STaRK已在Hugging Face平台发布，并可以通过pip包直接加载，支持用户互动查询的探索性界面。更多详情请访问官方网站。

datatrove

DataTrove是一个开源Python库，专门用于处理、过滤和去重大规模文本数据。它提供预构建的常用处理模块和自定义功能支持。该库的处理流程可在本地或Slurm集群上运行，具有低内存消耗和多步骤设计，适合处理大型语言模型训练数据等大规模工作负载。DataTrove支持多种文件系统，为数据处理提供灵活解决方案。

MedTrinity-25M

MedTrinity-25M是一个大规模医学多模态数据集，包含2500万条多粒度标注。该数据集整合了医学图像和文本信息，采用创新处理流程和先进语言模型生成精细描述。它显著提升了医学视觉问答性能，为医疗AI发展提供重要资源。项目还开源了相关模型和代码，推动医学AI领域的开放协作。