本项目研究在数据受限情况下扩展语言模型的方法。通过对9000亿训练令牌和90亿参数模型进行实验，提出并验证了重复令牌和多余参数的计算优化法则。实验涵盖数据增强、困惑度过滤及去重处理。相关模型和数据集公开在仓库，有助于在资源有限情况下高效训练和优化语言模型。

该项目提供中文对话和基础模型，包括Linly-ChatFlow、Chinese-LLaMA和Chinese-Falcon模型及其训练数据。通过扩充LLaMA和Falcon的中文词表，使用中英文语料进行预训练，提升了模型在中文语境中的表现。项目还包括Linly-OpenLLaMA模型，支持量化和边缘设备推理。最新的Linly-Chinese-LLaMA-2模型通过混合语料预训练并定期更新，用户可以在线体验和在本地环境中进行训练和评估。

提供ChatGPT与人类响应的数据集，以训练和评估问答检索模型。数据集基于HC3公开数据，分析ChatGPT和传统检索模型在回答真实性和可靠性上的差异。项目由阿姆斯特丹大学支持，数据格式兼容MSMarco，便于研究人员使用现有脚本。

Augraphy是一个Python库，能够通过增强管道将文档从干净版本转换为模拟打印、传真、扫描等效果的脏旧副本，为AI/ML提供大量高质量的训练数据。

HumanVid是一项致力于相机可控人物图像动画的研究项目。该项目通过优化训练数据利用，旨在实现对人物图像的精确控制和自然动画效果。HumanVid简化了图像处理流程，为研究者和开发者提供了新的工具。项目团队计划在近期发布相关数据，并将于2024年9月底开源训练和推理代码以及模型检查点，有望为计算机视觉和图形学领域带来新的研究方向。HumanVid项目致力于探索如何通过优化训练数据来实现相机可控的人物图像动画，为该领域的进步贡献力量。

tessdata项目是Tesseract.js的多语言OCR数据集仓库。它提供了LSTM和传统OCR引擎的训练文件，包括默认和替代版本。项目详细说明了各数据集特点、NPM包发布状态，并介绍了通过CDN或本地方式集成到Tesseract.js的方法。这一资源为开发者提供了全面的OCR语言数据集使用指南。

MAP-NEO是一个完全开源的大语言模型，其预训练数据、处理流程、脚本和代码均可获取。该模型在4.5T英中文数据上训练，性能与LLaMA2 7B相当。在推理、数学和编码等任务中，MAP-NEO表现优异。项目公开了训练全过程，包括检查点、分词器、语料库和优化代码，为大语言模型研究提供了宝贵资源。