dolma

3万亿令牌的多样化开放数据集与高性能管理工具

Dolma Dataset Dolma Toolkit AI2 语言模型数据集管理 Github 开源项目

Dolma项目提供一个包含3万亿令牌的多样化开放数据集，涵盖网络内容、学术出版物、代码、书籍和百科材料。Dolma Toolkit是一款高性能工具包，能够高效整理大型数据集，支持并行处理、便捷移植、内置标签器、快速去重、扩展性和云支持。该项目由Allen Institute for AI开发，数据集可在HuggingFace平台下载。

Github

Huggingface

介绍相关项目

1filellm - 整合多来源数据的命令行工具

Data2LLMGithubLLM命令行工具开源项目数据聚合自动化

Data2LLM是一款命令行工具，能够高效地聚合和预处理数据，支持从本地文件、GitHub仓库、ArXiv论文、YouTube视频等多个来源提取和整合文本内容，生成适用于大型语言模型的高密度提示。工具自动检测源类型，进行文本预处理，并生成XML格式输出，复制到剪贴板，简化操作流程，提升工作效率。

awesome-ml - 机器学习资源库涵盖语言模型图像视频和音频AI

Github图像模型大语言模型开源项目机器学习视频模型音频模型

该项目是一个综合性机器学习资源集合，包括大型语言模型、图像生成、视频处理和音频AI等领域的开源模型、工具、库和研究资料。适合开发者、研究人员和AI爱好者探索AI技术和应用。项目持续更新，欢迎贡献，为了解和实践机器学习最新进展提供参考。

SmolLM-360M - 3.6亿参数的高效语言模型专注常识推理和知识理解

GithubHuggingfaceSmolLM人工智能开源项目模型模型训练神经网络语言模型

SmolLM-360M是一款拥有3.6亿参数的高效语言模型，基于Cosmo-Corpus数据集训练而成。该模型利用Cosmopedia v2合成教材、Python-Edu教育样本和FineWeb-Edu网络教育资源等高质量数据，在常识推理和世界知识等多项基准测试中表现出色。SmolLM-360M支持CPU/GPU部署，并提供8位和4位量化版本以优化内存使用。这款模型主要面向英语内容生成和理解，可作为AI辅助工具在多种场景中应用。

Hugging Face - 源代码开源平台

AI工具AI开发Hugging Face企业解决方案合作平台开源机器学习模型训练热门

Hugging Face是开放源码机器学习平台，支持模型、数据集与应用的无限制托管，包含丰富的模态支持，已服务于超过5万家机构。

open_llama_3b_v2 - 高性能开源大型语言模型复现LLaMA

GithubHuggingfaceOpenLLaMA大语言模型开源复现开源项目性能评估模型模型权重

OpenLLaMA是一个复现Meta AI的LLaMA大型语言模型的开源项目。它提供3B、7B和13B三种规模的模型，使用开源数据集训练了1万亿个标记。该项目采用与原始LLaMA相同的预处理和训练参数，在多项评估中表现出色。OpenLLaMA提供PyTorch和JAX格式的预训练权重，遵循Apache 2.0许可证发布。

Llama-2-13b-hf - Meta开源130亿参数大语言模型超强功能与安全性并存

GithubHuggingfaceLlama 2人工智能大语言模型开源项目机器学习模型自然语言处理

这是Meta开发的开源预训练语言模型，采用优化的Transformer架构，具有130亿参数。该模型支持4k上下文长度，经2万亿token训练，在多项基准测试中表现优异。模型可用于对话及各类自然语言生成任务，适合商业和研究用途。训练数据来自公开数据集，并通过人类反馈强化学习提升了模型性能和安全性。

lilac - 开源解决方案促进AI数据探索与质量管理

AI训练GithubLilac开源项目数据探索数据质量控制数据集处理

Lilac是一个开源的AI数据处理工具，专注于数据集的探索、管理和质量控制。它提供交互式数据探索、LLM驱动的搜索、聚类和标注功能，支持本地运行和云端处理。Lilac能够优化数据集，降低AI训练成本，并支持语义搜索和概念搜索等高级特性。该工具已被Cohere和Databricks等公司采用，用于改善预训练和微调数据的质量。

Llama-3.1-Storm-8B - 多任务智能的高性能开源语言模型

GithubHuggingfaceLlama-3.1-Storm-8B人工智能大语言模型开源项目机器学习模型模型微调

Llama-3.1-Storm-8B是基于Llama-3.1-8B-Instruct改进的开源语言模型。通过自主数据筛选、定向微调和模型合并，它在10个基准测试中显著超越原始模型，包括指令遵循、知识问答、推理能力、真实性和函数调用。GPQA提升7.21%，TruthfulQA提升9%，函数调用准确率提升7.92%。支持Transformers、vLLM和Ollama等多种部署方式，为AI开发者提供高性能的通用型语言模型选择。

Llama-3.2-1B-Instruct-GGUF - 多语言模型优化，提升对话和信息处理效率

GithubHuggingfaceLlama 3.2优化多语言对话开源项目模型生成模型行业基准

这个项目提供了经过优化的多语言大语言模型，提升了对话应用的效果和效率。Llama 3.2系列在1B和3B规格中进行了预训练及指令优化，能够处理信息提取和文本总结等多种任务。该模型在常用的行业基准测试中表现优于许多其他开源和闭源模型。SanctumAI通过量化增加了模型的操作效率，并提供多种量化选项以适应不同的硬件需求。在多语言对话的使用案例中，这些优化后的模型确保了良好的性能表现。

llama-2-7b-chat-bnb-4bit - 开源LLM模型训练加速工具实现2至5倍速提升并节省70%内存

GithubHuggingfaceLlama-2Unsloth人工智能大语言模型开源项目模型模型微调

该开源项目致力于优化大语言模型的训练过程，通过创新技术为Mistral、Gemma、Llama 2等主流模型提供训练加速解决方案。基于Colab平台的多个训练笔记本支持对话及文本补全功能，可实现2-5倍的训练速度提升，并将内存占用降低70%。项目支持GGUF格式导出及vLLM、Hugging Face平台部署，为计算资源受限的AI开发团队提供了高效的模型训练方案。

相关项目

项目侧边栏1

项目侧边栏2

推荐项目

Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

Project Cover

稿定AI

稿定设计是一个多功能的在线设计和创意平台，提供广泛的设计工具和资源，以满足不同用户的需求。从专业的图形设计师到普通用户，无论是进行图片处理、智能抠图、H5页面制作还是视频剪辑，稿定设计都能提供简单、高效的解决方案。该平台以其用户友好的界面和强大的功能集合，帮助用户轻松实现创意设计。

使用协议隐私政策广告服务

投诉举报邮箱: service@vectorlightyear.com

@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号