dolma

3万亿令牌的多样化开放数据集与高性能管理工具

Dolma Dataset Dolma Toolkit AI2 语言模型数据集管理 Github 开源项目

Dolma项目提供一个包含3万亿令牌的多样化开放数据集，涵盖网络内容、学术出版物、代码、书籍和百科材料。Dolma Toolkit是一款高性能工具包，能够高效整理大型数据集，支持并行处理、便捷移植、内置标签器、快速去重、扩展性和云支持。该项目由Allen Institute for AI开发，数据集可在HuggingFace平台下载。

Github

Huggingface

介绍相关项目

DialogStudio - 提供丰富多样的对话数据集和任务意识模型

DialogStudioGithubHuggingface对话开源项目数据集模型

DialogStudio 是一个全面的对话数据集项目，包含大量统一的对话数据集和任务意识模型，支持对单个数据集和大型语言模型的训练。用户可以通过 HuggingFace 轻松下载和使用这些数据集，涵盖从知识驱动到任务导向多个领域。同时，项目进行了高质量的数据集评估，提供了详细的评价标准和评分。DialogStudio 既促进会话 AI 研究，也为模型开发者和数据科学家提供了重要资源，推动该领域的创新与进步。

dolly-v2-7b - 基于Pythia的开源指令微调语言模型

GithubHuggingfacedolly-v2-7btransformer开源项目指令微调机器学习模型语言模型

dolly-v2-7b是基于Pythia-6.9b架构的指令微调语言模型，通过15000条高质量指令数据训练而成。模型支持问答、分类、生成等核心功能，并采用MIT许可证开放商用。作为开源项目，其突出特点是具备可靠的指令理解能力，为AI应用开发提供了实用的基础模型选择。

Delphic - 使用LlamaIndex构建和部署大型语言模型（LLM）代理的简单框架

DelphicDjangoDockerGithubLangchainOpenAI开源项目

Delphic是一个使用LlamaIndex构建和部署大型语言模型（LLM）代理的简单框架，可用于分析和处理文档中的文本数据。虽然框架基于OpenAI的API，但兼容其他LLM，例如Langchain，支持使用Postgres作为向量存储，并通过Docker Compose实现快速本地部署。虽然Delphic项目目前不再维护，但它作为构建流式响应应用的概念验证工具仍具有参考价值。

Tabular-LLM - 表格智能数据集的收集与LLM模型优化

Alpaca-CoTGithubLLMTabular LLM开源项目微调平台表格智能

此项目利用Alpaca-CoT平台，集合和整理多种表格智能任务的数据集，并对现有的大型语言模型进行微调，以提升其对表格数据的理解和处理能力。主要涵盖表格问答和表格-文本生成等任务。项目提供开源训练代码和格式统一的表格数据，并开放训练模型，助力研究者复现及优化表格智能任务。

MINT-1T - 万亿级开源多模态数据集推动AI研究

GithubMINT-1T图文数据多模态数据集开源数据开源项目海量数据

MINT-1T是一个大规模开源多模态数据集，包含1万亿文本标记和34亿张图像，比现有开源数据集规模扩大约10倍。该数据集首次纳入PDF和ArXiv论文等新数据源，提供HTML、PDF和ArXiv等多个子集。MINT-1T旨在为大规模多模态AI模型研究提供丰富的训练资源，其规模和多样性有望促进多模态AI技术的发展。

awesome-LLMs-In-China - 中国AI大模型全面收录及发展动态

ChatGLMGithubLLaMA人工智能大模型开源开源项目

这个项目系统收录了中国AI大模型的详细信息，涵盖机构、来源和分类等。通过持续更新，记录各类大模型的发展动态，包括百度文心一言、阿里通义千问等知名通用模型，以及医疗、金融等专业领域模型。项目还提供评测数据集和开源基础模型列表，为研究中国AI发展提供全面参考。

open_llama_7b - 开源复现的大规模语言模型媲美原版LLaMA

GithubHuggingfaceOpenLLaMA人工智能大语言模型开源开源项目模型自然语言处理

OpenLLaMA是一个基于Apache 2.0许可的开源大型语言模型，旨在复现Meta AI的LLaMA。该项目提供了在1万亿个token上训练的7B和3B模型，以及在6000亿个token上训练的13B模型预览版。OpenLLaMA基于RedPajama数据集训练，在多项评估任务中表现与原版LLaMA相当或更优。项目开源了PyTorch和JAX格式的预训练权重，支持使用Hugging Face transformers和EasyLM框架加载模型。

Llama-3.2-1B - 多语言大型语言模型引领自然语言处理新纪元

GithubHuggingfaceLlama 3.2Meta多语言开源项目模型生成模型社区许可

Llama 3.2是由Meta开发的多语言大型语言模型，通过优化的Transformer架构和多语言对话定制，尤其适用于问答、总结等任务。支持8种语言，可进行超越官方语言的定制训练，以适应多种自然语言生成任务。此项目展示了语言模型在商业和研究应用中日益增长的重要性，提供高效的多语言文本生成能力，助力移动AI写作助手等智能应用的发展。用户需遵循Llama 3.2社区许可规定，确保使用场景的安全性和合规性。

llama-models - Meta推出的开放大型语言模型Llama

GithubLlama人工智能大语言模型开源开源项目自然语言处理

llama-models是Meta开发的开放大型语言模型项目，为AI开发者、研究人员和企业提供易用的工具。项目包含Llama 2、Llama 3和Llama 3.1等多个版本，支持不同模型规模和上下文长度。llama-models注重开放性、生态系统支持和安全性，为AI创新与负责任发展奠定基础。

Llama-2-13b-hf - Meta开源的130亿参数语言模型适用于多种NLP任务

GithubHuggingfaceLlama 2人工智能元宇宙大语言模型开源项目模型自然语言处理

Llama-2-13b-hf是Meta开发的大规模语言模型,拥有130亿参数。该模型在2万亿tokens的公开数据上预训练,采用优化的Transformer架构。它支持对话、问答、文本生成等多种NLP任务。与Llama 1相比,Llama 2在代码、常识推理、世界知识等基准测试中表现更佳。此模型开源可用于商业和研究,为AI应用开发奠定了基础。

相关项目

项目侧边栏1

项目侧边栏2

推荐项目

Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

Project Cover

稿定AI

稿定设计是一个多功能的在线设计和创意平台，提供广泛的设计工具和资源，以满足不同用户的需求。从专业的图形设计师到普通用户，无论是进行图片处理、智能抠图、H5页面制作还是视频剪辑，稿定设计都能提供简单、高效的解决方案。该平台以其用户友好的界面和强大的功能集合，帮助用户轻松实现创意设计。

使用协议隐私政策广告服务

投诉举报邮箱: service@vectorlightyear.com

@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号