Project Icon

dolly

基于Pythia-12b开发的指令遵循大型语言模型

Dolly是由Databricks基于Pythia-12b开发的指令遵循大型语言模型,通过约1.5万条指令/响应微调数据集训练。尽管不是最先进的生成模型,但具备高质量的指令遵循能力。Dolly旨在让各类组织和个人都能利用人工智能的变革力量,并提供详细的使用和训练指南,适用于多种GPU配置。

dolly-v2-12b - Databricks开源商用语言模型
GithubHuggingfacedolly-v2-12b大语言模型开源项目性能限制指令调优数据集模型
dolly-v2-12b由Databricks开发,基于Pythia-12b构建,是一款为商业用途优化的大规模指令遵循语言模型。通过15000条指令/响应数据库微调,展示其在多领域应用中的潜力,如信息提取和问答系统。同时,提供更小的dolly-v2-7b和dolly-v2-3b版本以适应不同需求。
dolly-v2-3b - Databricks发布开源指令微调语言模型支持商业使用
DatabricksDollyGithubHuggingface开源开源项目指令微调模型语言模型
Dolly-v2-3b是Databricks开发的开源指令微调语言模型,基于Pythia-2.8b构建,拥有28亿参数。该模型使用约15,000条指令/回复数据进行训练,涵盖头脑风暴、分类、问答等多个领域。尽管不是最先进模型,但在指令遵循方面表现优异。Dolly-v2-3b采用MIT许可证,支持商业使用,可通过Transformers库轻松部署。
dolly-v2-7b - 基于Pythia的开源指令微调语言模型
GithubHuggingfacedolly-v2-7btransformer开源项目指令微调机器学习模型语言模型
dolly-v2-7b是基于Pythia-6.9b架构的指令微调语言模型,通过15000条高质量指令数据训练而成。模型支持问答、分类、生成等核心功能,并采用MIT许可证开放商用。作为开源项目,其突出特点是具备可靠的指令理解能力,为AI应用开发提供了实用的基础模型选择。
dolma - 3万亿令牌的多样化开放数据集与高性能管理工具
AI2Dolma DatasetDolma ToolkitGithub开源项目数据集管理语言模型
Dolma项目提供一个包含3万亿令牌的多样化开放数据集,涵盖网络内容、学术出版物、代码、书籍和百科材料。Dolma Toolkit是一款高性能工具包,能够高效整理大型数据集,支持并行处理、便捷移植、内置标签器、快速去重、扩展性和云支持。该项目由Allen Institute for AI开发,数据集可在HuggingFace平台下载。
OLMo-1B-0724-hf - Dolma数据集驱动的英语语言模型在性能上的进步
DolmaGithubHuggingfaceOLMo开源项目机器学习模型训练数据语言模型
OLMo 1B July 2024版本采用Dolma数据集,显著提高了HellaSwag等任务的评估表现。兼容HuggingFace Transformers v4.40及以上版本,由Allen Institute for AI开发,提供完整的代码、检查点及训练日志,支持实现文本生成与模型微调。在ARC挑战、BoolQ和HellaSwag等自然语言处理任务中表现出色,适用于研究人员和开发者在语言模型科学领域的进一步探索。
pythia-12b - Pythia语言模型套件提供多种规模及训练检查点
GithubHuggingfacePythia大语言模型开源项目模型模型训练模型评估解释性研究
Pythia-12b是EleutherAI开发的语言模型研究套件中的一员,拥有113亿参数。该套件包含从70M到12B参数的8种规模模型,每种规模提供两个版本:一个在Pile数据集上训练,另一个在去重后的Pile上训练。所有模型使用相同的数据和训练顺序,并提供154个中间检查点。Pythia-12b采用Transformer架构,主要用于语言模型的可解释性研究。虽然在多项基准测试中表现出色,但并非针对下游应用优化。
DALM - 优化AI语言模型的开源自适应工具包
ArceeDALMGithubLlama-2-7b-hfRAG-end2endcontrastive learning开源项目
Arcee开源的领域自适应语言模型工具包(DALM)结合了RAG-e2e架构,实现LLM与向量存储的高效整合。该工具包支持Llama、Falcon和GPT等解码器,适用于特定领域的高级定制。工具包包括数据处理、训练和评估的完整代码库,支持对比学习和高效的检索生成联合训练。
OLMo-7B-0724-hf - OLMo开放式语言模型促进语言处理技术进步
AI2GithubHuggingfaceOLMo变形金刚开源语言模型开源项目模型自然语言处理
OLMo是由AI2开发的开源语言模型系列,旨在推动语言模型科学研究。该模型基于Dolma数据集训练,采用先进的Transformer结构,实现性能提升和多阶段优化。OLMo-7B-0724-hf具备强大的文本生成能力,适用于文本推理和生成任务。支持在HuggingFace平台上进行加载、微调和评估,且提供多种数据检查点,方便研究与开发。该项目得到多家机构支持,并在多个主要AI任务中表现优异。
pythia-1b-deduped - Pythia模型家族为大规模语言模型的可解释性研究提供了全面支持
EleutherAIGithubHuggingfacePythia开源项目数据集模型科研语言模型
Pythia Scaling Suite由EleutherAI开发,专注于大规模语言模型可解释性研究,包含16个模型,这些模型使用相同的数据集并提供154个中间检查点,托管于Hugging Face。尽管未专门针对下游性能优化,Pythia模型的表现仍可与OPT和GPT-Neo套件媲美甚至超越,适用于科研和实验用途,并支持进一步微调。
pythia-2.8b-v0 - 支持可解释性研究的多尺寸语言模型,适合科学研究应用
EleutherAIGithubHuggingfacePythia可解释性大型语言模型开源项目机器学习模型
Pythia模型套件旨在支持大型语言模型的可解释性研究,提供多种尺寸的模型以及去重和未去重的数据版本。尽管不以提升下游性能为主要目标,但测试显示在某些任务中表现卓越。基于Transformer架构的Pythia-2.8B可进行微调研究,适用于探索语言模型的训练过程和变化情况。项目采用Apache 2.0许可,模型及检查点可通过Hugging Face获取,促进语言模型的训练与科研开发。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

白日梦AI

白日梦AI提供专注于AI视频生成的多样化功能,包括文生视频、动态画面和形象生成等,帮助用户快速上手,创造专业级内容。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

讯飞绘镜

讯飞绘镜是一个支持从创意到完整视频创作的智能平台,用户可以快速生成视频素材并创作独特的音乐视频和故事。平台提供多样化的主题和精选作品,帮助用户探索创意灵感。

Project Cover

讯飞文书

讯飞文书依托讯飞星火大模型,为文书写作者提供从素材筹备到稿件撰写及审稿的全程支持。通过录音智记和以稿写稿等功能,满足事务性工作的高频需求,帮助撰稿人节省精力,提高效率,优化工作与生活。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号