Logo

#大规模语言模型

Logo of ChatIE
ChatIE
ChatIE项目利用ChatGPT的强大功能,将零样本信息抽取任务转化为多轮问答形式,形成了一个两阶段的创新框架。通过在多个数据集上的广泛评估,该框架在实体关系抽取、命名实体识别和事件抽取任务中表现出色,甚至超越了一些全监督模型,展现了在有限资源下构建信息抽取系统的巨大潜力。
Logo of symato
symato
该项目使用独特的音节、标记和声调分割方法,开发了高效的越南语语言模型。通过创新的token化技术和RWKV架构,解决了传统Transformer模型在处理越南语多字节编码时的性能瓶颈。项目包括小数据集实验、大规模数据处理及大型模型训练,展示了在有限计算资源下应用规模规律的潜力。模型具有广泛适应性,既节省计算资源,又保持高效的文本生成和语言理解能力。
Logo of NeMo-Framework-Launcher
NeMo-Framework-Launcher
NeMo-Framework-Launcher是一个用于启动NeMo Framework训练作业的云原生工具。它专注于生成式AI模型的基础模型训练,集成了模型并行、分布式优化和混合精度训练等技术。该工具简化了在云端或本地集群上的训练流程,支持集群配置、数据处理、模型训练、微调和评估。适用于GPT、BERT和T5等模型,可扩展至数千GPU,支持大规模语言模型训练。
Logo of ML-Papers-of-the-Week
ML-Papers-of-the-Week
The 'ML-Papers-of-the-Week' project curates pivotal machine learning research papers weekly, serving as a prime resource for AI researchers, practitioners, and enthusiasts eager to explore cutting-edge innovations and trends in AI.
Logo of wenda
wenda
闻达是一个开源的大规模语言模型调用平台,集成多种离线和在线LLM模型。平台内置本地知识库和搜索引擎,并提供Auto脚本功能用于自定义对话流程。适合个人和中小企业使用,注重知识安全和私密性。平台还包括对话历史管理和多用户支持等实用功能,旨在实现高效的特定环境内容生成。
Logo of Awesome-Machine-Generated-Text
Awesome-Machine-Generated-Text
这是一个全面的机器生成文本研究资源库,汇集了大规模预训练语言模型、分析方法和检测技术等关键内容。项目收录了OpenAI、DeepMind和Google等顶级机构的重要成果,包括GPT系列、Chinchilla和T5等著名模型。此外还整理了相关论文、演示、数据集和共享任务,为该领域的研究与开发提供了丰富参考。
Logo of data-juicer
data-juicer
Data-Juicer 是一款强大的一站式数据处理系统,专为大语言模型设计。它支持多模态数据处理,具有80多种操作符和20多个配置方案,提供高效且并行的数据处理能力。其友好的用户体验和全面的文档,使其成为生产环境中的优选方案。
Logo of ToolBench
ToolBench
ToolBench项目构建了大规模的指令微调数据集,旨在提升语言模型的工具使用能力。该项目收集了16464个真实API,覆盖单工具和多工具场景,采用深度优先搜索决策树方法生成注释。项目提供训练脚本和微调后的ToolLLaMA模型,其工具使用能力达到了与ChatGPT相当的水平。
Logo of Easy-Translate
Easy-Translate
Easy-Translate是一款适合各级用户的文本翻译工具,支持M2M100、NLLB200和SeamlessM4T等多种翻译模型。该工具可在不同硬件环境下运行,具备自动调整批处理大小、多种解码策略和加载大型模型等功能。此外,Easy-Translate还提供了翻译质量评估功能,可计算多种评估指标。
Logo of Awesome-LLM-Survey
Awesome-LLM-Survey
该项目收录了大语言模型(LLM)的最新研究,涵盖了指令调整、人类对齐、代理、多模态等多个方面。研究者可以通过提交拉取请求更新他们的论文信息,参与社区的建设。项目内容详尽记录了LLM的训练、提示工程及其在各领域的应用挑战,为学术界和业界提供丰富的参考素材。用户可以通过该项目深入了解LLM的关键功能、主要优势及最新技术动态。
Logo of starcoder2
starcoder2
StarCoder2是一系列代码生成模型,包括3B、7B和15B参数规模。模型在600多种编程语言和自然语言文本上训练,使用分组查询注意力机制,具有16,384个token的上下文窗口。支持代码补全、多GPU部署和量化推理,提供使用说明和微调指南。StarCoder2在代码生成任务中表现优异,是开发者的有力工具。