Project Icon

Twice-KoSOLAR-16.1B-test

使用深度扩展技术优化SOLAR语言模型性能

本页面介绍了Depth-Up-Scaling方法如何提升大规模语言模型(LLM)的性能,通过合并Mistral 7B模型权重与持续预训练,SOLAR-10.7B模型在多项自然语言处理任务中表现优异,超越某些30B参数模型。本文比较了不同模型性能,展示了SOLAR-10.7B在多样化调优场景中的适应性和鲁棒性。

MobileVLM-1.7B - 移动设备优化的高效多模态视觉语言模型
GithubHuggingfaceMobileVLM多模态开源项目性能评估模型模型推理移动设备
MobileVLM-1.7B是一种专为移动设备设计的多模态视觉语言模型,通过多种优化技术实现高效推理,支持跨模态交互。该模型在标准基准测试中表现出色,并经过CLIP方式的预训练。在Qualcomm Snapdragon 888和NVIDIA Jeston Orin设备上的处理速度分别为每秒21.5个和65.3个令牌。
Megatron-LM - 优化GPU训练技术 加速大规模Transformer模型
GPU优化GithubMegatron-CoreMegatron-LM分布式训练大语言模型开源项目
Megatron-LM框架利用GPU优化技术实现Transformer模型的大规模训练。其Megatron-Core组件提供模块化API和系统优化,支持自定义模型训练。该项目可进行BERT、GPT、T5等模型预训练,支持数千GPU分布式训练百亿参数级模型,并提供数据预处理、模型评估和下游任务功能。
datablations - 对在数据限制下扩展语言模型的方法的研究
C4Githublanguage models开源项目数据稀缺数据重复训练数据
本项目研究在数据受限情况下扩展语言模型的方法。通过对9000亿训练令牌和90亿参数模型进行实验,提出并验证了重复令牌和多余参数的计算优化法则。实验涵盖数据增强、困惑度过滤及去重处理。相关模型和数据集公开在仓库,有助于在资源有限情况下高效训练和优化语言模型。
Baichuan-13B - 包含130亿参数和出色Benchmark性能的大规模开源语言模型
Baichuan-13BGithub对齐模型开源模型开源项目百川智能量化版本
Baichuan-13B是一个包含130亿参数的开源模型,支持中英双语,并在多项Benchmark测试中表现优异。它具有更大的参数量和数据规模,更高效的推理能力,且完全免费商业使用。通过简单的代码即可部署,量化版本大大降低了部署门槛,广泛适用于学术研究和商业应用。
bigscience - 大规模语言模型研究与进展更新
GPT2GithubMegatron-DeepSpeedbigsciencelarge language models开源项目训练
BigScience项目专注于大规模语言模型的研究与训练,包含丰富的实验、数据集信息和训练进展。用户可以访问详细文档和实时日志,了解当前模型表现及关键发现。项目涵盖从基础GPT-2模型到不同规模与架构的大型模型,并提供详尽的操作流程及讨论记录。
gemma-2B-10M - Gemma 2B模型实现1000万token上下文处理 仅需32GB内存
Gemma 2BGithub内存优化局部注意力开源项目推理优化长上下文
gemma-2B-10M项目采用递归局部注意力机制,在32GB内存限制下实现了处理1000万token上下文的能力。该项目为Gemma 2B模型提供CUDA优化的推理功能,显著提升了处理效率。项目设计简洁易用,便于开发者快速应用。虽然目前处于早期阶段,但在长文本处理领域展现出巨大潜力,有望推动相关技术的进步。
LongRoPE - 扩展大语言模型上下文窗口至200万以上标记的方法
GithubLongRoPETransformer上下文窗口位置编码大语言模型开源项目
LongRoPE项目提出了一种将大语言模型(LLM)上下文窗口扩展至超过200万个标记的方法。通过利用位置嵌入中的非均匀性,项目实现了8倍的上下文窗口扩展,无需微调。采用逐步扩展策略从256k微调至2048k上下文,避免了对超长文本的直接微调。LongRoPE还调整了原始窗口长度内的嵌入,确保在各种任务中保持高效表现,适用于对话、问答、长文档摘要及少样本学习。
Zephyr 7B - 大型多语言自然语言处理模型
AI工具Zephyr 7B人工智能机器学习自然语言处理语言模型
Zephyr 7B是一款拥有70亿参数的大型语言模型,具备出色的自然语言理解和生成能力。该模型支持多语言翻译、文本摘要、情感分析和问答等功能,可应用于内容创作、客户服务和研究等领域。Zephyr 7B通过多样化的文本语料训练,能够处理复杂的语言任务,如智能对话系统、自动文章生成和跨语言信息检索等。这一技术进步为各行业带来新的可能性,助力企业提高效率和创新能力。
LongLoRA - 探索大规模长上下文语言模型的高效训练与实用应用
GithubLLaMA2LoRALongAlpaca开源项目深度学习长上下文语言模型
LongLoRA项目开发了一种高效微调方法,处理大型长上下文语言模型,涵盖了从7B至70B的各种模型规模和LongAlpaca-12k实验性数据集。项目支持多种微调方式,在基凊测试中验证了模型性能,技术可应用于多种NLP任务,助力复杂语言处理。实现显著性能优势,为企业和研究人员在从机器翻译到自动摘要等NLP任务中提供了有效的解决方案。
MINI_LLM - 完整中文大语言模型训练流程实践
DPOGithubMini-llm大模型开源项目微调预训练
MINI_LLM项目展示了完整的中文大语言模型训练流程,涵盖预训练、SFT指令微调和DPO优化阶段。该项目基于QWEN模型,利用多种数据集训练出1.4B参数规模的模型。项目详细介绍了数据处理方法、提供训练脚本,并包含多GPU训练指南,为中文大语言模型开发提供了实用参考。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

白日梦AI

白日梦AI提供专注于AI视频生成的多样化功能,包括文生视频、动态画面和形象生成等,帮助用户快速上手,创造专业级内容。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

讯飞绘镜

讯飞绘镜是一个支持从创意到完整视频创作的智能平台,用户可以快速生成视频素材并创作独特的音乐视频和故事。平台提供多样化的主题和精选作品,帮助用户探索创意灵感。

Project Cover

讯飞文书

讯飞文书依托讯飞星火大模型,为文书写作者提供从素材筹备到稿件撰写及审稿的全程支持。通过录音智记和以稿写稿等功能,满足事务性工作的高频需求,帮助撰稿人节省精力,提高效率,优化工作与生活。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号