Project Icon

LongRoPE

扩展大语言模型上下文窗口至200万以上标记的方法

LongRoPE项目提出了一种将大语言模型(LLM)上下文窗口扩展至超过200万个标记的方法。通过利用位置嵌入中的非均匀性,项目实现了8倍的上下文窗口扩展,无需微调。采用逐步扩展策略从256k微调至2048k上下文,避免了对超长文本的直接微调。LongRoPE还调整了原始窗口长度内的嵌入,确保在各种任务中保持高效表现,适用于对话、问答、长文档摘要及少样本学习。

roberta-large - 大型英语预训练模型,适合多种任务优化
GithubHuggingfaceRoBERTaTransformer模型开源项目模型语言模型遮蔽语言建模预训练模型
RoBERTa是一个自监督学习的变压器模型,通过掩码语言建模(MLM)目标优化英语语言的表示。主要用于细调下游任务,如序列和标记分类以及问答。此模型预训练于包括BookCorpus和Wikipedia在内的五个大型语料库,使用BPE分词法和动态掩码训练,实现双向句子表示,并在GLUE测试中表现优异,适合在PyTorch和TensorFlow中应用。
InfLLM - 优化大规模语言模型处理超长序列的无训练记忆方法
GithubInfLLM大语言模型开源项目训练无关方法记忆单元长序列处理
InfLLM是一种新型无训练记忆方法,可有效处理超长序列。通过将远程上下文存储在额外的存储单元中并采用高效机制进行注意力计算,InfLLM在保持长距离依赖捕捉能力的同时,提高了处理效率。即使在序列长度达到1,024K的情况下,InfLLM仍表现优越,无需连续训练即可超越许多基线模型。
mmlw-roberta-large - 增强自然语言处理适用性的多任务学习模型
GithubHuggingfacesentence-transformers句子相似度开源项目文本分类模型特征提取聚类
该开源项目mmlw-roberta-large通过多任务学习提高了自然语言处理性能,尤其在句子相似性、分类和检索等任务上表现突出。模型适用于多种数据集,如MTEB AllegroReviews和MTEB ArguAna-PL,实现了较高的准确率和F1值。使用了sentence-transformers和transformers技术,确保在大规模数据集上的优异表现。
ChunkLlama - 双重块注意力技术实现大语言模型上下文窗口扩展
ChunkLlamaGithub大语言模型开源项目无需训练注意力机制长上下文
ChunkLlama项目开发了双重块注意力(DCA)技术,无需额外训练即可将大语言模型的上下文窗口扩展至原始长度的8倍以上。DCA可与主流外推技术和高效推理库兼容,支持Llama、Mistral等多种模型。实验表明,应用DCA后的Llama-2/3 70B模型能处理长达100k的上下文,并在长文本任务中表现出色。
internlm2-chat-7b - 70亿参数大模型实现20万字超长文本理解及多场景智能对话
GithubHuggingfaceInternLM2人工智能代码解释器大语言模型开源项目模型超长上下文
InternLM2-chat-7b作为书生·浦语第二代大模型的70亿参数版本,搭载20万字超长上下文理解技术,在复杂推理、数学运算、代码编程等核心任务上性能卓越。模型集成代码解释器和数据分析工具,通过增强型工具调用机制高效完成多步骤任务。在MMLU、AGIEval等主流评测基准上展现出同级别最优性能。该开源项目面向学术研究完全开放,同时提供免费商业授权渠道。
Llama-3-8B-Instruct-262k - 增强长距离上下文处理,支持自主助手功能
GithubHuggingfaceLlama-3定量模型开源项目模型生成式模型自监督学习长上下文
Llama-3 8B-Instruct-262k通过优化RoPE theta,将上下文处理长度从8k扩展至超160k。由Gradient开发并借助Crusoe Energy的算力资源,展示了该模型在低训练条件下的长上下文处理能力,同时通过微调增强了其聊天功能。采用NTK-aware插值及数据驱动的RoPE theta优化,结合渐进式训练策略,在高性能集群中实现了多达262144 tokens的上下文扩展训练,并提供了多种量化版本以适应不同应用场景。
internlm2-20b - 提供深度适应性和超长文本理解能力的20B语言模型
GithubHuggingfaceInternLM对话模型开源项目性能评测模型模型开源评测工具
InternLM2-20B是一款支持20万字符上下文的语言模型,其在推理、数学和编程领域的表现突出。模型分为基础和对话优化版本,可以满足多样的语言处理需求。通过OpenCompass评测,其展示了卓越的综合性能,适合复杂的研究和商业应用。
EasyContext - 优化语言模型上下文长度至百万级的开源项目
EasyContextGithub开源项目注意力机制训练技巧语言模型长上下文模型
EasyContext 是一个开源项目,致力于优化语言模型的上下文长度至 100 万个标记。项目结合序列并行、Deepspeed zero3 卸载和 Flash attention 等技术,实现了对 Llama2-7B 和 Llama2-13B 模型的全参数微调。通过最小化硬件需求,EasyContext 展示了长上下文扩展的可行性,并提供简洁的实现代码和评估结果,为自然语言处理研究和开发提供了有价值的资源。
WizardLM - 增强大型语言模型执行复杂指令的开源项目
GithubWizardLM人工智能大语言模型开源模型开源项目指令跟随
WizardLM项目致力于增强大型预训练语言模型处理复杂指令的能力。通过创新训练方法,该项目使模型更好地理解和执行多步骤、高难度任务。WizardLM在编程、数学和通用对话等基准测试中表现卓越。项目开源多个不同规模的模型版本,为语言模型技术的研究与应用提供有力支持。
loft - 探索百万级token长文本处理的前沿基准
GithubLOFT多模态任务开源项目文本检索语言模型长上下文基准
LOFT是一个长文本处理基准,包含6类30多个数据集,涵盖检索、多跳推理等任务。该项目提供多模态数据、评估代码和数据集重生成工具,旨在测试大规模语言模型的长文本处理能力。LOFT为研究人员提供了标准化平台,用于全面评估长文本语言模型性能,有助于推动自然语言处理技术发展。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号