Project Icon

LongRoPE

扩展大语言模型上下文窗口至200万以上标记的方法

LongRoPE项目提出了一种将大语言模型(LLM)上下文窗口扩展至超过200万个标记的方法。通过利用位置嵌入中的非均匀性,项目实现了8倍的上下文窗口扩展,无需微调。采用逐步扩展策略从256k微调至2048k上下文,避免了对超长文本的直接微调。LongRoPE还调整了原始窗口长度内的嵌入,确保在各种任务中保持高效表现,适用于对话、问答、长文档摘要及少样本学习。

recurrent-memory-transformer-pytorch - Recurrent Memory Transformer的PyTorch实现助力超长序列处理
GithubPyTorchRecurrent Memory Transformer人工智能开源项目深度学习自然语言处理
Recurrent Memory Transformer的PyTorch实现项目致力于解决超长序列处理问题。该模型通过创新的记忆机制和高效注意力机制,可处理长达百万token的序列。项目提供简便的安装使用方法,支持XL记忆和记忆回放反向传播等先进功能。这一实现在长序列处理、因果推理和强化学习等领域展现出优异性能,为AI研究和应用开发提供了实用工具。
360zhinao - 支持超长上下文的开源大语言模型
360智脑Github大语言模型开源模型开源项目自然语言处理长上下文
360Zhinao是一系列开源大语言模型,包括基础模型和聊天模型。该项目利用3.4万亿高质量语料训练,在多项基准测试中表现优异。其聊天模型支持4K、32K和360K三种上下文长度,其中360K(约50万中文字符)为开源中文模型最长。此外,360Zhinao还发布了搜索和重排模型,在C-MTEB排行榜上表现出色。该项目持续更新,不断推进大语言模型技术发展。
rtp-llm - 大型语言模型推理加速引擎
CUDAGithubrtp-llm多模态输入大语言模型开源项目量化
rtp-llm是阿里巴巴基础模型推理团队开发的大型语言模型推理加速引擎,广泛应用于支持淘宝问答、天猫、菜鸟网络等业务,并显著提升处理效率。该项目基于高性能CUDA技术,支持多种权重格式和多模态输入处理,跨多个硬件后端。新版本增强了GPU内存管理和设备后端,优化了动态批处理功能,提高了用户的使用和体验效率。
ringattention - 创新注意力机制大幅提升Transformer上下文处理能力
Blockwise TransformersGPUGithubJaxRing AttentionTPU开源项目
ringattention项目实现Ring Attention和Blockwise Transformers技术,显著提升Transformer模型上下文处理能力。通过跨设备分布式计算和通信重叠,模型可处理长达数千万个token的序列,无需增加开销。该技术支持causal block和cache index,为大规模语言模型训练提供高效解决方案,特别适用于超长上下文处理场景。
LLM2Vec-Mistral-7B-Instruct-v2-mntp - 将大型语言模型转变为高效文本编码器的简单方法
GithubHuggingfaceLLM2Vec开源项目文本编码模型深度学习自然语言处理语义相似度
LLM2Vec-Mistral-7B-Instruct-v2-mntp项目提供了一种将解码器型大语言模型转换为文本编码器的方法。该方法包括启用双向注意力、掩码下一个词预测和无监督对比学习三个步骤。经过转换的模型可生成高质量文本嵌入,适用于信息检索、文本分类和语义相似度等自然语言处理任务,并可通过微调进一步提升性能。
roberta-large-mnli - RoBERTa大型模型微调的零样本分类模型
GithubHuggingfaceRoBERTa开源项目文本分类机器学习模型自然语言处理语言模型
roberta-large-mnli是基于RoBERTa大型模型在MNLI语料库上微调的自然语言推理模型。该模型在零样本分类任务中表现优异,适用于句对分类和序列分类。它采用transformer架构,通过掩码语言建模进行预训练,在GLUE和XNLI基准测试中成绩卓越。然而,用户需注意模型可能存在偏见,不适合生成事实性内容或用于可能造成负面影响的场景。
rome - 自动回归变换器上的高级模型编辑技术
GPT-2 XLGPT-JGithubROMERank-One Model Editing开源项目自动回归变换器
ROME项目提供了自动回归变换器的模型编辑技术,支持OpenAI的GPT-2 XL与EleutherAI的GPT-J。项目包括安装指南、应用示例(如模型重写)及评估工具,帮助开发者理解和应用模型修改。
Qwen2.5-72B - 基于727亿参数的预训练语言模型 专注多语言与长文本处理
GithubHuggingfaceQwen2.5多语言支持大语言模型开源项目模型自然语言处理长文本生成
Qwen2.5-72B是一个拥有727亿参数的预训练语言模型,支持29种以上语言处理,可处理13万个token的上下文长度。模型专注于编码、数学运算和结构化数据理解,支持8K token文本生成。模型架构整合了RoPE、SwiGLU和RMSNorm技术,适用于后续的指令微调和应用开发。
MEGABYTE-pytorch - 多尺度Transformer模型实现百万字节序列预测
AI模型GithubMEGABYTEPytorchTransformer开源项目深度学习
MEGABYTE-pytorch是一个基于PyTorch实现的多尺度Transformer模型,专门用于预测百万字节长度的序列。该项目具有灵活的配置选项,支持多个本地模型,并整合了Flash Attention等先进技术。MEGABYTE-pytorch通过简洁的API接口实现长序列处理、模型训练和文本生成。此外,项目提供了基于enwik8数据集的训练示例,为开发者提供了实用参考。
mlong-t5-large-sumstew - 多语言长文本抽象概述模型,适用于生成标题和摘要
GithubHuggingfacemLong-T5-large-sumstewtitle生成transformers多语言开源项目摘要生成模型
这款多语言抽象概述模型支持处理长达16k输入标记的文档,擅长生成标题和摘要。在sumstew上训练,samsum数据集ROUGE-1得分为29.7108,其文本概述能力优异。可通过transformers库轻松集成,支持基础与高级配置的调用,优化内容生成过程。模型验证完整可靠,适用于多场景下的内容生成和信息提取。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号