Project Icon

longformer-large-4096

专为长序列处理设计的transformer模型

Longformer-large-4096是一种为长序列处理设计的transformer模型。该模型通过改进的注意力机制,克服了传统transformer处理长文本的限制。它可处理长达4096个token的输入,适用于文档摘要和问答系统等长文本理解任务。Longformer-large-4096能高效捕捉长距离依赖关系,为自然语言处理提供了新的解决方案。

LongRoPE - 扩展大语言模型上下文窗口至200万以上标记的方法
GithubLongRoPETransformer上下文窗口位置编码大语言模型开源项目
LongRoPE项目提出了一种将大语言模型(LLM)上下文窗口扩展至超过200万个标记的方法。通过利用位置嵌入中的非均匀性,项目实现了8倍的上下文窗口扩展,无需微调。采用逐步扩展策略从256k微调至2048k上下文,避免了对超长文本的直接微调。LongRoPE还调整了原始窗口长度内的嵌入,确保在各种任务中保持高效表现,适用于对话、问答、长文档摘要及少样本学习。
x-transformers - 轻量级Transformer模型,支持完整的编解码器配置和最新研究成果,适合各种从图像分类到语言模型的应用
Githubtransformerx-transformers开源项目模型训练编码器编解码器
x-transformers提供了多功能的Transformer模型,支持完整的编解码器配置和最新研究成果,适合各种应用,从图像分类到语言模型。其先进技术如闪存注意力和持久内存,有助于提高模型的效率和性能。此项目是研究人员和开发者的理想选择,用于探索和优化机器学习任务中的Transformer技术。
albert-xxlarge-v2 - 基于大规模预训练的模型,提升英语语言任务表现
ALBERTGithubHuggingface句子顺序预测开源项目掩码语言模型模型自监督学习预训练模型
该模型使用遮蔽语言建模和句子排序任务在大规模英语语料库上进行预训练,擅长捕捉句子双向语义。通过层共享设计,降低内存消耗,具备12个重复层、128个嵌入和4096个隐藏维度。适合句子分类、标记分类和问答等任务的微调,表现优异。
layoutlm-large-uncased - 微软开发的多模态文档理解大型预训练模型
GithubHuggingfaceLayoutLM信息提取多模态学习开源项目文档理解模型预训练模型
LayoutLM-large-uncased是微软开发的大型多模态文档理解预训练模型。该模型融合文本、版面布局和图像信息,在表单和收据理解等文档AI任务中表现出色。模型架构包括24层、1024隐藏单元、16个注意力头,总计3.43亿参数。经过1100万份文档的2轮预训练,LayoutLM为文档图像理解和信息提取任务提供了高效解决方案。
TransnormerLLM - 使用线性注意力机制的大规模语言模型
GithubTransNormerLLM大语言模型开源项目模型权重线性注意力机制高质量语料库
TransNormerLLM是一种高效的大规模语言模型,使用线性注意力机制,优于传统的软注意力模型。该模型训练于高质量语料库,包含1.4万亿个词元,支持中文、英语和多语言基准测试,在多领域表现出色。提供385M、1B和7B参数版本,开放给学术研究,商用需申请许可。
landmark-attention - 突破性长序列处理技术的高效注意力机制
GithubLLaMALandmark AttentionTransformer开源项目深度学习语言模型
Landmark Attention项目提供了一种创新注意力机制的实现,可处理无限长度的上下文。该项目包含语言建模基准测试和LLaMA模型微调代码,以及与Flash Attention结合的Triton实现。通过在输入中添加特殊landmark标记,实现了对超长序列的随机访问,优化了Transformer模型的长文本处理能力,同时显著降低了内存使用并提高了性能。
gpt2-large - OpenAI开发的大规模语言模型,具有强大的文本生成能力
GPT-2GithubHuggingfaceOpenAItransformer开源项目模型自然语言处理语言模型
GPT-2 Large是OpenAI开发的大型语言模型,拥有7.74亿参数。基于Transformer架构,该模型在大规模英文语料上进行预训练,可用于文本生成、写作辅助等多种自然语言处理任务。GPT-2 Large展现出强大的语言理解和生成能力,但也存在一些偏见和局限性。研究人员可利用它探索大规模语言模型的行为、能力和约束,为自然语言处理领域提供重要研究工具。
Autoformer - 具有自相关性的分解变压器,用于长期序列预测
AutoformerGithubTransformer开源项目时间序列预测自动相关机制长期预测
Autoformer是一种长时间序列预测的通用模型,采用分解变压器和自动相关机制,实现38%的预测精度提升,覆盖能源、交通、经济、天气和疾病等应用领域。最近,该模型已被纳入Hugging Face和Time-Series-Library,并在2022年冬奥会中用于天气预报。Autoformer不同于传统Transformer,不需位置嵌入,具备内在的对数线性复杂度,易于实现和复现。
internlm2-base-7b - 高效处理超长文本的多功能开源模型
GithubHuggingfaceInternLM开源开源项目模型评测语言能力
InternLM2-Base-7B是一个适应性强的开源模型,支持处理长达20万字的文本,具备精确的信息检索能力,并在推理、数学、编程任务中表现优异。通过OpenCompass工具验证,其性能适合广泛应用,是研究人员和开发者的理想选择。
nomic-bert-2048 - 预训练BERT模型实现2048序列长度的上下文理解
BERTGithubHuggingfacenomic-bert-2048开源项目机器学习模型自然语言处理预训练模型
nomic-bert-2048模型通过Wikipedia和BookCorpus数据集训练,采用改进的位置编码技术,支持2048长度的文本序列处理。在GLUE基准评测中展现出与传统BERT相当的性能,同时具备更强的长文本理解能力。该模型兼容标准BERT分词系统,适用于文本补全和分类等自然语言处理任务。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号