CEPE

并行编码框架助力语言模型处理长文本

CEPE 长文本语言建模并行编码 LLaMA 上下文扩展 Github 开源项目

CEPE是一个扩展语言模型上下文窗口的开源框架,采用并行编码方法处理长文本输入。该项目提供数据预处理、模型训练和基线评估的完整代码,并发布了可通过Hugging Face使用的预训练模型。CEPE在语言建模和开放域问答等任务中表现优异,为处理长文本提供了高效解决方案。

mxbai-colbert-large-v1 - ColBERT大型双编码器模型实现快速信息检索和语义匹配

AI绘图GithubHugging FaceHuggingface人工智能开源项目机器学习模型深度学习

mxbai-colbert-large-v1是基于ColBERT架构的双编码器模型,专注于高效信息检索和语义匹配。该模型在保持高精度的同时显著提升了检索速度,支持多语言处理。其预训练赋予了强大的语义理解能力,适用于问答系统、文档检索等多种搜索和匹配任务场景。

OpenELM-1_1B-Instruct - 高效开源语言模型家族及其完整训练框架

GithubHuggingfaceOpenELM开源框架开源项目指令微调模型语言模型预训练

OpenELM是一个开源高效语言模型家族，通过层级缩放策略优化参数分配以提高模型精度。该项目提供了从2.7亿到30亿参数的预训练和指令微调模型，以及完整的数据准备、训练、微调和评估框架。OpenELM在多项自然语言处理任务中表现出色，为语言模型研究和应用开发提供了有价值的开源资源。

bge-large-zh-v1.5 - 大规模中文预训练向量模型优化检索性能

BGEFlagEmbeddingGithubHuggingface嵌入模型开源项目检索增强模型语言模型

bge-large-zh-v1.5是一款先进的中文预训练向量模型。该模型支持长文本输入处理,并整合了密集、稀疏和多向量检索功能。在多语言和跨语言基准测试中,它展现出优异的性能表现。该模型适用于信息检索和语义相似度计算任务,能有效提升大语言模型的检索增强能力。

DeepSeek-LLM - 多语言大模型展现卓越编码与数学能力

DeepSeek LLMGithub人工智能开源开源项目自然语言处理语言模型

DeepSeek LLM是一个包含67亿参数的先进语言模型,经过2万亿英文和中文token的训练。该模型在推理、编码、数学和中文理解等方面表现优异,超越多个同类模型。其67B Chat版本在编码和数学方面尤为出色,在HumanEval和GSM8K等基准测试中名列前茅。项目开源了7B和67B的base与chat版本,可用于学术和商业研究。

bge-m3 - 先进的多语言多功能文本嵌入模型

BGE-M3GithubHuggingface向量检索多语言开源项目文本嵌入模型自知识蒸馏

BGE-M3是一个支持100多种语言的文本嵌入模型，具备多功能和多粒度处理能力。它可同时执行密集检索、多向量检索和稀疏检索，处理范围从短句到长达8192个token的文档。该模型在多语言和跨语言任务中表现出色，为检索增强生成等应用提供支持。BGE-M3采用自知识蒸馏等技术训练，在多项基准测试中取得了优秀成绩。

all_datasets_v3_mpnet-base - 基于MPNet的高效句子和段落编码模型

GithubHuggingfacesentence-transformers信息检索句向量句子相似性对比学习开源项目模型

该模型利用sentence-transformers，通过microsoft/mpnet-base预训练模型和自监督对比学习目标进行微调，将句子和段落有效编码至768维度向量空间，适用于信息检索、语义搜索和聚类任务，尤其是在句子相似度计算中有较好表现。微调时，使用了超过10亿对的句子数据，并在TPU v3-8环境下进行了920k步训练，采用AdamW优化器和对比损失。此外，在无sentence-transformers库的情况下，通过特定的池化操作仍可实现相似的编码效果，代码实现简单易用。

bge-large-en - 英文句子嵌入模型在多种NLP任务中展现优异性能

GithubHuggingfacemteb向量检索开源项目机器学习模型模型评估自然语言处理

bge-large-en是一款英文句子嵌入模型，在MTEB基准测试中表现出色。该模型在文本分类、检索、聚类等多项自然语言处理任务中获得优异结果，尤其在亚马逊极性分类和Banking77分类等任务上表现突出。这个模型在MTEB基准测试的多个子任务中展现了优秀性能，包括亚马逊评论分类、问答检索、文本聚类等。值得注意的是，在亚马逊极性分类任务中，bge-large-en达到了91.94%的准确率，在Banking77分类任务中也取得了88%的准确率。这些结果表明该模型在多种文本处理场景中具有广泛的应用潜力。

deepseek-coder-1.3b-instruct - DeepSeek Coder 多语言支持的开源代码生成与补全模型

DeepSeek CoderGithubHuggingface代码语言模型商业使用多语言编程开源项目模型项目级代码补全

DeepSeek Coder 1.3B是一款基于2T tokens数据训练的开源代码语言模型，包含87%代码和13%中英文自然语言。该模型支持多种编程语言，提供项目级代码补全和填充功能，并在HumanEval等基准测试中展现出色性能。采用16K窗口大小，模型适用于各类开发场景，并支持商业用途。开发者可通过简单的API快速集成和使用这一强大的代码生成工具。

canine-c - 字符级多语言自然语言处理模型

CANINEGithubHuggingface多语言模型字符级编码开源项目模型自然语言处理预训练模型

CANINE-c是一款预训练于104种语言的多语言模型，直接在字符级别处理文本，无需专门的分词器。该模型通过掩码语言建模和下一句预测方法训练，可生成适用于序列分类、标记分类和问答等下游任务的特征表示。CANINE-c为自然语言处理领域提供了一种新颖的、高效的处理方法。

OpenAOE - 大模型群聊框架，同时与多个大语言模型聊天

API接入GithubLLMsOpenAOEOpen源AI多模型并行响应开源项目

OpenAOE是一款创新的开源项目，致力于实现群体智能并行化处理。通过单一提示，可以同时获取多模型响应。OpenAOE支持多种商用和开源LLM API，包括gpt3.5、gpt4等，并提供后端API和WEB界面，满足不同需求。项目支持pip、docker和源码运行，可助于快速简便地部署和使用。

相关项目

推荐项目

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

稿定AI

稿定设计是一个多功能的在线设计和创意平台，提供广泛的设计工具和资源，以满足不同用户的需求。从专业的图形设计师到普通用户，无论是进行图片处理、智能抠图、H5页面制作还是视频剪辑，稿定设计都能提供简单、高效的解决方案。该平台以其用户友好的界面和强大的功能集合，帮助用户轻松实现创意设计。

使用协议隐私政策广告服务

投诉举报邮箱: service@vectorlightyear.com