Project Icon

MiniLMv2-L6-H384-distilled-from-BERT-Large

微软开发的轻量压缩型自然语言处理模型

MiniLMv2-L6-H384-distilled-from-BERT-Large是微软开发的轻量级自然语言处理模型,通过知识蒸馏技术从BERT-Large模型压缩而来。该模型在保持性能的同时,显著降低了模型体积和计算资源需求,适合在资源受限场景下部署使用。

distilroberta-base - DistilRoBERTa:轻量高效的英语语言模型
DistilRoBERTaGithubHuggingface开源项目机器学习模型模型蒸馏自然语言处理语言模型
DistilRoBERTa-base是RoBERTa-base的精简版本,采用与DistilBERT相同的蒸馏技术。模型包含6层结构,768维向量和12个注意力头,总参数量为8200万,比原版减少33%。在保持相近性能的同时,处理速度提升一倍。主要应用于序列分类、标记分类和问答等下游任务的微调。该模型在英语处理上表现优异,但使用时需注意其可能存在的偏见和局限性。
all-MiniLM-L12-v1 - 基于MiniLM的句子向量化与语义搜索模型
GithubHuggingfacesentence-transformers句子向量开源项目机器学习模型自然语言处理语义搜索
all-MiniLM-L12-v1是一个开源的句子向量化模型,基于MiniLM架构开发。该模型通过10亿对句子数据训练而成,可将文本转化为384维向量表示,广泛应用于文本聚类、语义检索等场景。模型支持多种调用方式,兼容sentence-transformers和HuggingFace框架,为开发者提供便捷的文本向量化解决方案。
distil-large-v3 - 经过蒸馏的快速轻量级语音识别模型
Distil-WhisperGithubHuggingfacetransformers开源项目模型模型压缩自然语言处理语音识别
distil-large-v3是一个经过知识蒸馏的语音识别模型,模型大小比Whisper large-v3减少44%,推理速度提升6.3倍,同时保持相近的识别准确率。支持短语音和长语音转录,兼容多种主流语音识别框架,为用户提供快速、轻量且准确的语音识别功能。
llmlingua-2-bert-base-multilingual-cased-meetingbank - 基于BERT的多语言提示词压缩模型
GithubHuggingfaceLLMLingua-2大语言模型开源项目提示词压缩数据处理文本优化模型
LLMLingua-2-Bert是一个基于BERT多语言模型开发的提示词压缩工具,通过数据蒸馏技术实现任务无关的提示词压缩功能。该模型可识别并保留提示词中的关键信息,在维持原始语义的基础上减少token使用量。模型支持多语言处理,提供API接口,适用于需要控制提示词长度的各类AI应用场景。
all-MiniLM-L6-v2 - 高效句子嵌入模型实现384维向量空间映射
GithubHuggingfaceONNXsentence-transformers向量嵌入开源项目模型自然语言处理语义相似度
all-MiniLM-L6-v2是一个句子嵌入模型,可将文本映射到384维向量空间。该模型基于MiniLM-L6-H384-uncased,在超10亿句子对上微调。支持sentence-transformers和Hugging Face Transformers库调用,适用于聚类和语义搜索等任务。模型在多项基准测试中表现优异,是一个通用的句子嵌入工具。
SmolLM-1.7B - 小型化设计与处理能力兼备的语言模型,适用于多个应用场景
Cosmo-CorpusGithubHuggingfaceSmolLMTransformer开源项目模型生成模型语言模型
SmolLM系列语言模型基于Cosmo-Corpus高质量数据集开发,提供135M、360M和1.7B参数选项,表现出色的常识推理和广泛知识评估能力。模型通过多类型内容数据集训练,支持8位和bfloat16位精度,可在CPU和多GPU环境中运行。需注意,内容生成的准确性和一致性可能受限,仅供辅助使用。可通过HuggingFace平台便捷部署。
build_MiniLLM_from_scratch - 小规模参数LLM构建指南,支持多轮对话与聊天模型
GithubTorch4kerasbert4torchbuild_MiniLLM_from_scratch开源项目指令微调预训练
该项目详细介绍了如何从零开始构建小规模参数的语言模型(LLM),经过预训练、指令微调、奖励模型和强化学习四个阶段。项目基于bert4torch训练框架,优化内存占用,并提供完整的训练日志以供复现。模型支持与transformers兼容,能够进行多轮对话。项目也开源了预训练语料和权重,方便用户下载和使用,提升了实用性与操作性。
distilbart-mnli-12-6 - BART模型的高效压缩方案 无教师蒸馏技术应用
DistilBartGithubHuggingfaceMNLI开源项目模型模型蒸馏精度对比自然语言推理
distilbart-mnli-12-6是BART大型模型的压缩版本,采用无教师蒸馏技术开发。通过复制bart-large-mnli的交替层并微调,该模型在MNLI数据集上实现了接近原模型的性能,同时显著降低了模型规模。这一简单有效的压缩方法为自然语言处理任务提供了更为高效的解决方案,展示了模型优化的新思路。
msmarco-MiniLM-L-6-v3 - 基于BERT的句子编码模型实现文本语义向量化和相似度计算
GithubHuggingfacesentence-transformers嵌入模型开源项目模型深度学习自然语言处理语义向量
msmarco-MiniLM-L-6-v3是一个基于sentence-transformers的句子编码模型,将文本映射至384维向量空间。模型基于BERT架构,支持文本相似度计算和聚类分析,可通过sentence-transformers或HuggingFace Transformers框架调用。
all-MiniLM-L12-v2 - 基于自监督学习的高效句子嵌入模型
GithubHuggingfacesentence-transformers句子嵌入句子相似性对比学习开源项目微调模型
采用自监督对比学习技术,all-MiniLM-L12-v2模型专注于高效编码句子和短段落,利用超过11亿句对进行训练,加强语义搜索和信息检索性能。结合TPU与JAX/Flax技术优化,模型方便集成在sentence-transformers或HuggingFace Transformers中,适合多种文本处理应用。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号