#transformers
wav2vec2_tiny_random - 轻量级语音识别模型测试入门
深度学习Huggingface开源项目模型CTCtransformersGithub音频处理Wav2Vec2
使用简洁的代码示例来测试轻量级语音识别模型,展示如何利用Wav2Vec2ForCTC结合torchaudio进行验证。通过示例演示音频数据的加载、处理以及模型输出与损失的计算过程。适用于librispeech_asr简化版数据集,是理解语音识别模型基本原理的理想入门材料。
gemma-2-2b-it-bnb-4bit - Gemma模型量化优化实现快速微调与内存高效管理
模型微调机器学习GemmaGithub模型量化Huggingface开源项目transformers模型
这是一个面向Gemma-2-2b模型的量化优化项目,集成了bitsandbytes和Unsloth技术,显著提升了模型微调效率并降低内存占用。项目通过Google Colab提供开箱即用的运行环境,支持一键式模型优化,并可将优化后的模型导出为GGUF格式或部署至vLLM平台。该方案特别适合资源受限环境下的模型优化需求。
Qwen2.5-72B-Instruct-AWQ - 高性能量化开源大模型 支持多语言及长文本处理的人工智能助手
transformers大语言模型Qwen2.5Github模型自然语言处理量化模型Huggingface开源项目
Qwen2.5-72B-Instruct-AWQ是一款采用4位量化技术的大规模语言模型,具备29种语言处理能力。模型支持128K tokens的上下文理解和8K tokens的文本生成,搭载80层神经网络及64/8注意力头架构。该模型在代码生成、数学计算、结构化数据处理等方面展现出稳定性能,并可进行长文本处理和JSON格式输出。
kobart-summary-v3 - 韩语文档摘要与报告生成的高效模型
kobartHuggingface模型GithubBartForConditionalGeneration文档总结开源项目transformers
kobart-summary-v3是一个针对韩语文档和报告的自动摘要生成模型。该模型通过优化训练数据提升了文本生成的简洁性和可读性,同时保持信息的完整性,适用于多种应用场景,如学术文献和大型文书的自动摘要生成。
mformer-loyalty - 构建高效的机器学习转换器框架
开源协议GithubMIT英语软件许可Huggingface开源项目transformers模型
mformer-loyalty是一个基于MIT许可证的开源项目,集成于transformers库中。该项目使用英语进行开发维护。
mlong-t5-large-sumstew - 多语言长文本抽象概述模型,适用于生成标题和摘要
多语言Github模型transformersmLong-T5-large-sumstew开源项目title生成Huggingface摘要生成
这款多语言抽象概述模型支持处理长达16k输入标记的文档,擅长生成标题和摘要。在sumstew上训练,samsum数据集ROUGE-1得分为29.7108,其文本概述能力优异。可通过transformers库轻松集成,支持基础与高级配置的调用,优化内容生成过程。模型验证完整可靠,适用于多场景下的内容生成和信息提取。
mformer-care - 基于Transformers的多模态深度学习模型
开源项目transformers深度学习模型机器学习Github自然语言处理开源Huggingface
mformer-care是一个基于Hugging Face Transformers库开发的开源项目,采用MIT许可证,支持英语语言处理。该项目利用Transformer架构实现多模态数据的处理与分析。
mformer-authority - 基于Transformers的开源自然语言处理库
transformers自然语言处理开源许可Github英语模型机器学习库Huggingface开源项目
mformer-authority是一个基于MIT许可的开源自然语言处理库,提供了便捷的Transformers模型使用接口。该库支持多语言处理,可帮助开发者快速构建和部署NLP应用。作为一个轻量级工具,mformer-authority适用于各种自然语言处理任务,包括文本分类、命名实体识别等。它具有易用性高、性能优良的特点,是开发者进行NLP项目的理想选择。
pixtral-12b - 支持多图片交互分析的开源视觉语言模型
图像识别机器学习GithubHuggingface多模态开源项目transformers模型Pixtral
pixtral-12b基于Transformers框架开发,是一个支持多图片处理的视觉语言模型。该模型可处理图文混合输入,实现图片内容识别、场景描述及图片关系分析。通过简单的API调用,开发者可快速实现多模态对话和图像分析功能。
dunzhang-stella_en_400M_v5 - 基于MTEB的英文语义匹配模型支持分类检索与聚类功能
模型评估机器学习GithubHuggingfacemteb开源项目transformers模型sentence-transformers
Stella_en_400M_v5是一个基于MTEB基准的英文语义匹配模型。在亚马逊商品评论分类任务中准确率达97.19%,同时支持文本分类、语义相似度计算、信息检索和文本聚类等应用场景。该模型在ArguAna检索任务中MAP@10达到56.21%,在ArxivClustering聚类任务中V-measure达到55.15%
dictalm2-it-qa-fine-tune - 希伯来语问答生成优化模型
HuggingfaceDicta-IL模型微调开源项目模型transformersHebrewGithub问答生成
该项目是在dicta-il/dictalm2.0-instruct模型上进行了精细调整,专为生成希伯来语的问答对而设计。该模型由Guy Shapira开发,采用Transformer架构,经过合成及现有Q&A数据集的训练进行优化。通过Hugging Face的Transformers库,可以方便地加载并应用该模型以生成问答对。
mformer-sanctity - 开源深度学习NLP开发框架
MIT协议开源项目transformers模型Github开源协议编程语言软件许可Huggingface
这是一个基于MIT许可证的开源自然语言处理项目,使用transformers技术进行开发。该框架旨在为NLP应用开发提供支持,集成了相关工具和技术组件。框架采用模块化设计,便于开发者进行自然语言处理相关功能的开发和部署。
gpt2_chinese - 使用15G中文语料和31亿tokens完成GPT2训练教程
zero_nlp开源项目中文模型Huggingfacegpt2训练transformersGithub
该项目使用15G中文语料和31亿个tokens,在单张3090显卡上运行60多小时,成功训练出中文版本的GPT2模型。项目提供教程指导如何使用transformers库实现中文文本生成。
aya-23-8B-GGUF - 更精细的文本生成量化选项分析
开源项目质心模型文本生成Huggingfacetransformers量化Github
项目使用最先进的llama.cpp imatrix量化技术,支持多语言文本生成。多种量化格式,例如Q8_0和紧凑型IQ系列,提供应用的灵活性。用户依据硬件选择文件,以优化性能。创新量化处理为多语言文本生成提供了更高效的实现路径。
tiny-random-BertModel - 轻量级随机初始化BERT模型
机器学习人工智能Github模型卡片自然语言处理Huggingface开源项目transformers模型
tiny-random-BertModel是一个轻量级BERT模型实现,采用随机初始化的小型架构。该模型适用于资源受限环境,保留BERT核心功能,可处理多种NLP任务。它提供快速部署和微调能力,为开发者提供灵活起点,便于根据特定需求优化和定制。
TestMixtral - Transformers模型卡片生成工具助力AI开发与研究
模型卡片transformers开源项目模型模型评估机器学习GithubHuggingface环境影响
基于Transformers框架开发的模型卡片生成工具,能够标准化记录AI模型的基础特征、应用场景、局限性、训练参数等技术细节。系统化展示包含环境影响评估在内的完整模型信息,为AI开发者与研究人员提供规范的模型文档参考。
pretrained-xlmR-food - XLM-RoBERTa多语言食品文本分类模型
Github开源项目模型卡片transformersHuggingface神经网络机器学习模型评估模型
pretrained-xlmR-food是一个基于XLM-RoBERTa的多语言食品文本分类模型。该模型可处理多种语言的食品描述、评论和标签,适用于食品安全分析、菜单分类等场景。项目提供了模型使用指南和性能评估结果,便于研究人员和开发者快速应用。
PhoRanker - 先进的越南语文本排序模型
Github开源项目PhoRankertransformers文本排序自然语言处理跨编码器Huggingface模型
PhoRanker是一款专门针对越南语文本排序的交叉编码器模型。在MS MMarco Passage Reranking - Vi - Dev数据集上,该模型在NDCG@10和MRR@10等重要指标方面表现优异。PhoRanker兼容sentence-transformers和transformers库,提供了便捷的使用方法和预处理步骤。模型不仅性能卓越,还能保持每秒处理15个文档的高效率。对于需要进行越南语文本排序的应用场景,PhoRanker是一个值得考虑的选择。
llm-jp-3-1.8b-instruct - 跨平台大规模语言模型的多语言开发与评估
大规模语言模型Github开源项目指令微调transformersHuggingface预训练llm-jp模型
项目由日本国家信息学研究所研发中心开发,提供支持多种编程语言的大型语言模型,如C、Python、Java。采用Transformer架构,模型经过大规模数据集的预训练与优化微调,适用于多语言环境。用户可通过Hugging Face Transformers库轻松集成与使用。项目提供模型技术细节、参数设置和语言标记器使用方法,以及多样化的数据集和评估方案,适用于中文、英文、日文等语言。
japanese-roberta-base - 日语RoBERTa模型适用于掩码语言建模
Github开源项目日语NLPjapanese-roberta-base模型transformersHuggingface模型训练迁移学习
此项目展示了一个经过日本CC-100和维基百科数据集训练的日语RoBERTa模型,专注于掩码语言建模。该模型在12层768隐藏单元的架构中实现了良好的语义预测能力,适合自然语言处理应用,且支持自定义位置编码。
Phi-3-mini-4k-instruct-bnb-4bit - 通过Unsloth工具提升深度学习模型微调速度与内存效率
Github开源项目Unsloth模型模型微调HuggingfacetransformersGoogle Colab机器学习
项目通过提供免费、易于使用的Google Colab笔记本,便于在微调Phi-3.5、Llama 3.1、Mistral等深度学习模型时实现更高效的速度与内存管理,内存使用减少达74%。用户只需添加数据集并执行所有代码,便可获得加速至最高3.9倍的微调模型,支持导出多种格式或上传至Hugging Face平台。Colab快捷方式有效简化模型微调过程,适用于文本生成和对话模板。
Arabic-Whisper-CodeSwitching-Edition - 针对阿拉伯语和英语混合语音的优化识别模型
代码转换Github开源项目阿拉伯语模型语言模型Huggingfacetransformers语音识别
本模型是经过精调的OpenAI Whisper Large v2版本,旨在提升阿拉伯语和英语混合语音的识别精度。基于阿拉伯-英语代码切换数据集训练,适用于处理多语言环境中的阿拉伯语和英语混合语音。虽然在该特定场景中表现优异,但在其它语言或单语言场景中性能可能有所下降。
blip2-itm-vit-g - 基于Transformers的图像文本匹配模型
模型训练环境影响Github开源项目模型卡片模型Huggingfacetransformers机器学习
BLIP2-ITM-ViT-G是一个基于Transformers架构的多模态模型,专门用于图像-文本匹配任务。该模型使用ViT-G作为视觉编码器,通过预训练实现图像与文本之间的语义关系理解和匹配。它可直接应用于图文相关性判断,也可作为下游任务的基础模型进行微调,适用于图像检索、跨模态搜索等应用场景。
LongWriter-llama3.1-8b-GGUF - 长上下文自然语言生成的突破与模型量化技术
开源项目LongWriter-llama3.1-8b量化格式模型下载模型Huggingfacetransformers量化Github
LongWriter-llama3.1-8b-GGUF项目通过llama.cpp实现imatrix量化,为长上下文自然语言生成提供全面解决方案。支持英文和中文,涵盖多种量化类型,满足不同硬盘和速度需求。用户可根据VRAM和RAM选择合适的模型文件,获取最佳运行速度或质量。项目兼容多种硬件,包括Nvidia的cuBLAS、AMD的rocBLAS和Apple Metal,并提供I-quant与K-quant使用指南。文件可通过huggingface-cli下载,帮助用户提高自然语言处理效率。
instructor-xl - 基于T5架构的开源文本嵌入模型
文本相似度Huggingface开源项目模型transformersGithub模型评估文本分类自然语言处理
instructor-xl是一个基于transformer架构和T5模型的文本嵌入工具,主要应用于句子相似性计算、信息检索和文本分类任务。该模型已完成多项基准测试评估,包括自然问题回答、文本分类和语义相似度分析等。模型当前主要支持英语文本处理,可用于构建各类自然语言处理应用。
tiny-random-idefics2 - 面向测试开发的轻量级Idefics2多模态交互模型
神经网络Huggingface机器学习人工智能开源项目模型transformersGithub模型训练
tiny-random-idefics2是一个基于Idefics2架构构建的轻量级模型,集成Mistral文本处理和Idefics2视觉处理功能。通过简化的网络结构设计,包括最小化隐藏层和注意力层,实现了高效的多模态交互能力。该项目基于Transformers框架开发,已开源部署于Hugging Face平台,主要服务于原型验证和功能测试场景。
replit-code-v1_5-3b - 代码补全的多编程语言支持模型
Replit Code v1.5transformersMosaicML开源项目模型GithubHuggingface代码补全编程语言
Replit Code v1.5是具备3.3B参数的新型语言模型,专注于代码补全功能,支持30种编程语言,包括Java、Python和C++。在MosaicML平台上训练,利用特制的GPTNeoX分词器和优化词汇表处理1万亿代码代币。该模型适合商用及作为特定应用的基础模型模块。
10.5B_v1 - 介绍最前沿的自然语言处理开源项目
开源项目模型Github卡片Huggingface训练评估transformers
本页面介绍了在🤗transformers平台上发布的自然语言处理模型,支持直接与下游应用。页面提供模型使用指导、性能评估、环境影响及技术规格信息,帮助用户合理利用模型的同时意识到潜在的偏见、风险和局限。
molmo-7B-D-bnb-4bit - 量化技术优化,模型尺寸有效缩减
深度学习基准测试Huggingface机器学习模型量化开源项目模型transformersGithub
采用4bit量化技术的Molmo-7B-D模型,从30GB压缩至7GB,运行需求缩减至约12GB VRAM。项目致力于在保持低资源消耗的基础上提升模型性能。进一步的信息及示例代码可在GitHub和Hugging Face上获取,性能指标及基准测试结果预定于下周发布。
llama-3-merged-linear - 无训练过程的顶尖LLM模型合并方法利用Mergekit工具
YouTube教程HuggingfaceHuggingFaceLLM模型合并开源项目模型transformersGitHubGithub
探索合并llama-3顶尖模型创建更高排名LLM模型,无需额外训练。该项目利用Mergekit实现模型无缝合并,面向关注开源项目和深度学习的用户。提供YouTube视频教程和GitHub代码支持,帮助用户了解项目细节和操作流程。
h2o-danube3-4b-chat - H2O.ai推出支持离线运行的4亿参数聊天模型
使用注意事项Huggingface参数h2o-danube3-4b-chatGithub开源项目模型transformers语言模型
h2o-danube3-4b-chat是由H2O.ai推出的4亿参数聊天模型,采用Llama 2架构,并经过H2O LLM Studio微调。该模型支持在手机设备上离线运行,使用Mistral tokenizer,支持32,000词汇量和8,192上下文长度。其在🤗 Open LLM Leaderboard上的表现具竞争力,并支持量化和多GPU分片,便于加载与使用。
gemma-2-9b-it-russian-function-calling-GGUF - Function Calling任务优化的俄语AI模型
text-generationHuggingfaceFunction CallingDiTyGithub模型transformersrussian开源项目
该模型基于Google的gemma-2-9b-it,在俄语数据集DiTy/function-calling上进行微调,以实现精确的功能调用任务。模型提供safetensors和GGUF两种格式下载选项,用户可用Python脚本配置功能调用,并通过自定义聊天模板提升功能调用的效率和智能性,适用于高精度需求场景。
bert-base-japanese-v3-unsup-simcse-jawiki - 使用无监督SimCSE的BERT日文模型特性和应用
bert-base-japanese-v3-unsup-simcse-jawikiGithub模型transformers开源项目SimCSEHuggingface大规模语言模型语义相似度
本项目利用无监督SimCSE方法对BERT大型语言模型进行微调,重点在于日文数据集的应用。通过cl-tohoku/bert-base-japanese-v3模型和来自jawiki的句子数据集进行训练,旨在提高语言理解与相似度计算的能力。项目附带丰富的使用案例,例如通过Colab笔记本进行的训练与推论,帮助研究者与开发者了解模型的实际应用。这一无监督方法为自然语言处理任务提供了创新方案,尤其适合有特定语言需求的专业项目。
recoilme-gemma-2-9B-v0.3 - recoilme-gemma-2-9B-v0.3模型的应用与操作指南
AI绘图recoilme-gemma-2-9B-v0.3Huggingfacetransformers模型Github开源项目大语言模型模型使用
本文介绍recoilme-gemma-2-9B-v0.3模型在Python中的使用方法,涵盖安装步骤、模板应用及文本生成过程,旨在帮助开发者更好地理解和应用该语言模型。
prometheus-bgb-8x7b-v2.0 - Transformers模型标准化文档模板及最佳实践
Huggingface机器学习人工智能模型说明开源项目模型transformersGithub模型训练
这是一个全面的Transformers模型文档模板,规范了模型卡片的编写标准。模板涵盖模型描述、应用场景、训练详情、评估方法等核心内容,有助于开发者系统记录和共享模型信息。从技术规格到环境影响,该模板提供了AI模型文档化的完整指南,促进了模型信息的标准化和透明度。
rotten_tomatoes_t5-base_seed-1 - 变形金刚模型卡功能与应用指南
环境影响Huggingface模型卡NLP训练数据Github开源项目模型transformers
了解transformers模型卡的功能细节及使用方法。模型卡涵盖模型用途、风险及技术规格,提供实用指南以帮助理解变形金刚模型的能力与应用场景。
相关文章
Nous-Yarn-Mistral-7b-128k:处理长篇文本的先进语言模型,支持128k令牌的语境窗口
2024年08月03日
LCM:苹果Mac终于可以跑SD了,几秒一张XL,喂饭级教学!
2024年08月03日
NLP-recipes: 微软的自然语言处理最佳实践与示例
2024年08月30日
spacy-transformers: 在spaCy中使用预训练Transformer模型
2024年08月30日
Attention Sinks: 让大语言模型无限流畅生成文本的新技术
2024年08月30日
LongLM: 无需微调即可自我扩展LLM上下文窗口
2024年08月30日
Transformers: 深入探索人工智能的革命性技术
2024年08月31日
Chat Templates: 为大型语言模型打造对话模板的开源项目
2024年09月05日
PhoBERT: 越南语预训练语言模型的突破性进展
2024年09月05日