#机器学习

jailbreak-classifier - 提示分类工具,增强系统安全与内容审核
Github开源项目机器学习安全模型Huggingface文本分类Jailbreak Classifier规范化
项目基于BERT模型微调,专用于识别破解与无害提示信息。利用jailbreak-classification数据集进行训练,可应用于安全和内容审核场景,提升系统安全性与审核能力,是一个多平台适用的解决方案。
xlnet-base-cased - 创新的广义排列语言建模与自回归预训练技术
Github开源项目预训练模型自然语言处理机器学习Transformer模型XLNetHuggingface
XLNet是一种创新的无监督语言表示学习方法,采用广义排列语言建模目标和Transformer-XL架构。这使得它在处理长上下文语言任务时表现卓越,并在多个下游任务中取得了领先成果。作为一个预训练模型,XLNet主要用于微调特定任务,尤其适合需要理解完整句子的应用场景,如序列分类、标记分类和问答系统等。
codebert-base-mlm - 基于掩码语言模型的编程和自然语言预训练模型
Github开源项目预训练模型机器学习编程语言自然语言模型HuggingfaceCodeBERT
CodeBERT-base-mlm是Microsoft开发的编程和自然语言双模态预训练模型。它基于CodeSearchNet语料库训练,采用掩码语言模型目标,可用于代码补全、理解和生成任务。该模型支持多种编程语言,提供简洁的API接口,便于集成应用。CodeBERT-base-mlm在连接编程语言和自然语言方面展现出独特优势,为软件开发和自然语言处理领域提供了新的研究方向。
ner-german-large - Flair框架驱动的德语大规模命名实体识别模型
Github开源项目自然语言处理机器学习模型HuggingfaceNERFlair德语命名实体识别
这是一个基于Flair框架的德语大规模命名实体识别(NER)模型。它可识别人名、地名、组织名和其他名称四类实体。模型结合了文档级XLM-R嵌入和FLERT技术,在CoNLL-03德语修订版数据集上获得92.31的F1分数。研究者可通过Flair库轻松调用此模型进行NER任务。项目同时提供了使用示例和训练脚本,便于进一步开发和优化。
tiny-random-LlamaForCausalLM - 轻量级随机初始化Llama模型框架
人工智能Github开源项目机器学习语言模型模型HuggingFaceHuggingfaceLlamaForCausalLM
tiny-random-LlamaForCausalLM是一个轻量级的随机初始化Llama模型框架,为快速实验和测试而设计。这个简单框架使开发者能够迅速探索Llama架构,无需进行复杂的预训练。该项目主要面向研究人员和开发者,适用于了解Llama模型结构和进行快速原型设计。
bert-base-japanese-v3 - 日语BERT预训练模型:全词掩码和大规模语料库训练
Github开源项目自然语言处理机器学习BERT模型Huggingface日语预训练模型词级别分词
bert-base-japanese-v3是基于BERT架构的日语预训练模型,采用Unidic 2.1.2词典分词和全词掩码技术。该模型在CC-100和日语维基百科语料上训练,拥有12层结构和768维隐藏状态。模型适用于各种日语自然语言处理任务,为研究和开发提供了强大支持。
starcoder2-3b - 多语言代码生成模型 专注17种主流编程语言
Github开源项目自然语言处理代码生成机器学习编程语言模型HuggingfaceStarCoder2
StarCoder2-3B是一个基于30亿参数训练的代码生成模型,专注于17种主流编程语言。该模型采用分组查询注意力和滑动窗口技术,具有16384个token的上下文理解能力。StarCoder2-3B可根据上下文生成代码片段,适用于多种代码生成和补全任务,但生成的代码可能需要进一步优化。模型在大规模多语言代码数据集上训练,旨在提供灵活的编程辅助功能。
CLIP-convnext_large_d_320.laion2B-s29B-b131K-ft-soup - ConvNeXt-Large CLIP模型提升零样本图像分类性能
Github开源项目机器学习模型CLIP图像分类Huggingface零样本学习ConvNeXt
本模型基于LAION-2B数据集训练,采用320x320分辨率的ConvNeXt-Large架构和权重平均技术。在ImageNet-1k零样本分类任务上,准确率达到76.9%,超越了256x256分辨率版本。模型效率高于OpenAI的L/14-336,可应用于零样本图像分类、图文检索等任务。该项目为研究人员提供了强大的视觉-语言表征工具,助力探索大规模多模态模型。
Mistral-7B-Instruct-v0.1 - 多种推理方式支持的指令调优大语言模型
Github开源项目大语言模型自然语言处理机器学习模型Huggingface指令微调Mistral-7B-Instruct-v0.1
Mistral-7B-Instruct-v0.1是基于Mistral-7B-v0.1的指令调优大语言模型。该模型通过多种公开对话数据集微调,支持mistral_common、mistral_inference和transformers等多种推理方式。它采用分组查询注意力和滑动窗口注意力机制,结合字节回退BPE分词器,提供简单的指令格式,适用于对话生成任务。模型架构优化使其在保持高性能的同时,具备良好的通用性和易用性。
wmt19-de-en - 德英翻译新突破,基于WMT19模型的精准与高效
Github开源项目机器学习翻译模型性能评估HuggingfaceFacebookFSMT
wmt19-de-en项目是基于FairSeq的WMT19模型的德英翻译工具,旨在提高翻译的准确性和效率。项目提供预训练模型,可快速部署于多种翻译场景。尽管在处理重复短语时存在一定限制,但整体表现出色,获得了高BLEU评分。未来的改进方向包括加强模型集成和重新排序功能,以增强对复杂输入的翻译能力。
kobert-base-v1 - 为韩语自然语言处理优化的BERT模型
Github开源项目深度学习自然语言处理机器学习BERT模型Huggingface韩语
KoBERT是SKT Brain开发的韩语BERT模型,针对韩语特性进行了优化。这一预训练模型为文本分类、命名实体识别等韩语自然语言处理任务提供了有力支持。作为开源项目,KoBERT在GitHub上提供了完整代码和文档,方便研究人员和开发者使用和研究。
sbert-base-cased-pl - 波兰语言语义相似度高效模型
Github开源项目自然语言处理机器学习模型Huggingface句子相似性HerBERTSHerbert
sbert-base-cased-pl是SentenceBERT的改进版,利用siamese与triplet网络结构生成语义嵌入,以余弦相似度进行判断。该模型基于波兰语HerBERT,专注于语义文本相似性优化,训练数据来源于Wikipedia,并通过字节对编码进行分词,准确率达82.31%。适用于波兰语相关环境与分词器场景。
vram-80 - 优化大型语言模型微调的开源工具
人工智能Github开源项目深度学习自然语言处理机器学习模型transformersHuggingface
vram-80是一个开源项目,旨在优化大型语言模型的微调过程。该工具通过先进的显存管理技术,使得在有限计算资源下也能进行高效的模型微调。vram-80支持LoRA和QLoRA等多种微调方法,并提供简洁的接口,方便研究人员和开发者定制和优化语言模型。这个项目不仅提高了微调效率,还降低了硬件要求,为AI领域的研究和应用提供了有力支持。
kandinsky-2-1 - 基于CLIP和扩散技术的高级文本到图像生成模型
人工智能Github开源项目机器学习图像处理模型文本生成图像HuggingfaceKandinsky 2.1
Kandinsky 2.1是一个结合CLIP和潜在扩散技术的文本条件扩散模型。该模型采用CLIP作为文本和图像编码器,并利用扩散图像先验在CLIP模态的潜在空间间建立映射,从而提升视觉效果并拓展图像混合与文本引导图像操作的可能性。Kandinsky 2.1支持文本到图像生成、文本引导的图像到图像转换以及图像插值等功能,在COCO_30k数据集的零样本测试中获得8.21的FID评分。
llavanext-qwen-siglip-tokenizer - 整合多模态模型的开源项目探索图像与文本处理新方向
人工智能Github开源项目自然语言处理机器学习模型transformersHuggingface模型卡片
该项目整合了LLaVA、Qwen和SIGLIP等先进多模态模型的功能,基于Transformers库开发高效tokenizer。它支持视觉问答和图像描述等跨模态任务,为计算机视觉和自然语言处理的交叉研究提供了实用工具。该项目旨在提供一个强大的图像-文本处理框架,为研究人员和开发者探索和应用多模态AI提供便捷途径,有望在相关领域带来突破性进展。
gemma-2b-it - Google开源轻量级语言模型 适用于资源受限环境
人工智能大型语言模型Github开源项目自然语言处理机器学习模型GemmaHuggingface
Gemma-2b-it是Google开源的轻量级指令调优语言模型,采用2B参数设计。该模型支持问答、摘要和推理等多种文本生成任务,适用于笔记本电脑等资源受限环境。Gemma-2b-it在英语环境下表现出色,开放权重为AI创新提供更多可能。该模型基于Gemini技术,是Google推动AI民主化的重要举措。
stable-diffusion-v1-5 - 先进的AI文本到图像生成模型
人工智能Github开源项目机器学习模型Huggingface环境影响模型卡diffusers
Stable Diffusion v1.5是一款基于扩散技术的文本到图像生成模型。该模型能够根据文本描述生成高质量、多样化的图像,适用于艺术创作、设计辅助等多个领域。通过简单的文本提示词,用户可以控制图像生成过程。Stable Diffusion v1.5在图像质量和多样性方面较前代有显著提升,为AI图像生成领域提供了有力支持。
deberta-v3-large-mnli - DeBERTa-v3-large模型在MNLI数据集上的文本蕴含分类应用
Github开源项目自然语言处理机器学习模型Huggingface文本蕴含DeBERTa-v3Multi-NLI
此开源项目提供了一个基于DeBERTa-v3-large模型在MNLI数据集上微调的文本蕴含分类模型。模型能够预测两段文本之间的蕴含关系,输出蕴含和矛盾的概率。它适用于需要判断文本语义关系的多种场景,如问答系统、信息检索等。开发者可以将此模型集成到项目中,以增强文本理解和分析能力。
baidu-ultr_uva-bert_ips-pointwise - 基于逆向倾向评分的Baidu-ULTR排序模型
Github开源项目机器学习模型Huggingface信息检索排序模型Baidu-ULTR点击数据
该项目是基于Baidu-ULTR数据集训练的MonoBERT交叉编码器,采用逆向倾向评分(IPS)方法缓解点击数据中的位置偏差。模型在专家注释和用户点击测试集上评估了排序和点击预测性能,并提供了使用示例。这一开源模型可应用于信息检索领域的研究和实践。
vram-48 - 专为大规模语言模型设计的推理优化框架
人工智能Github开源项目深度学习自然语言处理机器学习模型TransformersHuggingface
vram-48是一个针对大规模语言模型推理进行优化的开源框架。该框架通过优化显存使用和支持多种模型并行技术,实现了在有限硬件资源下高效运行大型语言模型。vram-48提供灵活的配置选项,允许根据具体需求调整推理性能。这个项目为自然语言处理领域的研究人员和开发者提供了一个有力工具,用于探索和部署先进的语言处理应用。
MiniLM-evidence-types - MiniLM模型在证据类型分类任务上的应用与性能
Github开源项目自然语言处理模型训练机器学习模型数据集HuggingfaceMiniLM
这是一个基于microsoft/MiniLM-L12-H384-uncased模型在证据类型数据集上微调的版本。经过20轮训练后,模型在评估集上达到了0.7161的准确率和0.3726的宏F1分数。训练过程采用了Adam优化器、线性学习率调度器和混合精度训练技术。此模型主要用于自动分类和识别文本中的不同证据类型,可为相关研究和应用提供参考。
MOMENT-1-large - 多功能时间序列分析基础模型:预测、分类、异常检测和填补
Github开源项目预训练模型机器学习模型基础模型Huggingface时间序列分析MOMENT
MOMENT-1-large是一款专为时间序列分析设计的多功能基础模型。它能够高效处理预测、分类、异常检测和数据填补等多种任务。该模型具有出色的零样本和少样本学习能力,可以在缺少或仅有少量任务特定样本的情况下直接使用。此外,MOMENT-1-large支持使用领域相关数据进行微调,以进一步提升性能。作为一个灵活而强大的工具,它为各类时间序列分析任务提供了有力支持。
Qwen2-1.5B-Instruct - 性能卓越的开源指令调优语言模型
人工智能Github开源项目大语言模型自然语言处理机器学习模型Qwen2Huggingface
Qwen2-1.5B-Instruct是Qwen2系列中的指令调优语言模型,在语言理解、生成、多语言处理、编码和数学推理等方面表现优异。该模型基于改进的Transformer架构,通过大规模预训练和偏好优化,在多项基准测试中超越了大多数开源模型。Qwen2-1.5B-Instruct易于部署,适用于多种AI应用场景,能够高效处理复杂的语言任务。
gte-base - 多语言句子嵌入模型优化自然语言处理任务
Github开源项目自然语言处理机器学习模型HuggingfaceSentence Transformers语义相似度句子转换器
gte-base是一个优化多语言句子相似度任务的句子转换器模型。在MTEB基准测试中,该模型在分类、检索、聚类和语义文本相似度等多个子任务上表现出色。支持多语言处理的特性使其适用于信息检索、问答系统和文本分析等多种自然语言处理应用场景。
Llama-3.2-11B-Vision - Meta开发的多模态大语言模型 支持视觉识别和图像推理
Github开源项目自然语言处理机器学习多模态模型计算机视觉模型HuggingfaceLLAMA 3.2
Llama-3.2-11B-Vision是Meta开发的多模态大语言模型,支持图像和文本输入、文本输出。该模型在视觉识别、图像推理、图像描述和通用图像问答方面表现出色。它基于Llama 3.1文本模型构建,采用优化的Transformer架构,通过监督微调和人类反馈强化学习进行对齐。模型支持128K上下文长度,经过60亿(图像,文本)对训练,知识截止到2023年12月。Llama-3.2-11B-Vision为商业和研究用途提供视觉语言处理能力。
bert-base-turkish-cased-mean-nli-stsb-tr - BERT模型在土耳其语句子相似度任务中的应用
Github开源项目自然语言处理机器学习模型Huggingfacesentence-transformers语义相似度土耳其语模型
该项目提供了一个针对土耳其语优化的BERT句子相似度模型。模型能够将句子转换为768维向量,适用于聚类和语义搜索等任务。它基于机器翻译的土耳其语NLI和STS-b数据集训练而成,支持sentence-transformers和HuggingFace Transformers两种调用方式,使用简便。测试结果显示,该模型在土耳其语句子相似度任务上表现优异。
gemma-2-9b - Google推出的轻量级开源大语言模型适用于资源有限环境
人工智能Github开源项目大语言模型自然语言处理机器学习模型GemmaHuggingface
Gemma是Google开发的轻量级开源大语言模型系列,源自Gemini模型技术。这些英语文本生成模型开放预训练和指令微调权重,可用于问答、摘要和推理等任务。较小的规模使其适用于资源受限环境,如笔记本电脑或个人云设施,让更多人能使用先进AI模型。Gemma经过安全和伦理评估,并提供负责任AI开发工具包,确保安全可靠使用。
multi-qa-mpnet-base-cos-v1 - 面向语义搜索的句子向量化模型
Github开源项目自然语言处理机器学习语义搜索模型Huggingface文本嵌入sentence-transformers
multi-qa-mpnet-base-cos-v1是一个基于sentence-transformers的语义搜索模型。该模型将句子和段落映射为768维向量,通过215M个多样化问答对训练而成。它支持句子相似度计算和特征提取,适用于信息检索和问答系统等应用。模型提供简洁API,可使用点积或余弦相似度计算文本相似度。
bert-base-indonesian-1.5G-sentiment-analysis-smsa - BERT基础印尼语情感分析模型实现高精度文本分类
Github开源项目机器学习BERT模型情感分析Huggingfaceindonlu印尼语
这是一个基于cahya/bert-base-indonesian-1.5G模型在indonlu数据集上微调的印尼语情感分析模型。在评估集上,该模型实现了93.73%的准确率,为印尼语文本分类任务提供了高效解决方案。模型使用Adam优化器和线性学习率调度器,通过10轮训练达到了稳定的性能表现。
distilbert-base-uncased-distilled-squad - DistilBERT轻量级问答模型
Github开源项目自然语言处理机器学习模型问答系统HuggingfaceDistilBERTSQuAD
distilbert-base-uncased-distilled-squad是一个经过知识蒸馏的轻量级问答模型。它基于DistilBERT架构,在SQuAD v1.1数据集上进行了微调。该模型在保留BERT 95%性能的同时,参数量减少40%,速度提升60%。在SQuAD v1.1开发集上,它实现了86.9的F1分数。凭借其高效性能,这个模型适合各种需要快速、准确问答能力的应用场景。
pix2struct-tiny-random - 高效图像到文本转换的轻量级模型
Github开源项目自然语言处理机器学习计算机视觉模型MIT许可证Huggingface图像到文本
pix2struct-tiny-random是一个开源的轻量级图像到文本转换模型。该模型体积小、速度快,适合在资源受限环境中使用。它能够从图像中提取和生成文本信息,可用于开发图像理解和文本生成应用。该项目采用MIT许可证,标记为image-to-text管道。
gpt-neo-1.3B - EleutherAI开发的13亿参数语言模型GPT-Neo 1.3B
Github开源项目文本生成神经网络自然语言处理机器学习模型HuggingfaceGPT-Neo
GPT-Neo 1.3B是EleutherAI团队开发的大规模语言模型,基于GPT-3架构,拥有13亿参数。该模型在The Pile数据集上训练,适用于文本生成、问答等自然语言处理任务,并在多项基准测试中表现出色。模型采用MIT开源许可证,但使用时需注意可能存在的偏见和不当内容。
ner-english-ontonotes - Flair框架英语命名实体识别模型支持18类实体
Github开源项目自然语言处理机器学习模型命名实体识别HuggingfaceFlair序列标注
这是一个基于Flair框架的英语命名实体识别模型,能够识别18种实体类型,包括人名、地点和组织等。模型采用Flair embeddings和LSTM-CRF架构,在Ontonotes数据集上的F1分数为89.27%。该模型可应用于多种自然语言处理任务,并且可以通过简单的Python代码实现NER预测。
sentence-bert-base-ja-mean-tokens-v2 - 日语句向量模型SBERT-ja-v2支持高精度语义相似度计算
Github开源项目自然语言处理机器学习模型Huggingface文本嵌入Sentence-BERT日本語
sentence-bert-base-ja-mean-tokens-v2是一个基于BERT的日语句向量模型,采用MultipleNegativesRankingLoss训练方法,精度较前版本提升1.5-2个百分点。模型基于cl-tohoku/bert-base-japanese-whole-word-masking预训练,主要用于句子相似度计算等任务。它提供简洁的Python接口,支持批量处理,可应用于多种自然语言处理场景。
toxigen_roberta - 基于大规模数据集的隐含仇恨言论检测模型
Github开源项目机器学习模型数据集Huggingface文本分类ToxiGen隐式仇恨言论检测
ToxiGen是一个专门用于检测隐含和对抗性仇恨言论的机器学习模型。该模型基于大规模机器生成的数据集训练而成,源自一篇关于隐含仇恨言论检测的学术研究。ToxiGen提供了训练数据集和详细信息,为研究人员和开发者在改进在线内容审核方面提供了有力支持。这一工具有助于构建更安全的在线交流环境,对于社交媒体平台和内容管理系统具有重要应用价值。
esm2_t33_650M_UR50D - ESM-2蛋白质语言模型用于多种序列分析任务
Github开源项目自然语言处理机器学习模型Huggingface生物信息学蛋白质模型ESM-2
esm2_t33_650M_UR50D是ESM-2系列中的一款蛋白质语言模型,采用掩码语言建模方法训练。该模型包含33层网络结构和6.5亿参数,适用于蛋白质功能预测、结构分析、蛋白质折叠预测、突变效应分析等多种序列输入任务的微调。作为中等规模的模型,它在性能和资源需求间取得平衡,为蛋白质研究提供实用工具。