#DeBERTa

LoRA

LoRA通过低秩分解矩阵实现大型语言模型的低秩适配，减少了训练参数数量，实现高效的任务切换和存储节省。它在GLUE基准测试中的表现与完全微调相当或更好，同时显著降低了参数需求。LoRA支持RoBERTa、DeBERTa和GPT-2等模型，并已集成到Hugging Face的PEFT库中，提供了便捷的适配解决方案。

deberta-base-mnli

deberta-base-mnli是一个在MNLI任务上微调的DeBERTa基础模型。DeBERTa通过解耦注意力和增强掩码解码器改进了BERT和RoBERTa。该模型在SQuAD和MNLI等基准测试中表现优异，在大多数自然语言理解任务中超越了BERT和RoBERTa的性能。它为自然语言处理研究和应用提供了有力支持。

mdeberta-v3-base-kor-further

mDeBERTa-v3-base-kor-further是一个通过40GB韩语数据进行进一步预训练的多语言模型。该模型采用Disentangled Attention和Enhanced Mask Decoder技术，有效学习词位置信息。在NSMC、NER、PAWS等多个韩语自然语言理解任务中，性能优于基准模型。模型包含86M参数，支持多语言处理，为自然语言处理研究和应用提供了强大工具。

deberta-v3-xsmall-zeroshot-v1.1-all-33

DeBERTa-v3-xsmall的零样本文本分类衍生模型，主干参数2200万，词汇参数1.28亿，总大小142MB。针对边缘设备场景优化，支持浏览器端部署。模型在情感分析、主题分类等33个数据集评估中表现稳定，多数任务准确率达80%以上，适合资源受限场景下的快速文本分类应用。

mdeberta-v3-base-squad2

这是一个支持100多种语言的问答模型，基于DeBERTa V3架构开发。模型在SQuAD2.0数据集上经过微调，F1评分达到84.01%，可实现高质量的文本抽取式问答。采用ELECTRA预训练方法和优化的嵌入技术，适用于多语言自然语言处理任务。

reward-model-deberta-v3-large-v2

这个开源项目开发了一种基于人类反馈的奖励模型(RM)，能够评估给定问题的答案质量。该模型在多个数据集上进行训练，可应用于问答系统评估、强化学习人类反馈(RLHF)奖励计算，以及有害内容检测等场景。项目提供了详细的使用说明、性能对比和代码示例。其中，DeBERTa-v3-large-v2版本在多项基准测试中展现出优异性能。

deberta-v2-xxlarge

DeBERTa-v2-xxlarge是一个48层、1536隐藏层和15亿参数的高级语言模型。它通过解耦注意力和增强型掩码解码器优化了BERT和RoBERTa架构，使用160GB原始数据训练。该模型在SQuAD和GLUE等多个自然语言理解任务中表现优异，性能显著优于BERT和RoBERTa。DeBERTa-v2-xxlarge适用于复杂的自然语言处理任务，是研究和开发中的有力工具。

Text-Moderation

Text-Moderation采用Deberta-v3架构开发的文本分类模型，通过九类标签对文本内容进行审核分类。模型可识别包括性内容、仇恨言论、暴力描述、骚扰行为和自残倾向等敏感信息，并为每个类别提供概率评分。该模型实现了75%的分类准确率，主要支持英语文本的审核工作，可应用于内容审核和文本管理场景。