KR-BERT
KR-BERT是首尔国立大学开发的韩语特定BERT模型,采用双向WordPiece分词技术,支持字符和子字符级处理。该模型在词汇量和参数规模上经过优化,在多项下游任务中表现出色,为韩语自然语言处理提供高效准确的解决方案。
bert-kor-base
bert-kor-base是一个韩语BERT基础模型,利用70GB韩语文本和42000个小写子词训练而成。该模型可应用于文本分类、命名实体识别、问答系统等韩语自然语言处理任务。研究者可通过Hugging Face的transformers库轻松使用。GitHub项目页面提供了详细的性能评估和与其他韩语模型的对比,为相关研究和应用开发提供参考。
kobert
KoBERT是一个针对韩语自然语言处理任务优化的BERT预训练模型。该项目基于SKTBrain的原始KoBERT进行改进,提供了简化的使用方法。开发者可通过transformers库的AutoModel和AutoTokenizer轻松加载模型和分词器。KoBERT为韩语文本处理提供了有力工具,可提升多种NLP任务的性能。该项目采用Apache-2.0许可证发布,专门支持韩语。
kogpt2-base-v2
KoGPT2(kogpt2-base-v2)是SKT-AI团队开发的韩语GPT-2模型,采用开源方式发布,使用cc-by-nc-sa-4.0许可证。该模型在文本生成、对话系统等多个韩语自然语言处理任务中表现优异。KoGPT2为韩语AI研究和应用提供了重要工具,推动了韩语NLP技术的发展。研究者和开发者可通过GitHub了解更多详情,探索KoGPT2在韩语处理领域的应用潜力。
polyglot-ko-12.8b-safetensors
该项目提供EleutherAI开发的Polyglot-ko 12.8B韩语模型的SafeTensors格式优化版。优化版采用1GB的较小分片大小,提高了模型的易用性和部署便捷性。在保持原始性能的同时,优化版显著提升了加载速度和存储效率。这一资源对于从事韩语自然语言处理的研究人员和开发者具有重要价值,可用于各类韩语NLP任务。
KR-SBERT-V40K-klueNLI-augSTS
KR-SBERT-V40K-klueNLI-augSTS是一个针对韩语优化的句向量模型,基于sentence-transformers框架开发。该模型将句子和段落映射到768维向量空间,适用于聚类和语义搜索等任务。在文档分类任务中,其准确率达86.28%,优于同类模型。用户可通过sentence-transformers或Hugging Face Transformers库使用,为韩语自然语言处理提供有力支持。
polyglot-ko-5.8b
Polyglot-Ko-5.8B是EleutherAI团队开发的韩语自然语言处理模型,拥有58亿参数。该模型在863GB韩语数据上训练,在KOBEST基准测试中表现出色。它可用于多种NLP任务,但可能存在偏见和不准确性。模型采用Apache 2.0许可开源,为韩语NLP研究提供了有力支持。
polyglot-ko-1.3b
Polyglot-Ko-1.3B是EleutherAI团队开发的韩语自回归语言模型,拥有13亿参数。该模型在863GB韩语数据上训练,在KOBEST基准测试中表现优异。与同规模模型相比,Polyglot-Ko-1.3B在多个下游任务中展现出显著优势,可应用于多种韩语自然语言处理任务。
ko-sbert-nli
该模型基于sentence-transformers框架,将韩语文本转化为768维向量。经KorNLI数据集训练,在KorSTS评估中获83.16%相关性。适用于句子编码、语义搜索和文本聚类,支持Python接口和pip安装。