KR-BERT

高效小型韩语预训练模型

KR-BERT 韩语模型 BERT 自然语言处理深度学习 Github 开源项目

KR-BERT是首尔国立大学开发的韩语特定BERT模型，采用双向WordPiece分词技术，支持字符和子字符级处理。该模型在词汇量和参数规模上经过优化，在多项下游任务中表现出色，为韩语自然语言处理提供高效准确的解决方案。

Github

论文

介绍相关项目

DNABERT - DNABERT：用于基因组DNA语言处理的双向编码器模型

BERTDNABERTGPUGithub基因组开源项目预训练模型

DNABERT提供完整的源码、使用示例、预训练和微调模型，适用于各类基因组DNA语言处理任务。该项目利用Huggingface的扩展工具，增添了多任务支持和高效的可视化功能。最新版DNABERT-2不仅提升了多物种基因组的处理能力，还发布了全面的Genome Understanding Evaluation (GUE)基准测试，涵盖28个数据集。

awesome-korean-llm - 全面解析韩语开源大语言模型资源列表

GithubLLMLlamaPolyglot-Ko开源开源项目韩语

本资源列表全面汇总了韩语开源大语言模型(LLM)信息。内容涵盖Polyglot-Ko、KoAlpaca、KULLM等多种韩语LLM模型,提供模型规模、开发者、基础架构等核心数据。同时按基础模型对韩语LLM进行分类,包括基于Polyglot-Ko、Llama、Llama-2等的不同类型。该列表为韩语自然语言处理研究者提供了重要参考。

rust-bert - 基于Rust语言开发的高效自然语言处理库

Githubrust-bert开源项目情感分析机器翻译自然语言处理问答系统

rust-bert是基于Rust语言开发的高效自然语言处理库，支持问答、命名实体识别、翻译和摘要生成等多种任务。此库支持多线程分词和GPU推断，具备丰富的API，便于开发者和研究人员快速部署使用多种预训练模型。

open-korean-instructions - 韩语指令数据集，用于语言模型训练

ChatGPTGPTGithubOpen Korean Instructions开源项目번역 데이터셋한국어

本项目收集了多个开放的韩语指令数据集，用于语言模型训练，包括KoAlpaca和ShareGPT等翻译数据。同时还包含GPT生成的多种数据，以提升模型性能。如有新的数据，请通过PR提交。

Pretrained-Language-Model - 先进预训练语言模型与优化技术集合

GithubMindSporePyTorchTensorFlow开源项目自然语言处理预训练语言模型

此开源项目汇集了多个先进的预训练语言模型和相关优化技术。包含200B参数中文语言模型PanGu-α、高性能中文NLP模型NEZHA、模型压缩技术TinyBERT和DynaBERT等子项目。这些模型在多项中文NLP任务中表现出色，支持MindSpore、TensorFlow和PyTorch等多种深度学习框架。

cramming - 探索单GPU一天内训练BERT语言模型的极限

BERTCramming Language ModelGLUEGithubPyTorchTransformer-based language model开源项目

本项目探索在单GPU上用一天时间预训练BERT语言模型的性能表现，旨在挑战当前以高算力为核心的趋势。通过调整预训练流程，展示了在严格计算限制下依然接近BERT性能，并分析不同改进对性能的影响。最新版本框架需要PyTorch 2.0，改善了数据预处理并提升了1-2% GLUE性能，提供了详细的代码运行和数据处理指南供研究和应用参考。

keras-nlp - 兼容多框架的自然语言处理工具和预训练模型

GithubJAXKerasNLPPyTorchTensorFlow开源项目自然语言处理

KerasNLP 是一个兼容 TensorFlow、JAX 和 PyTorch 的自然语言处理库，提供预训练模型和低级模块。基于 Keras 3，支持 GPU 和 TPU 的微调，并可跨框架训练和序列化。设置 KERAS_BACKEND 环境变量即可切换框架，安装方便，立即体验强大 NLP 功能。

SparK - 卷积神经网络的BERT风格自监督预训练新方法

BERT-style预训练CNNGithubICLR 2023SparK卷积神经网络开源项目

该项目实现了BERT风格的自监督预训练方法在卷积神经网络中的应用，能够对如ResNet等任意CNN进行预训练。项目代码简洁易读，只需最少的依赖项。在ImageNet数据集上表现优异，展示了小模型在预训练后能够超越大模型的能力，同时生成性自监督学习优于对比学习。

ModelCenter - 高效实现大规模预训练语言模型的开源工具

GithubModelCenter低资源分布式训练大语言模型开源项目高效实现

ModelCenter是一个开源的预训练语言模型实现工具。它基于OpenBMB/BMTrain后端，支持高效低资源的模型使用和分布式训练。相较于其他框架，ModelCenter在代码封装、环境配置、内存利用和训练速度等方面都有明显优势。该工具支持BERT、GPT、T5等多种主流预训练模型，并提供简洁易用的API接口。

相关项目

推荐项目

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

白日梦AI

白日梦AI提供专注于AI视频生成的多样化功能，包括文生视频、动态画面和形象生成等，帮助用户快速上手，创造专业级内容。

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

讯飞绘镜

讯飞绘镜是一个支持从创意到完整视频创作的智能平台，用户可以快速生成视频素材并创作独特的音乐视频和故事。平台提供多样化的主题和精选作品，帮助用户探索创意灵感。

讯飞文书

讯飞文书依托讯飞星火大模型，为文书写作者提供从素材筹备到稿件撰写及审稿的全程支持。通过录音智记和以稿写稿等功能，满足事务性工作的高频需求，帮助撰稿人节省精力，提高效率，优化工作与生活。

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。

使用协议隐私政策广告服务

投诉举报邮箱: service@vectorlightyear.com