Project Icon

bert-base-japanese-char

日语BERT模型采用字符级分词预训练

bert-base-japanese-char是一个基于日语维基百科训练的BERT模型,采用字符级分词。模型架构包括12层、768维隐藏状态和12个注意力头,词汇量4000。处理流程先用MeCab进行形态分析,再进行字符级分词。模型在约1700万个句子上训练100万步,每批次处理256个实例,每个实例包含512个标记。该模型适用于各种日语自然语言处理任务。

shisa-gamma-7b-v1 - 英日双语优化的Japanese Stable LM语言模型
GithubHuggingfaceShisa-gamma-7b人工智能开源项目日语模型机器学习模型语言模型
shisa-gamma-7b-v1是基于Japanese Stable LM Base Gamma 7B的微调模型,经过数据集优化后在JA MT-Bench测试中取得了显著成果。该模型支持日语和英语双语处理,采用Apache-2.0许可证,适用于需要日英语言处理能力的开发场景。
kcbert-base - 基于韩语评论数据构建的KcBERT模型实现性能优化
GithubHuggingfaceKcBERT开源项目数据清洗机器学习模型한국语情绪分析
KcBERT项目通过解析与处理韩语口语化评论数据,构建了专注于口语文本的预训练BERT模型。该模型在情感分析与实体识别等多项任务中表现优异,具备良好的适应性。通过Huggingface Transformers,用户无需额外下载文档即可使用并微调模型,同时KcBERT提供多种优化策略和数据集下载方式,以适应不同需求。
chinese-roberta-wwm-ext-large - 中文自然语言处理的全词掩码预训练模型
BERTGithubHuggingface中文自然语言处理全词掩码开源项目模型知识蒸馏预训练模型
中文BERT全词掩码预训练模型加速中文自然语言处理,提升精准语义理解。基于Google BERT并结合全词掩码策略,其在文本分类、情感分析以及问答系统等多种NLP应用中表现优异,是探索中文语言理解的有力工具。
codebert-base - CodeBERT为编程与自然语言处理提供强大支持
CodeBERTGithubHuggingface代码搜索开源项目机器学习模型自然语言处理预训练模型
CodeBERT-base是一个专为编程和自然语言设计的预训练模型,基于CodeSearchNet的双模态数据训练。它采用MLM+RTD优化目标,支持代码搜索和代码到文档生成等任务。该模型不仅适用于代码补全,还提供小型版本CodeBERTa。CodeBERT-base为编程语言处理领域开辟了新的研究方向,为开发者提供了有力的工具支持。
KR-BERT - 高效小型韩语预训练模型
BERTGithubKR-BERT开源项目深度学习自然语言处理韩语模型
KR-BERT是首尔国立大学开发的韩语特定BERT模型,采用双向WordPiece分词技术,支持字符和子字符级处理。该模型在词汇量和参数规模上经过优化,在多项下游任务中表现出色,为韩语自然语言处理提供高效准确的解决方案。
awesome-japanese-nlp-resources - 日语NLP资源大全,包括Python库、工具、模型与数据集
GithubHugging FaceJapaneseNLPPythonawesome-japanese-nlp-resources开源项目
本项目提供全面的日语自然语言处理(NLP)资源,包括Python库、语言模型、词典和语料库等。收录了605个GitHub仓库和820个Hugging Face模型及数据集,并附带一个搜索工具方便查找更新信息。项目定期更新,最新包括Mozc UT地名词典和Kana-Kanji转换模块。资源涵盖形态分析、句法分析、情感分析及机器翻译等,是日语NLP研究和应用的重要参考。
awesome-japanese-llm - 日本语言学习模型的最新动态与综合信息
GitHub管理Github事前学乒参数大小开源项目日本語LLM模型开发
awesome-japanese-llm汇集全面的日语预训练语言模型和指令调优信息,包括性能评估基准和各类型模型开发动态。提供详尽的技术文档、开源许可信息,是日语技术开发者和研究人员的重要资源。
BertWithPretrained - 基于PyTorch实现的BERT模型及相关下游任务
BERTGithubPyTorchTransformer中文文本分类开源项目英文文本分类
该项目基于PyTorch实现了BERT模型及其相关下游任务,详细解释了BERT模型和每个任务的原理。项目支持分类、翻译、成对句子分类、多项选择、问答和命名实体识别等任务,涵盖中文和英语的自然语言处理。此外,项目还含有丰富的数据集和预训练模型配置文件。
vocab-coverage - 中文语言模型识字率与词向量分布分析
BERTERNIEGithub中文认知开源项目词向量语言模型
该项目分析了多种语言模型的中文识字率与词向量分布情况,通过字符集分类和词向量空间分布的研究,了解模型在处理中文字符时的认知能力。涵盖了BERT、ERNIE、roBERTa等模型的对比,以及不同字符集的识字判定,为后续的模型评估和改进提供了参考。
chinese_speech_pretrain - 中文语音预训练模型,wav2vec 2.0和HuBERT的开源实现
GithubHuBERTWenetSpeechwav2vec 2.0中文语音识别开源项目语音预训练模型
chinese_speech_pretrain项目开源了基于WenetSpeech数据集训练的中文语音预训练模型。项目包含wav2vec 2.0和HuBERT的BASE与LARGE版本,均使用1万小时多样化中文语音数据训练。模型在自动语音识别任务中表现优异,尤其适合低资源场景。项目提供模型下载及使用指南,可用于语音识别、语音合成等研究领域。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

稿定AI

稿定设计 是一个多功能的在线设计和创意平台,提供广泛的设计工具和资源,以满足不同用户的需求。从专业的图形设计师到普通用户,无论是进行图片处理、智能抠图、H5页面制作还是视频剪辑,稿定设计都能提供简单、高效的解决方案。该平台以其用户友好的界面和强大的功能集合,帮助用户轻松实现创意设计。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号