Project Icon

bengali_language_NER

在Wikiann数据集上使用多语言BERT模型微调,实现孟加拉语实体识别

该项目使用Wikiann数据集微调bert-base-multilingual-cased模型,实现孟加拉语命名实体识别。标签分类涵盖人物、组织、地点,高训练集F1分数达0.9979,测试集为0.9673,并提供实例代码,适合研究语言处理与语义分析的用户。

bpemb - 基于BPE技术的多语言预训练子词嵌入,用于自然语言处理
BPEmbByte-Pair EncodingGithub子词嵌入开源项目神经网络自然语言处理
BPEmb使用Byte-Pair Encoding (BPE)技术,为275种语言提供训练好的子词嵌入,训练数据来自Wikipedia。该项目为神经网络在自然语言处理任务中提供输入。用户可以通过pip安装BPEmb,并自动下载所需的嵌入和SentencePiece模型。BPEmb支持子词分段和预训练子词嵌入,适用于多种语言处理任务,具有多种词汇表大小选择,以满足不同应用需求。
BERT-Relation-Extraction - 改进BERT模型在关系抽取任务中的应用与效果分析
ALBERTBERTGithubPython关系抽取开源项目预训练
该项目实现了ACL 2019论文《Matching the Blanks: Distributional Similarity for Relation Learning》的PyTorch开源版本,涵盖BERT、ALBERT和BioBERT三种模型。项目提供预训练和微调方法,并通过SemEval 2010任务8和FewRel数据集验证了模型在关系抽取任务中的表现。
mindnlp - 开源自然语言处理与大语言模型框架
GithubMindNLPMindSpore大语言模型开源项目自然语言处理预训练模型
MindNLP是一个基于MindSpore的开源自然语言处理库,支持语言模型、机器翻译、问答系统、情感分析、序列标注和摘要生成等多种任务。该项目集成了BERT、Roberta、GPT2和T5等多种预训练模型,通过类似Huggingface的API简化了使用流程。用户可通过pypi或源代码安装该库,并支持包括Llama、GLM和RWKV在内的大型语言模型的预训练、微调和推理,非常适合研究者和开发人员构建和训练模型。
KR-BERT - 高效小型韩语预训练模型
BERTGithubKR-BERT开源项目深度学习自然语言处理韩语模型
KR-BERT是首尔国立大学开发的韩语特定BERT模型,采用双向WordPiece分词技术,支持字符和子字符级处理。该模型在词汇量和参数规模上经过优化,在多项下游任务中表现出色,为韩语自然语言处理提供高效准确的解决方案。
text2vec - 多模型文本向量化工具,支持多语言文本匹配分析
BERTGithubText2vec开源项目文本向量化文本相似度模型训练
text2vec工具实现了多种文本向量表示和相似度计算模型,如Word2Vec、BERT、Sentence-BERT和CoSENT。最新版本增加了多卡推理和命令行工具,方便用户批量处理文本向量化。它在中英文测试集上的表现优秀,尤其新版中文匹配模型在短文本区分上有显著提升。该工具为中文和多语言文本匹配提供了丰富的支持,能够满足各种文本语义分析任务的需求。
BERTopic - 高效的Transformers主题建模,支持多种模式
BERTopicGithubPythonc-TF-IDFtransformers主题建模开源项目
BERTopic是一种利用Transformers和c-TF-IDF进行主题建模的技术,能够生成易于解释的密集主题聚类,同时保留关键词描述。该项目支持多种主题建模方法,如有监督、半监督和无监督模式,具有模块化和高扩展性。丰富的可视化功能和多种表示方法进一步支持深入分析。BERTopic还兼容多种嵌入模型,并支持多语言处理,适应不同应用场景。
BELLE - 推动中文大语言模型的开源发展与指令微调
BELLEGithub中文优化大语言模型开源社区开源项目指令微调
BELLE项目致力于推动中文对话大模型的开源发展,重点关注如何利用开源预训练大语言模型构建具有指令理解能力的个性化语言模型。该项目持续公开指令训练数据、模型、训练代码和应用场景,同时评估不同训练数据和算法对模型性能的影响。BELLE专门针对中文进行优化,仅采用ChatGPT生成的数据进行模型调优,不包含其他来源的数据。
Pretrained-Language-Model - 先进预训练语言模型与优化技术集合
GithubMindSporePyTorchTensorFlow开源项目自然语言处理预训练语言模型
此开源项目汇集了多个先进的预训练语言模型和相关优化技术。包含200B参数中文语言模型PanGu-α、高性能中文NLP模型NEZHA、模型压缩技术TinyBERT和DynaBERT等子项目。这些模型在多项中文NLP任务中表现出色,支持MindSpore、TensorFlow和PyTorch等多种深度学习框架。
Keras-TextClassification - 多样预训练模型支持的高效文本分类工具
GithubKeras-TextClassification嵌入式模型开源项目文本分类深度学习神经网络
为中文用户提供高效的文本分类解决方案,支持FastText、BERT、Albert等多种预训练模型,涵盖词、字、句子嵌入。详细介绍数据处理与模型训练流程,通过下载与调用数据,实现多标签分类和文本相似度计算,简化复杂的自然语言处理任务。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

稿定AI

稿定设计 是一个多功能的在线设计和创意平台,提供广泛的设计工具和资源,以满足不同用户的需求。从专业的图形设计师到普通用户,无论是进行图片处理、智能抠图、H5页面制作还是视频剪辑,稿定设计都能提供简单、高效的解决方案。该平台以其用户友好的界面和强大的功能集合,帮助用户轻松实现创意设计。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号