Project Icon

KcELECTRA-base

基于用户生成内容的韩语预训练模型KcELECTRA

KcELECTRA是一种专注于处理噪声文本的韩语预训练模型,基于Naver新闻评论和回复数据集进行训练。对比KcBERT,KcELECTRA在数据集扩展和词汇表方面得到改进,实现了在下游任务中的性能提升。该模型可通过Huggingface的Transformers库轻松访问和使用,无需额外下载文件。

Keras-TextClassification - 多样预训练模型支持的高效文本分类工具
GithubKeras-TextClassification嵌入式模型开源项目文本分类深度学习神经网络
为中文用户提供高效的文本分类解决方案,支持FastText、BERT、Albert等多种预训练模型,涵盖词、字、句子嵌入。详细介绍数据处理与模型训练流程,通过下载与调用数据,实现多标签分类和文本相似度计算,简化复杂的自然语言处理任务。
awesome-korean-llm - 全面解析韩语开源大语言模型资源列表
GithubLLMLlamaPolyglot-Ko开源开源项目韩语
本资源列表全面汇总了韩语开源大语言模型(LLM)信息。内容涵盖Polyglot-Ko、KoAlpaca、KULLM等多种韩语LLM模型,提供模型规模、开发者、基础架构等核心数据。同时按基础模型对韩语LLM进行分类,包括基于Polyglot-Ko、Llama、Llama-2等的不同类型。该列表为韩语自然语言处理研究者提供了重要参考。
nlpcda - 中文数据增强工具,提高NLP模型表现
GithubNLP Chinese Data Augmentation开源项目数据增强近义词替换长尾关键词选择准则随机实体替换
该工具通过一键操作实现中文数据增强,涵盖随机实体替换、同义词替换、近音字替换、字符删除、NER数据增强以及邻近字置换,保持原文语义不变。采用特殊处理不改变日期和数字等重要信息,有效提升NLP模型的泛化性能、抗干扰能力及对抗攻击能力,适用于文本数据处理及中文语音合成。
LogicKor - 韩语语言模型多领域推理能力评估工具
GithubLogicKor开源项目思考力基准测试推理评估数据集韩语语言模型
LogicKor是一个开源的韩语语言模型多领域推理能力评估基准。它提供推理和评估代码以及数据集,支持使用OpenAI或Azure模型进行评估。研究人员可以利用LogicKor生成推理结果并查看评分。该项目鼓励社区贡献,接受自我报告的基准测试结果,为韩语自然语言处理研究提供重要参考。
ktransformers - 体验前沿LLM推理优化的灵活框架
GPU加速GithubKTransformersLLM推理优化大型语言模型开源项目深度学习框架
KTransformers是一个灵活的Python框架,通过高级内核优化和并行策略增强Transformers性能。框架支持单行代码注入优化模块,提供Transformers兼容接口、OpenAI和Ollama标准RESTful API及简化的ChatGPT风格Web UI。专注本地部署和异构计算优化,KTransformers集成Llamafile和Marlin内核,为LLM推理优化实验提供灵活平台。
nanotron - 高效的大规模模型预训练库
GithubNanotronTransformer并行计算开源项目模型预训练深度学习
Nanotron是一个开源的Transformer模型预训练库。它提供灵活API,支持自定义数据集预训练。该库特点包括高性能、可扩展性强,支持3D并行、专家并行、AFAB和1F1B调度策略、ZeRO-1优化器等先进技术。Nanotron适用于大规模模型训练,旨在提高预训练效率。
textgenrnn - 高效训练文本生成神经网络的实用模块
GithubKerasPythonTensorFlowchar-rnntextgenrnn开源项目
textgenrnn是一个基于Keras和TensorFlow的Python 3模块,只需几行代码即可训练不同规模和复杂度的文本生成神经网络。支持字符级和词级训练,并可使用预训练模型加快训练。其现代架构利用注意力加权和跳过嵌入等技术,提升模型质量和训练速度。可在GPU上训练并在CPU上生成文本,还可在Colab中免费试用。
keras-nlp - 兼容多框架的自然语言处理工具和预训练模型
GithubJAXKerasNLPPyTorchTensorFlow开源项目自然语言处理
KerasNLP 是一个兼容 TensorFlow、JAX 和 PyTorch 的自然语言处理库,提供预训练模型和低级模块。基于 Keras 3,支持 GPU 和 TPU 的微调,并可跨框架训练和序列化。设置 KERAS_BACKEND 环境变量即可切换框架,安装方便,立即体验强大 NLP 功能。
Pretrained-Language-Model - 先进预训练语言模型与优化技术集合
GithubMindSporePyTorchTensorFlow开源项目自然语言处理预训练语言模型
此开源项目汇集了多个先进的预训练语言模型和相关优化技术。包含200B参数中文语言模型PanGu-α、高性能中文NLP模型NEZHA、模型压缩技术TinyBERT和DynaBERT等子项目。这些模型在多项中文NLP任务中表现出色,支持MindSpore、TensorFlow和PyTorch等多种深度学习框架。
sae - 高效训练语言模型k稀疏自编码器的开源库
这是一个用于训练语言模型k稀疏自编码器(SAE)的开源库。它使用TopK激活函数实现激活稀疏,可扩展至大型模型和数据集,无需额外存储。该库支持加载HuggingFace Hub预训练SAE,提供命令行和编程接口,允许自定义hookpoint训练任意子模块。支持分布式训练,适用于大规模语言模型。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

白日梦AI

白日梦AI提供专注于AI视频生成的多样化功能,包括文生视频、动态画面和形象生成等,帮助用户快速上手,创造专业级内容。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

讯飞绘镜

讯飞绘镜是一个支持从创意到完整视频创作的智能平台,用户可以快速生成视频素材并创作独特的音乐视频和故事。平台提供多样化的主题和精选作品,帮助用户探索创意灵感。

Project Cover

讯飞文书

讯飞文书依托讯飞星火大模型,为文书写作者提供从素材筹备到稿件撰写及审稿的全程支持。通过录音智记和以稿写稿等功能,满足事务性工作的高频需求,帮助撰稿人节省精力,提高效率,优化工作与生活。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号