pythia-6.9b-deduped

面向大规模语言模型研究的开源模型系列

数据集去重 Huggingface 语言模型模型训练科学研究 Pythia 模型 Github 开源项目

Pythia-6.9b-deduped为可解释性研究提供了一套8种大小的模型，每种大小有去重和未去重版本。该模型在性能上可与同类模型媲美，统一的训练方法推动科学研究，并提供154个中间检查点供研究使用

LLMDataHub - 大语言模型训练数据集合

GithubLLMDataHub大语言模型开源社区开源项目数据集聊天机器人

LLMDataHub汇聚高品质大语言模型训练数据，为研究人员和从业者提供丰富的数据资源。该平台涵盖多种数据集，适合提升聊天机器人对话质量、应答生成及语言理解。同时，平台更新最新数据集，助您获取行业前沿资源。

RedPajama-Data - 开放大规模多语言数据集助力大型语言模型训练

GithubRedPajama-Data-v2大语言模型开放数据集开源项目数据质量自然语言处理

RedPajama-Data-v2是一个包含30万亿tokens的开放数据集，用于训练大型语言模型。该数据集涵盖了超过100B的文本文档，来源于84个CommonCrawl快照。它包含英语、德语、法语、意大利语和西班牙语5种语言的内容，并提供多种质量信号和去重处理。项目提供完整的数据处理流程，包括准备工件、计算质量信号和去重等步骤，为语言模型研究提供高质量的大规模语料资源。

open_llama_7b - 开源复现的大规模语言模型媲美原版LLaMA

GithubHuggingfaceOpenLLaMA人工智能大语言模型开源开源项目模型自然语言处理

OpenLLaMA是一个基于Apache 2.0许可的开源大型语言模型，旨在复现Meta AI的LLaMA。该项目提供了在1万亿个token上训练的7B和3B模型，以及在6000亿个token上训练的13B模型预览版。OpenLLaMA基于RedPajama数据集训练，在多项评估任务中表现与原版LLaMA相当或更优。项目开源了PyTorch和JAX格式的预训练权重，支持使用Hugging Face transformers和EasyLM框架加载模型。

OpenNMT-py - 开源的神经机器翻译与大型语言模型框架

EoleGithubLLM支持Neural Machine TranslationOpenNMT-pyPyTorch开源项目

OpenNMT-py是基于PyTorch的开源神经机器翻译和语言模型框架，适用于研究和生产。支持大语言模型转换、量化以及多GPU并行。提供教程、文档和社区支持，适合翻译、总结等多种NLP任务。最新版本引入了多查询注意力机制和线性去偏等新功能。

ChatGLM-6B - 高效灵活的开源双语对话模型的本地部署与定制

AI对话ChatGLM-6BGithub中英双语大语言模型开源开源项目

ChatGLM-6B是一款开源的中英双语对话语言模型，采用GLM架构，拥有62亿参数。该模型支持低资源设备部署，6GB显存即可运行。经过约1T标识符训练和多种技术优化，ChatGLM-6B能生成贴近人类偏好的回答。模型提供高效参数微调方法，便于开发者进行应用定制。该项目完全开放学术研究，同时允许免费商业使用，致力于推动大模型技术进步。

deepseek-coder-6.7b-base - 多语言支持的大规模代码模型，提供项目级智能补全功能

DeepSeek CoderGithubHuggingface人工智能代码生成开源项目机器学习模型自然语言处理

deepseek-coder-6.7b-base是一个经过2万亿token训练的大规模代码模型。它支持多种编程语言，能够进行项目级代码补全和填充。该模型在多个编程基准测试中表现优异，16K的上下文窗口使其能够处理大型代码项目。这个开源模型允许商业使用，为开发者提供了强大的编码辅助功能。

gemma-2-9b-it-GGUF - AI语言模型量化版本满足多种硬件需求

GPU内存优化GithubHuggingfacegemma-2-9b-it开源项目文件格式转换机器学习模型模型量化

本项目提供Google Gemma 2 9B模型的多种量化版本，涵盖从高质量Q8_0到轻量级IQ2_M。详细介绍了各版本特点、文件大小和推荐用途，并附有下载使用指南。这些优化版本在保持性能的同时大幅减小体积，适配不同硬件和内存需求，使模型能在更多设备上运行。

t5-large - 统一文本到文本格式的大规模多语言NLP模型

GithubHuggingfaceT5多任务学习开源项目文本生成模型自然语言处理迁移学习

T5-Large是一个基于Text-To-Text Transfer Transformer架构的NLP模型，拥有7.7亿参数。该模型采用统一的文本到文本格式，能够处理机器翻译、文档摘要、问答和分类等多种任务。T5-Large在C4语料库上进行预训练，支持英语、法语、罗马尼亚语和德语，并在24项NLP任务中展现出优秀性能。这个versatile模型为各种文本处理应用提供了强大的基础。

opt-66b - Meta AI推出OPT系列开源预训练语言模型促进NLP研究

GithubHuggingfaceOPT大语言模型开源项目文本生成模型自然语言模型预训练模型

OPT是Meta AI开发的开源预训练Transformer语言模型系列,参数规模从125M到175B不等。该系列模型主要基于英语文本训练,性能可媲美GPT-3。OPT旨在促进大型语言模型的可复现研究,使更多研究者能够参与探讨其影响。这些模型可用于文本生成和下游任务评估,但也存在偏见等局限性。通过开放OPT,Meta AI期望推动自然语言处理技术的整体进步。

awesome-huggingface - 综合NLP开源项目与Hugging Face集成工具

GithubHugging FaceNLP工具包transformers开源项目机器学习自然语言处理

该项目列出了多个优秀的开源项目和应用，均与Hugging Face库集成，为各类NLP任务提供有效的解决方案。内容涵盖官方库教程、NLP工具包、文本表示、推理引擎、模型扩展、模型压缩、对抗攻击、风格转换、情感分析、语法纠正、翻译、知识与实体、语音处理、多模态学习、强化学习、问答系统、推荐系统、评估工具、神经搜索、云支持和硬件支持等多个领域。此项目能够帮助用户找到并使用适合的工具和库，提升自然语言处理任务的效率和效果。

推荐项目

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

稿定AI

稿定设计是一个多功能的在线设计和创意平台，提供广泛的设计工具和资源，以满足不同用户的需求。从专业的图形设计师到普通用户，无论是进行图片处理、智能抠图、H5页面制作还是视频剪辑，稿定设计都能提供简单、高效的解决方案。该平台以其用户友好的界面和强大的功能集合，帮助用户轻松实现创意设计。

使用协议隐私政策广告服务

投诉举报邮箱: service@vectorlightyear.com