Project Icon

petals

本地运行大型语言模型,BitTorrent 风格

Petals项目让用户能够在家中或通过Google Colab运行Llama 3.1、Mixtral、Falcon和BLOOM等大型语言模型。通过分布式网络托管模型层,推理速度可提升至10倍。用户可以微调模型以满足特定任务需求,并且支持隐私保护和私人群组设置。该项目依赖社区共享GPU资源,提供详细的教程和支持,帮助用户快速上手并充分利用其功能。

Megatron-LM - 优化GPU训练技术 加速大规模Transformer模型
GPU优化GithubMegatron-CoreMegatron-LM分布式训练大语言模型开源项目
Megatron-LM框架利用GPU优化技术实现Transformer模型的大规模训练。其Megatron-Core组件提供模块化API和系统优化,支持自定义模型训练。该项目可进行BERT、GPT、T5等模型预训练,支持数千GPU分布式训练百亿参数级模型,并提供数据预处理、模型评估和下游任务功能。
Llama-3_1-Nemotron-51B-Instruct - NVIDIA开发的高效大语言模型
GithubHuggingfaceLlama-3人工智能大语言模型开源项目模型神经网络架构搜索蒸馏
Llama-3_1-Nemotron-51B-Instruct是NVIDIA开发的大语言模型,采用神经架构搜索方法平衡准确性和效率。该模型内存占用低,可在单个H100-80GB GPU上运行大型工作负载。模型在英语对话和编程方面表现出色,也支持非英语语言。经过安全评估和对抗性测试,适合商业应用。
exllama - 为现代GPU优化的快速内存高效Llama实现
AI模型CUDAExLlamaGPU加速Github开源项目深度学习
ExLlama是一个基于Python/C++/CUDA的独立实现,针对4位GPTQ权重进行了优化,旨在提高现代GPU上的运行速度和内存效率。该项目支持NVIDIA 30系列及更新的GPU,可处理Llama、Koala和WizardLM等多种大型语言模型。ExLlama具备基准测试、聊天机器人示例和Web界面等功能,同时支持Docker部署。尽管仍在开发中,项目已展现出卓越的性能和效率。
llm - 大型语言模型CLI工具,支持本地和远程模型
GithubLLMPython库命令行工具开源项目插件模型
一款CLI工具和Python库,用于与大型语言模型交互,支持远程API和本地安装模型。可从命令行运行提示、将结果存储在SQLite中、生成嵌入等。通过插件目录,可访问更多模型。
llama-gpt - 私密自托管聊天机器人LlamaGPT,支持Nvidia GPU和Code Llama模型
GithubLlamaGPTNvidia GPU人工智能开源项目热门离线聊天机器人自主托管
LlamaGPT是一个自托管、离线的ChatGPT类聊天机器人,基于Llama 2开发,确保100%数据隐私,无需数据外传。最新版本新增对Code Llama模型和Nvidia GPU的支持,可在各类硬件上灵活部署,包括但不限于umbrelOS家庭服务器、M1/M2 Mac以及支持Docker的系统。LlamaGPT支持多种模型,包括但不限于7B至70B模型,且兼容OpenAI API,开发者友好,便于集成和功能扩展。
maxtext - 高性能与可扩展的开源大模型解决方案,支持TPUs与GPUs
GPUGithubJaxLLMMaxTextTPU开源项目
MaxText是一个高性能、可扩展的开源大模型,采用纯Python和Jax编写,专为Google Cloud的TPUs和GPUs设计。支持训练和推理,能够从单个主机扩展到大型集群,且无需复杂优化。MaxText适用于研究和生产中的大型语言模型项目,支持Llama2、Mistral和Gemma模型,并提供详细的入门指南和性能测试结果。
open_llama_3b_v2 - 高性能开源大型语言模型复现LLaMA
GithubHuggingfaceOpenLLaMA大语言模型开源复现开源项目性能评估模型模型权重
OpenLLaMA是一个复现Meta AI的LLaMA大型语言模型的开源项目。它提供3B、7B和13B三种规模的模型,使用开源数据集训练了1万亿个标记。该项目采用与原始LLaMA相同的预处理和训练参数,在多项评估中表现出色。OpenLLaMA提供PyTorch和JAX格式的预训练权重,遵循Apache 2.0许可证发布。
llm-finetuning - Modal和axolotl驱动的大语言模型高效微调框架
DeepSpeedGithubLLM微调LoRAModalaxolotl开源项目
这个开源项目整合了Modal和axolotl,为大语言模型微调提供了一个高效框架。它采用Deepspeed ZeRO、LoRA适配器和Flash Attention等先进技术,实现了高性能的模型训练。该框架支持云端部署,简化了资源管理流程,并可灵活适配不同模型和数据集。项目还提供了全面的配置说明和使用指南,方便开发者快速上手和定制化应用。
Linly - 中文LLaMA和Falcon模型:优化的中文预训练和对话能力
FalconGithubLLaMALinly-OpenLLaMA中文对话模型开源项目训练数据
该项目提供中文对话和基础模型,包括Linly-ChatFlow、Chinese-LLaMA和Chinese-Falcon模型及其训练数据。通过扩充LLaMA和Falcon的中文词表,使用中英文语料进行预训练,提升了模型在中文语境中的表现。项目还包括Linly-OpenLLaMA模型,支持量化和边缘设备推理。最新的Linly-Chinese-LLaMA-2模型通过混合语料预训练并定期更新,用户可以在线体验和在本地环境中进行训练和评估。
llm-toys - 微调小型语言模型实现多任务处理
Githubllm-toys任务微调低资源模型对话摘要开源项目语气变化
llm-toys 项目提供适用于释义、语气转换、对话总结和主题生成等任务的小型量化3B和7B语言模型。这些经过微调的模型能在普通消费级硬件上高效运行,并通过简单的安装步骤提升文本处理和生成能力。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号