Project Icon

MInference

动态稀疏注意力加速长上下文语言模型

MInference是一项新技术,通过利用长上下文语言模型注意力机制的动态稀疏性来加速预填充过程。该技术离线确定注意力头的稀疏模式,在线近似稀疏索引,并使用优化内核动态计算注意力。在A100 GPU上,MInference实现了预填充速度提升10倍,同时保持模型准确性。它支持LLaMA-3、GLM-4等多种长上下文模型,有效处理百万级别token的上下文。

mem0 - 为大型语言模型 (LLM) 提供智能、自适应的内存层
GithubMem0个性化AI体验多级记忆大型语言模型开发者友好API开源项目热门
Mem0 通过为大型语言模型(LLMs)提供智能、适应性的内存层,不断利用上下文信息,增强个性化AI体验。这种增强的内存能力对于从客户支持到健康诊断等广泛应用至关重要,使AI能够记住用户偏好、适应个别需求,并持续改进。
llama-160m-accelerator - 基于多阶段MLP的LLaMA-160M模型推理加速器
DockerGithubHuggingfacevLLM开源项目文本生成模型模型加速深度学习
这是一个为JackFram/llama-160m模型设计的加速器项目,借鉴了Medusa推测解码架构的思想。该加速器通过改造MLP为多阶段结构,实现了基于状态向量和先前采样令牌的单token预测,有效提升了模型推理速度。项目支持与vLLM和Hugging Face TGI等工具集成,为大型语言模型的高效部署提供了实用解决方案。加速器的训练过程轻量化,能够在短时间内完成,适用于各种规模的生成式模型。
min-max-gpt - 为大规模GPT模型训练优化的开源框架
GPU训练GithubminGPT分布式训练大规模模型开源项目深度学习
min-max-gpt是一个针对大规模GPT模型训练优化的开源项目。该框架集成了muP初始化、混合精度训练、FSDP和DeepSpeed Zero-3等技术,并提供了不依赖Hugging Face的训练选项。这使得研究人员和开发者能够更灵活地控制训练过程。项目已在8块80GB A100 GPU上成功训练20B参数模型,展现了其在大规模语言模型训练方面的能力。
openinference - 开放式AI应用程序追踪标准和工具集
AI应用GithubOpenInferenceOpenTelemetry开源规范开源项目插件
OpenInference是一套用于AI应用程序追踪的开放标准和工具集,与OpenTelemetry相辅相成。它能深入洞察LLM调用过程及其应用环境,包括向量存储检索和外部工具的使用情况。该项目提供了技术规范和多语言支持的机器学习SDK与框架检测库,可无缝对接各类OpenTelemetry兼容后端。OpenInference致力于为AI应用提供全方位的可观测性方案。
fastllm - 纯C++实现的跨平台大语言模型推理库
GPU加速Githubc++实现fastllm多平台大模型推理开源项目
fastllm是一个纯C++实现的大语言模型推理库,无第三方依赖,支持多平台部署。这个开源项目具有快速的推理速度,支持多种模型格式,可实现多卡部署和流式输出。fastllm兼容ChatGLM、Qwen、LLAMA等多种模型,提供Python接口和自定义模型结构功能。该项目适用于需要高效、灵活部署大语言模型的场景。
llm-finetuning - Modal和axolotl驱动的大语言模型高效微调框架
DeepSpeedGithubLLM微调LoRAModalaxolotl开源项目
这个开源项目整合了Modal和axolotl,为大语言模型微调提供了一个高效框架。它采用Deepspeed ZeRO、LoRA适配器和Flash Attention等先进技术,实现了高性能的模型训练。该框架支持云端部署,简化了资源管理流程,并可灵活适配不同模型和数据集。项目还提供了全面的配置说明和使用指南,方便开发者快速上手和定制化应用。
sparseml - 神经网络优化工具,简化代码实现高效稀疏模型
GithubSparseML开源项目推理优化模型优化神经网络稀疏化
SparseML是开源模型压缩工具包,使用剪枝、量化和蒸馏算法优化推理稀疏模型。可导出到ONNX,并与DeepSparse结合,在CPU上实现GPU级性能。适用于稀疏迁移学习和从零开始的稀疏化,兼容主流NLP和CV模型,如BERT、YOLOv5和ResNet-50,实现推理速度和模型大小的显著优化。
DeepSeek-MoE - 创新MoE架构打造高效大规模语言模型
DeepSeekMoEGithubMoE架构大语言模型开源模型开源项目模型评估
DeepSeek-MoE项目开发了创新的混合专家架构语言模型,采用细粒度专家分割和共享专家隔离策略。该16.4B参数模型仅使用40%计算量就达到DeepSeek 7B和LLaMA2 7B的性能水平。模型可在单个40GB内存GPU上直接部署运行,无需量化,为学术和商业研究提供了高效便捷的工具。
LongQLoRA - 大语言模型上下文长度高效扩展的创新方法
GithubLongQLoRA上下文长度扩展低资源训练大语言模型开源项目性能评估
LongQLoRA是一种扩展大语言模型上下文长度的方法,可在单个32GB V100 GPU上将LLaMA2模型的上下文长度从4096扩展到8192。该方法在PG19和Proof-pile数据集上表现优异,仅需1000步微调即可达到接近MPT-7B-8K的性能。项目还提供了预训练数据集、指令微调数据集以及扩展上下文长度的模型。
TriForce - 层级推测解码实现长序列生成的高效无损加速
GithubTriForce开源项目推理加速无损加速深度学习长序列生成
TriForce是一种新型长序列生成加速技术,无需额外训练即可使用。通过层级推测解码方法,该技术在保持生成质量的同时大幅提高速度。TriForce支持多种长上下文Llama模型,提供片上和卸载运行模式以适应不同硬件。在A100和RTX 4090等GPU上,TriForce展现出优异性能,为大型语言模型的高效部署开辟新途径。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号