PyramidKV

支持多GPU推理和KV缓存压缩的LLM优化工具

PyramidKV KV缓存压缩多GPU推理注意力机制 Needle in haystack Github 开源项目

PyramidKV支持多GPU推理和KV缓存压缩，兼容LlaMa-3-70B-Instruct及多种注意力机制，如Flash Attention v2和Sdpa。该项目还集成了SnapKV、H2O和StreamingLLM，提供设备灵活性，并通过简单安装和直观推理脚本提高研究效率。

swiss_army_llama - 用 FastAPI 为各种任务公开方便的 REST 端点来促进和优化与本地 LLM 一起工作的过程

FAISS向量搜索FastAPIGithubSwiss Army Llama开源项目文本嵌入音频转录

一个优化本地LLM的工具集，提供文本嵌入、语句相似度计算、文档处理和音频转录。利用FastAPI暴露REST端点，通过llama_cpp处理文本、PDF和音频文件，自动完成OCR并计算嵌入。支持高级相似度测量和语义搜索，集成FAISS向量搜索。可选用RAM Disk加速，配置简易，兼容多种模型和方法，便于快速集成到应用中。

aistore - 分布式存储系统专为AI与PB级深度学习优化

AIStoreGithub分布式系统对象存储系统开源项目数据管理深度学习

AIStore是专为AI应用设计的轻量级存储系统,具备线性扩展能力和运行时节点弹性。支持从单机到大规模集群部署,提供统一命名空间、ETL卸载和文件数据集等功能。AIStore与PyTorch集成,采用REST API和S3兼容接口,支持多种后端存储,适用于AI和深度学习工作负载。

ppl.llm.kernel.cuda - 优化大语言模型计算的CUDA内核库

AI计算CUDAGPU加速GithubPPL LLM开源项目深度学习

ppl.llm.kernel.cuda是PPL.LLM系统的核心组件，为大语言模型提供CUDA内核实现。该项目针对Ampere和Hopper架构优化，支持x86_64和arm64平台。它提供简单的构建流程，包含NCCL和JIT编译选项，便于性能调优。作为开源项目，ppl.llm.kernel.cuda旨在提高大规模语言模型的计算效率，为AI开发提供底层支持。

Llama-3-8B-Instruct-GPTQ-4-Bit - 利用GPTQ量化优化模型性能的新方法

Apache AirflowGPTQGithubHuggingfaceMeta-Llama-3-8B-Instruct开源项目数据协调模型量化

Astronomer的4比特量化模型通过GPTQ技术减少VRAM占用至不足6GB，比原始模型节省近10GB。此优化提高了延迟和吞吐量，即便在较便宜的Nvidia T4、K80或RTX 4070 GPU上也能实现高效性能。量化过程基于AutoGPTQ，并按照最佳实践进行，使用wikitext数据集以减小精度损失。此外，针对vLLM和oobabooga平台提供详细配置指南，以有效解决加载问题。

deepsparse - 优化CPU上深度学习推理的高效稀疏性使用

CPU推理DeepSparseGithubLLM支持开源项目模型量化稀疏性

DeepSparse是一个专为CPU优化的深度学习推理运行时，通过使用稀疏性显著加快模型推理速度。结合SparseML优化库，DeepSparse支持模型剪枝和量化，在CPU上实现卓越性能。支持各种计算机视觉和自然语言处理模型，包括BERT、ViT、ResNet、YOLOv5/8等。此外，DeepSparse现已支持高效的LLM推理，对稀疏量化模型实现多倍加速。可通过PyPI安装，并提供多种API便于部署。

nm-vllm - 基于vLLM的企业级大语言模型推理引擎

DockerGithubPyPInm-vllmvLLM开源项目模型优化

nm-vllm是Neural Magic维护的企业级大语言模型推理引擎，基于vLLM开发。支持PyPI安装和Docker部署，提供CUDA加速和稀疏化功能，可提高推理效率。项目在Hugging Face上提供多种优化模型，为大规模语言模型部署提供高效解决方案。

vram-48 - 专为大规模语言模型设计的推理优化框架

GithubHuggingfaceTransformers人工智能开源项目机器学习模型深度学习自然语言处理

vram-48是一个针对大规模语言模型推理进行优化的开源框架。该框架通过优化显存使用和支持多种模型并行技术，实现了在有限硬件资源下高效运行大型语言模型。vram-48提供灵活的配置选项，允许根据具体需求调整推理性能。这个项目为自然语言处理领域的研究人员和开发者提供了一个有力工具，用于探索和部署先进的语言处理应用。

petastorm - 开源数据访问库，支持单机或分布式训练和评估深度学习模型，直接从Apache Parquet格式数据集中读取数据

Apache ParquetGithubPetastorm分布式训练开源项目机器学习框架深度学习

Petastorm是一个开源数据访问库，支持单机或分布式训练和评估深度学习模型，直接从Apache Parquet格式数据集中读取数据。该库兼容Tensorflow、PyTorch和PySpark等主流Python机器学习框架，也可用于纯Python代码。Petastorm支持多种数据压缩格式，提供方便的API用于数据生成和读取，并支持列选择、并行读取、行过滤等功能。用户可以轻松在单机或Spark集群上生成数据集，是构建高效机器学习管道的理想工具。

aphrodite-engine - 开源高性能语言模型推理引擎

AI加速AphroditeGithub开源项目推理引擎语言模型量化技术

Aphrodite是一个开源的语言模型推理引擎，采用vLLM的分页注意力机制实现高效推理。它支持连续批处理、多种量化方法和分布式推理，可为大规模用户提供快速服务。该引擎还具备多种采样方法和8位KV缓存，能够处理更长的上下文并提高吞吐量。Aphrodite目前作为PygmalionAI的官方后端引擎使用。

GradCache - 突破GPU/TPU内存限制，实现对比学习无限扩展

GPUGithubGradient CacheJAXPytorch对比学习开源项目

Gradient Cache技术突破了GPU/TPU内存限制，可以无限扩展对比学习的批处理大小。仅需一个GPU即可完成原本需要8个V100 GPU的训练，并能够用更具成本效益的高FLOP低内存系统替换大内存GPU/TPU。该项目支持Pytorch和JAX框架，并已整合至密集段落检索工具DPR。

相关项目

推荐项目

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

稿定AI

稿定设计是一个多功能的在线设计和创意平台，提供广泛的设计工具和资源，以满足不同用户的需求。从专业的图形设计师到普通用户，无论是进行图片处理、智能抠图、H5页面制作还是视频剪辑，稿定设计都能提供简单、高效的解决方案。该平台以其用户友好的界面和强大的功能集合，帮助用户轻松实现创意设计。

使用协议隐私政策广告服务

投诉举报邮箱: service@vectorlightyear.com