Project Icon

effort

LLM模型计算量实时优化的开源实现

Effort是bucketMul算法的开源实现,支持实时调整LLM模型推理过程中的计算量。在Apple Silicon芯片上,50%effort可匹配常规矩阵乘法速度,25%effort则提供双倍速度,同时保持大部分输出质量。项目支持跳过加载次要权重,实现性能与质量的灵活平衡。Effort Engine提供预编译二进制文件,源代码基于Swift和Metal开发。

mac-ml-speed-test - Apple Silicon Mac机器学习性能测试工具
GithubMacPyTorchTensorFlow开源项目性能测试机器学习
mac-ml-speed-test是一个专为Apple Silicon Mac设计的机器学习性能测试项目。通过简单脚本对比不同Mac设备上的机器学习模型速度,涵盖计算机视觉和自然语言处理等领域。项目使用PyTorch、TensorFlow等主流框架,并提供详细配置指南,便于用户进行性能评估。测试内容包括图像分类、文本分类和LLM文本生成等任务,使用CIFAR100、Food101和IMDB等数据集。此外,项目还包括与NVIDIA TITAN RTX和Google Colab免费版的性能对比,为用户提供更全面的参考数据。
Replete-LLM-V2.5-Qwen-14b-GGUF - Replete-LLM-V2.5-Qwen-14b模型的多量化处理与硬件优化概述
ARM芯片GithubHuggingfaceRombos-LLM-V2.5-Qwen-14b开源项目性能比较模型模型优化量化
该项目对Rombos-LLM-V2.5-Qwen-14b模型进行了多种量化优化,使用了llama.cpp的b3825版本。支持多种量化格式,如f16、Q8_0、Q6_K_L等,适用不同硬件环境,推荐Q6_K_L和Q5_K_L以实现高质量和资源节省。用户可根据硬件需求选择合适的格式,并使用huggingface-cli进行下载。针对ARM芯片提供了特定的优化量化选项Q4_0_X_X,广泛适用于文本生成应用,提升运行效率和输出质量。
MegEngine - 高效、可扩展且易于使用的深度学习框架
GithubMegEngine开源项目深度学习框架硬件需求训练与推理高性能
MegEngine是一个高效、可扩展且易于使用的深度学习框架,具有统一的训练和推理框架、低硬件要求和跨平台高效推理的三大关键特性。支持x86、Arm、CUDA、RoCM等多种平台,兼容Linux、Windows、iOS、Android等系统。通过DTR算法和Pushdown内存规划器,大幅降低GPU内存使用。适用于模型开发到部署的各个环节,致力于构建开放友好的AI社区。
vllm - 高性能与易用性的LLM推理与服务平台
GithubLLM服务PagedAttentionvLLM开源项目量化高吞吐量
vLLM是一个高性能且易用的LLM推理与服务平台,具备PagedAttention内存管理、CUDA/HIP图形加速、量化支持、并行解码算法及流式输出等技术优势。vLLM无缝集成Hugging Face模型,兼容多种硬件设备,支持分布式推理和OpenAI API。最新版本支持Llama 3.1和FP8量化。用户可通过pip安装并参考详细文档快速入门。
llm.c - 纯C和CUDA实现的高效轻量级语言模型训练框架
CUDAC语言GPU训练GithubLLM开源项目
llm.c是一个使用纯C和CUDA实现的高效轻量级语言模型训练框架。该项目不依赖PyTorch或cPython等大型框架,通过简洁代码实现GPT-2和GPT-3系列模型的预训练。llm.c支持单GPU、多GPU和多节点训练,提供详细教程和实验示例。项目在保持代码可读性的同时追求高性能,适用于教育和实际应用。此外,llm.c支持多种硬件平台,并有多个编程语言的移植版本。
mixtral-offloading - Mixtral-8x7B模型高效推理的实现方法
CPUGPUGithubHQQMixtral-8x7BMoE开源项目
该项目实现了Mixtral-8x7B模型的高效推理,使用混合量化和MoE卸载策略。通过HQQ量化方案分别处理注意力层和专家层,使模型适应GPU和CPU内存。每层的专家单独卸载并在需要时重新加载到GPU,活跃专家存储在LRU缓存中以减少GPU-RAM通信。更多技术细节和结果请参阅技术报告。
fastllm - 纯C++实现的跨平台大语言模型推理库
GPU加速Githubc++实现fastllm多平台大模型推理开源项目
fastllm是一个纯C++实现的大语言模型推理库,无第三方依赖,支持多平台部署。这个开源项目具有快速的推理速度,支持多种模型格式,可实现多卡部署和流式输出。fastllm兼容ChatGLM、Qwen、LLAMA等多种模型,提供Python接口和自定义模型结构功能。该项目适用于需要高效、灵活部署大语言模型的场景。
LLM.swift - 多平台兼容的大型语言模型交互Swift库
GithubHuggingFaceModelLLM.swiftSwiftasynclarge language models开源项目
`LLM.swift` 是一个简洁易用的库,支持在macOS、iOS、watchOS、tvOS和visionOS上与大型语言模型本地交互。开发者可通过SPM或直接复制代码在Xcode项目中使用。此库基于`llama.cpp`,性能优越,并保持与最新更新同步。其设计允许自定义输入预处理、输出后处理及动态更新功能,并支持从HuggingFace获取模型数据,适用于跨平台高效语言模型交互的需求。
EET - Transformer模型推理加速引擎
AI模型EETGithubTransformer开源项目性能优化推理
EET是一个专注于Transformer模型的PyTorch推理加速引擎。它支持百川、LLaMA等大规模语言模型,提供int8量化功能,可在单GPU上高效运行超大模型。EET通过CUDA内核优化和量化算法显著提升多模态及NLP任务的推理性能,为Transformers和Fairseq提供开箱即用的加速方案。使用EET只需几行代码即可实现模型的高效部署与推理。
EAGLE - 大型语言模型快速解码的新突破
EAGLEGithub大语言模型开源项目快速解码性能维持推理速度
EAGLE项目为大型语言模型提供了一种高效的快速解码方法。通过创新的特征外推技术,EAGLE显著提升了生成效率。其改进版EAGLE-2引入了动态草稿树结构,进一步优化了性能。与传统解码方法相比,EAGLE和EAGLE-2在13B模型上分别实现了3倍和4倍的速度提升。该开源项目不仅提供了多种预训练模型权重,还支持各类LLM架构,并配备了详尽的使用文档和评估工具。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

稿定AI

稿定设计 是一个多功能的在线设计和创意平台,提供广泛的设计工具和资源,以满足不同用户的需求。从专业的图形设计师到普通用户,无论是进行图片处理、智能抠图、H5页面制作还是视频剪辑,稿定设计都能提供简单、高效的解决方案。该平台以其用户友好的界面和强大的功能集合,帮助用户轻松实现创意设计。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号