#推理

ONNX是一个开放生态系统，提供AI模型的开源格式，支持深度学习和传统机器学习。通过定义可扩展的计算图模型和内置操作符及标准数据类型，ONNX增强了不同框架间的互操作性，加速了从研究到生产的转化。ONNX广泛支持各种工具和硬件，助力AI社区快速创新。了解ONNX的文档、教程和预训练模型，加入社区，共同推动ONNX的发展。

LMDeploy是由MMRazor和MMDeploy团队开发的工具包，专注于LLM的压缩、部署和服务。它提供高效的推理性能、有效的量化方法和便捷的分布式服务，显著提升请求吞吐量。支持多种量化方式和多模型服务，兼容性强。最新版本集成了TurboMind和PyTorch推理引擎，支持多种LLMs和VLMs模型，降低开发者的技术门槛。

RAG-Retrieval项目通过统一方式调用不同RAG排序模型，支持全链路微调与推理。其轻量级Python库扩展性强，适应多种应用场景，提升排序效率。更新内容包括基于LLM监督的微调及其Embedding模型的MRL loss性能提升。

此项目提供LLaMa-7B和RWKV-400M的ONNX模型与独立演示，无需torch或transformers，适用于2GB内存设备。项目包括内存池支持、温度与topk logits调整，并提供导出混合精度和TVM转换的详细步骤，适用于嵌入式设备和分布式系统的大语言模型部署和推理。

PaddleNLP是基于飞桨框架开发的大语言模型套件，提供全面的训练、精调、压缩和部署功能。支持多硬件环境，包括4D并行配置和高效精调策略，适应多种硬件平台，有效降低开发门槛。兼容LLaMA、Bloom等多种主流模型，为大模型开发提供高效解决方案。

该项目汇总了基于CoALA框架的语言代理，实现了动作空间、决策周期等功能。提供了相关核心论文、推特线程及300多篇文献，涵盖从推理到环境互动等多领域前沿研究，旨在优化语言代理的交互、检索和学习能力，有效管理短期和长期记忆。

MAX平台是一套集成的AI库、工具和技术，统一了分散的AI部署工作流。通过提供单一开发工具链，MAX显著缩短了创新产品的上市时间，同时具备完全编程能力、卓越的性能和顺畅的硬件兼容性。文档、代码示例和Jupyter笔记本等资源可帮助用户快速起步，并提供社区支持和交流。

torchao是一个用于PyTorch工作流的高性能库，能够创建并集成自定义数据类型和优化技术，实现推理速度提升至2倍，显存减少65%。无需大幅修改代码，保持准确度。支持量化、稀疏化及浮点数优化，适用于HuggingFace等模型。用户可以轻松优化模型，提高计算效率。支持int8、int4和float8等多种数据类型，兼容torch.compile()和FSDP。

本项目提供详细的ChatGLM系列模型微调教程，支持全参数训练、Lora、AdaLora、IA3及P-Tuning-V2等方法。涵盖最新更新，如支持accelerator和colossalai训练，解除chatglm-6b-int4全参训练限制等。项目包含数据处理、推理脚本及多种训练参数设置，适合深度学习研究与应用。

EET是一个专注于Transformer模型的PyTorch推理加速引擎。它支持百川、LLaMA等大规模语言模型,提供int8量化功能,可在单GPU上高效运行超大模型。EET通过CUDA内核优化和量化算法显著提升多模态及NLP任务的推理性能,为Transformers和Fairseq提供开箱即用的加速方案。使用EET只需几行代码即可实现模型的高效部署与推理。

ggml是一个C语言编写的机器学习张量库，支持16位浮点和整数量化。该库提供自动微分、优化器和多架构优化，无第三方依赖。ggml可用于GPT、LLaMA、Whisper等多种AI模型的推理。它在CPU上表现高效，同时支持GPU加速，适用于多种设备和平台。

该资源列表汇总了图上大语言模型(LLMs on Graphs)领域的前沿研究成果。内容涵盖纯图、文本属性图和文本配对图等多个方面,包括数据集、直接回答、启发式推理和算法推理等关键主题。列表基于综述论文整理,并持续更新,为研究人员提供全面参考,推动图上大语言模型研究进展。

项目对比测试了NVIDIA GPU和Apple芯片在LLaMA 3模型上的推理性能,涵盖从消费级到数据中心级的多种硬件。测试使用llama.cpp,展示了不同量化级别下8B和70B模型的推理速度。结果以表格形式呈现,包括生成速度和提示评估速度。此外,项目提供了编译指南、使用示例、VRAM需求估算和模型困惑度比较,为LLM硬件选型和部署提供全面参考。

该资源列表汇编了大型语言模型和多模态模型在机器人和强化学习领域的最新研究成果。内容涵盖推理、规划、操作、指令和导航等方面，并包括相关模拟框架。这一综合性参考资料有助于研究人员和开发者探索人工智能与机器人技术的融合前沿。

AGI-survey项目系统梳理了人工通用智能(AGI)研究的前沿进展。项目覆盖AGI内部机制、接口设计、系统实现、对齐问题及发展路线等核心领域,汇总分析了大量相关论文。内容涉及AGI的感知、推理、记忆能力,及其与数字世界、物理世界和其他智能体的交互。此外,项目还探讨了AGI的评估方法和伦理考量,为AGI的发展提供全面参考。

AQLM项目开发了一种名为加性量化的新技术，可将大型语言模型压缩至原规模的1/16左右，同时基本保持原始性能。该技术适用于LLaMA、Mistral和Mixtral等多种模型架构，并提供了预量化模型。项目包含PyTorch实现代码、使用教程和推理优化方案，为大规模语言模型的实际应用提供了新思路。

BLoRA项目开发了一种新技术，通过在同一批次中处理多个LoRA模型的推理来提高GPU利用率。该技术支持同时加载多个LoRA适配器，并在单一基础模型上进行并行推理。BLoRA不仅优化了计算效率，还为开发者提供了在不同任务间灵活切换模型行为的工具。这一简单而直观的实现为大规模语言模型的应用创造了新机会。

AutoAWQ是一个专门针对大型语言模型的4位量化框架，通过实现激活感知权重量化算法，可将模型速度提升3倍，同时减少3倍内存需求。该框架支持Mistral、LLaVa、Mixtral等多种模型，具备多GPU支持、CUDA和ROCm兼容性以及PEFT兼容训练等特性。AutoAWQ为提升大型语言模型的推理效率提供了有力工具。

MarkovJunior结合了马尔可夫算法和重写规则，创造了一种新型概率编程语言。它能够通过简单规则生成复杂模型，在迷宫生成、建筑设计和谜题创作等领域表现出色。该项目支持多维操作，采用XML语法，并融合了约束传播推理，为程序化内容生成提供了强大的工具。

本项目对llama2.c推理文件进行了详细解析,帮助初学者理解大语言模型的推理过程。通过逐行注释,项目阐述了模型结构、权重加载和前向传播等核心概念,用简洁的C语言代码展示LLM推理的基本原理。对于希望深入学习Transformer架构和大语言模型工作机制的开发者而言,这是一个极具参考价值的学习资源。

该项目汇总了中文大语言模型(LLM)领域的全面资源，包含数据处理、微调、推理和评估等多个环节的开源工具。资源库涵盖最新LLM技术，并收录RAG系统和AI代理等前沿应用。项目为LLM研究者和开发者提供了丰富的工具和信息，有助于推进相关项目的开发与应用。

llama2.go项目实现了LLaMA-2模型的本地推理。该引擎使用纯Go语言编写,源于llama2.c项目。它通过命令行界面实现模型加载和文本生成,并采用并行计算、循环展开等技术优化性能。在Apple M1芯片上,llama2.go能够达到39.28 tok/s的推理速度。作为一种轻量高效的方案,该项目为开发者提供了便捷的LLaMA-2本地部署选择。

Buffer of Thoughts (BoT)是一种创新的思维增强推理方法，通过元缓冲区存储思维模板并动态更新，显著提升了大语言模型的推理能力。在10项复杂推理任务中，BoT表现优异，如在Game of 24、Geometric Shapes和Checkmate-in-One等任务上分别提升11%、20%和51%。研究发现，结合BoT的Llama3-8B模型在性能上有望超越Llama3-70B模型。

Mixtral GGUF模型文件采用新量化格式，支持2至8位模型，适用于多平台的CPU和GPU推理。文件兼容llama.cpp、KoboldCpp和LM Studio等平台。由Mistral AI创建，Apache-2.0协议许可，支持多语言，高效推理。

项目F5-TTS利用Diffusion Transformer和ConvNeXt V2技术，显著提升了训练和推理速度。支持生成最长30秒的音频，并通过Sway Sampling技术优化推理性能。用户可以自定义数据集，并使用多GPU和fp16配置加速训练。提供单次推理、语音编辑和批量推理功能，并支持通过Gradio App进行操作。多种测试数据集和评估工具确保模型表现稳定高效。

本项目展示了Meta Llama 3.1 70B Instruct模型的INT4量化版本。通过AutoGPTQ技术，将原FP16模型压缩至INT4精度，在维持性能的同时显著减少内存使用，仅需约35GB显存即可运行。该项目兼容多个推理框架，如Transformers、AutoGPTQ、TGI和vLLM，便于根据不同需求进行选择。项目还附有详细的量化复现指南，方便用户独立完成模型量化过程。

该量化ONNX模型旨在利用DeepSparse加速bge-large-en-v1.5嵌入模型，提升句子编码效率。通过Sparsify实现的INT8量化和深度稀疏技术，在标准笔记本和AWS实例上分别实现了4.8倍和3.5倍的延迟性能改善。在多个数据集的测试中，该模型在分类和STS任务中展现出较高的编码效率。结合DeepSparse和ONNX技术栈，该模型适用于需要高效自然语言处理的应用场景。

此项目提供EPFL LLM团队的Meditron 7B模型的AWQ量化文件，采用高效的4位低比特量化方法，在提升变换器推理速度的同时保证质量。兼容多种平台和工具，如Text Generation Webui、vLLM、Hugging Face Text Generation Inference及Transformers。

本项目提供了一种以TinyLlama-1.1B为基础的量化聊天模型，运用GPTQ技术实现内存优化与推理加速，支持高效的4位推理。借助nm-vllm引擎，用户能快速实现部署，并可通过Python管道进行本地推理。详细的量化与Marlin格式转换流程保障了模型的高效表现。此外，Neural Magic的Slack社区欢迎加入以获取支持和交流更多关于神经网络及AI的资讯。

MiniCPM-V-2.6是一个支持GGUF格式转换的多模态模型项目。项目展示了PyTorch模型到GGUF格式的转换流程，实现F16和INT4量化，并在Linux及Mac平台实现本地部署。项目提供完整的模型转换、构建和推理步骤，方便开发者进行多模态模型的本地化部署。

Medusa是一个通过多解码头技术加速LLM生成的开源框架，支持7B、13B和33B模型权重。提供便捷的pip安装和源码构建选项，允许自定义模型格式加载。支持单GPU推理，未来将集成更多推理框架，开放社区贡献。

Llama-3.2-3B-Overthinker-Q8_0-GGUF模型通过llama.cpp转换为GGUF格式，适用于Mac和Linux。支持CLI和服务器模式的推理，操作流程包括从GitHub克隆到构建和运行，为开发者提供详尽指导。支持多种文本生成需求，并结合硬件加速以优化性能。

本项目提供Mistral AI的Ministral-8B-Instruct-2410模型的多种量化版本。使用llama.cpp进行量化,包含从16GB的F16全精度版本到4.45GB的IQ4_XS版本,适合不同硬件和性能需求。量化模型采用imatrix选项和特定数据集生成,可在LM Studio运行。项目详细介绍了各版本的文件大小、特点及模型提示格式,方便用户选择合适的版本。

项目使用Quark对Meta-Llama-3.1模型进行FP8量化，优化了线性层（不含lm_head）的权重和激活过程。支持用户在单或多GPU平台上部署并在vLLM兼容平台上高效运行。尽管伪量化评估结果可能与实际推理精确度略有不同，但仍提供关键指标，助力模型开发与优化。通过FP8对称模式的应用，模型性能得到提升，并提供了准确性的参考标准，为后续模型开发提供支持。