brevitas

面向神经网络量化的PyTorch库

Brevitas 神经网络量化 PyTorch 量化感知训练训练后量化 Github 开源项目

Brevitas是一个开源的神经网络量化PyTorch库，支持PTQ和QAT。它为常见PyTorch层提供量化版本，如QuantConv和QuantLSTM等，允许精细调整量化参数。兼容Python 3.8+和PyTorch 1.9.1-2.1，跨平台支持，推荐GPU加速。作为研究项目，Brevitas在深度学习模型压缩和效率优化方面具有重要应用价值。

访问官网

Github

介绍相关项目

bitsandbytes - 高效CUDA优化库支持多位量化和矩阵运算

CUDAGithubbitsandbytes优化器开源项目硬件后端量化

bitsandbytes是一个轻量级Python库，为CUDA自定义函数提供封装。该库主要提供8位优化器、矩阵乘法(LLM.int8())以及8位和4位量化功能。通过bitsandbytes.nn模块实现多位线性层，bitsandbytes.optim模块提供优化器。目前正在拓展对更多硬件后端的支持，包括Intel CPU+GPU、AMD GPU和Apple Silicon，Windows平台的支持也在开发中。

awesome-model-quantization - 全面的模型量化研究资源

Awesome Model QuantizationBiBenchEfficient_AIGC_RepoGithubMQBenchSurvey of Quantization开源项目

此项目汇集了关于模型量化的各类论文、文档和代码，为研究者提供丰富的参考资源。内容包括二值化和量化方法的调研、基准测试，以及生成模型的压缩和加速技术。项目持续更新，并欢迎对未收录研究成果的贡献。感谢所有已作出贡献的研究者。

Quantus - 神经网络解释的定量评估工具箱

GithubQuantus工具包开源项目神经网络解释评估

Quantus提供超过30种指标，支持图像、时间序列、表格数据和自然语言处理等数据类型，兼容PyTorch和TensorFlow模型。作为一个易用的定量评估工具箱，Quantus涵盖了包括EfficientMPRT和SmoothMPRT在内的新指标，帮助研究人员在无真实数据情况下进行全面评估。欲了解更多详情，请参阅文档及最新发布的论文。

larq - 用于极低精度神经网络的深度学习训练的开源库

Binarized Neural NetworksGithubLarqTensorFlow开源项目深度学习神经网络

Larq是一个开源深度学习库，专为训练极低精度的神经网络（如二值化神经网络）而设计。它基于tf.keras接口，支持量化层和量化器，有效解决传统深度神经网络在资源受限环境中的问题。通过Larq，用户能轻松定义并训练二值化和其他类型的量化神经网络。此外，该库还提供多个平台的优化推理引擎，特别适合希望在移动和边缘设备上部署高效神经网络的研究人员和开发者。

quickai - 简化复杂机器学习模型的实验过程

GithubPythonQuickAIYOLO卷积神经网络开源项目机器学习

QuickAI 是一个 Python 库，简化了前沿机器学习模型的实验流程。支持 EfficientNet、VGG、ResNet 等图像分类模型和 GPT-NEO、Distill BERT 等自然语言处理模型。只需1-2行代码即可完成模型训练和评估，兼容 TensorFlow 和 PyTorch，并提供 Docker 容器便于环境配置。适用于各水平用户，助力快速推进机器学习项目。

PINTO_model_zoo - 提供多框架神经网络模型转换与量化的开源工具

GithubONNXPINTO_model_zooPyTorchTensorFlow开源项目量化

PINTO_model_zoo 是一个开源工具库，支持 TensorFlow、PyTorch、ONNX、OpenVINO 等多个框架的模型转换和量化。项目提供多种量化方法，包括权重量化、整数量化和浮点数量化，旨在优化模型性能以适应不同平台，如 RaspberryPi 和 EdgeTPU。它还提供大量预量化模型和详细转换指南，帮助开发者在各种设备上高效部署深度学习模型。

AutoAWQ - 面向大型语言模型的高效4位量化框架

AutoAWQGPU加速Github大语言模型开源项目推理量化

AutoAWQ是一个专门针对大型语言模型的4位量化框架，通过实现激活感知权重量化算法，可将模型速度提升3倍，同时减少3倍内存需求。该框架支持Mistral、LLaVa、Mixtral等多种模型，具备多GPU支持、CUDA和ROCm兼容性以及PEFT兼容训练等特性。AutoAWQ为提升大型语言模型的推理效率提供了有力工具。

CodeQwen1.5-7B-GGUF - 丰富的量化模型选择，多平台优化性能

CodeQwen1.5-7BGithubHugging FaceHuggingface内存需求开源项目模型模型质量量化

通过llama.cpp工具实现多量化模型的生成，CodeQwen1.5系列提供不同文件大小和质量选项，适用于各种设备资源和性能需求。推荐选择高质量Q6_K和Q5_K_M格式，平衡性能与存储空间。该项目适合RAM和VRAM有限的用户，并支持多种格式在不同硬件平台上运行。新方法如I-quants提高性能输出，但与Vulcan不兼容，适用于Nvidia的cuBLAS和AMD的rocBLAS。丰富的特性矩阵便于深入比较选择。

tf-quant-finance - 基于TensorFlow的高性能量化金融库，支持多层数学和定价模型

GithubPythonTF Quant FinanceTensorFlow定价模型开源项目数学方法

TF Quant Finance利用TensorFlow的硬件加速和自动微分，提供从基础数学算法到高级定价模型的功能，包括优化、插值、微分方程求解和金融模型校准。库的功能正在不断扩展，并提供独立可运行的示例，便于用户学习和应用。

model-optimization - TensorFlow 模型优化工具包, 支持量化和稀疏化

GithubKerasTensorFlow Model Optimization Toolkit剪枝开源项目机器学习模型量化

TensorFlow Model Optimization Toolkit 提供稳定的 Python API，帮助用户通过量化和稀疏化技术优化机器学习模型，包括针对 Keras 的专用 API。该工具包还提供详细的安装指南、教程和 API 文档，显著提升模型在部署和执行时的性能。该项目由 TensorFlow 团队维护，并遵循其行为准则，开发者可以通过 GitHub 提交问题和贡献代码。

相关项目

项目侧边栏1

项目侧边栏2

推荐项目

Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。

使用协议隐私政策广告服务

投诉举报邮箱: service@vectorlightyear.com

@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号