#OpenVINO

OpenVINO™是一款开源软件工具包，用于优化和部署深度学习模型。它支持多种框架如TensorFlow、PyTorch等，能在从边缘到云的多种平台上高效部署。此工具包还包含大量社区资源和教程，助力提升计算机视觉、自然语言处理等领域的模型性能。

Neural Network Compression Framework (NNCF) 提供一套后训练和训练时的优化算法，用于在 OpenVINO 中优化神经网络推理，保证最小的精度损失。NNCF 支持 PyTorch、TensorFlow 和 ONNX 等模型，并提供示例展示不同压缩算法的使用案例。NNCF 还支持自动化模型图转换、分布式训练和多种算法的无缝组合，支持将压缩后的 PyTorch 模型导出为 ONNX 检查点及将 TensorFlow 模型导出为 SavedModel 格式。

Optimum Intel接口将Hugging Face的Transformers和Diffusers库与Intel的工具相结合，优化PyTorch模型性能。支持Intel Neural Compressor的量化和剪枝技术，OpenVINO的高性能推理以及Intel Extension for PyTorch的操作融合和图优化。Optimum Intel提供简单直观的接口和丰富示例，便于在Intel硬件上部署高效模型。

Optimum扩展了Transformers和Diffusers，提供了一系列优化工具，提升模型在不同硬件上的训练和运行效率。支持的硬件平台包括ONNX Runtime、Intel Neural Compressor、OpenVINO、NVIDIA TensorRT-LLM、AMD Instinct GPUs、AWS Trainium & Inferentia、Habana Gaudi处理器和FuriosaAI。Optimum支持多种优化技术，如图优化、动态量化、静态量化和量化感知训练，配有详尽的文档和示例代码，帮助用户导出和运行优化后的模型。

FastSD CPU 是一种基于 Latent Consistency Models 和 Adversarial Diffusion Distillation 的增强型 Stable Diffusion 版本，专为提升 CPU 上的图像生成速度。它提供桌面 GUI、WebUI 和 CLI 接口，兼容 Windows、Linux、Mac 和 Android 系统，支持 256、512、768、1024 分辨率图像，并集成 OpenVINO 加速功能，显著提高推理速度和内存优化。

本项目提供了一系列可执行的Jupyter Notebooks，用于学习和实验OpenVINO™工具包。用户可以通过这些Notebooks了解OpenVINO的基础知识，并学习如何使用API进行优化的深度学习推理。支持多平台运行，包括本地、云端和Docker容器，提供详细的安装指南、系统需求及常见问题解答，全面辅助开发者使用OpenVINO™。

这个开源项目为Audacity开发了一系列基于AI的音频处理插件。包含音乐分离、降噪、音乐生成与延续以及语音转写等功能。插件使用OpenVINO技术，支持在本地CPU、GPU或NPU上运行，无需网络连接。这些功能可显著提升音频编辑效率和质量。项目采用GPL v3开源协议，适用于Windows和Linux系统。目前提供音乐分离、降噪、AI音乐生成和Whisper语音转写四大功能。开发者欢迎用户反馈和贡献代码，持续改进插件性能。

Anomalib是一个专注于视觉异常检测的开源深度学习库。它提供多种先进算法实现，支持模型训练、推理、基准测试和超参数优化。该库基于Lightning框架开发，简化了代码结构，并支持模型导出为OpenVINO格式以加速推理。Anomalib还包含便捷的推理工具，方便用户快速部署异常检测模型。其模块化设计和完善的文档使其成为研究和应用视觉异常检测的理想工具。

OpenVINO Training Extensions是一个专注计算机视觉的低代码迁移学习框架。它基于PyTorch和OpenVINO工具包开发,提供简洁API和CLI命令,支持分类、检测、分割等多种任务的模型训练、推理和部署。该框架具备自动配置、分布式训练、混合精度等功能,可快速构建高效准确的视觉AI模型。

Phi-3-mini-4k-instruct模型通过NNCF的INT4权重压缩被转换为OpenVINO™ IR格式，增强OpenVINO推理效率。适用于OpenVINO 2024.4.0及以上版本，与Optimum Intel 1.23.1兼容，实现高效模型推理。

本项目基于DistilBERT模型，在SST-2数据集上微调后转换为OpenVINO格式，专注于文本情感分类。模型在开发集上的准确率达91.3%，并支持通过Transformers pipeline快速部署。OpenVINO优化提升了推理效率，使其更适合生产环境中的情感分析应用。项目提供了简单的使用示例，方便开发者快速集成和应用。

该项目通过非结构化幅度剪枝、量化和蒸馏，在GLUE SST2数据集上优化了BERT模型。模型在Torch和OpenVINO IR模式下准确率达到0.9128，并在Transformer层中实现了80%的稀疏性。此项目适用于OpenVINO 2024.3.0及以上版本及Optimum Intel 1.19.0及更高版本，利用NNCF完成优化，同时提供详细的参数与训练步骤，以实现高效的文本分类。