欢迎使用OpenVINO™,这是一个开源软件工具包,用于优化和部署深度学习模型。
- 推理优化:提升计算机视觉、自动语音识别、生成式AI、自然语言处理等常见任务中大模型和小模型的深度学习性能。
- 灵活的模型支持:支持使用TensorFlow、PyTorch、ONNX、Keras和PaddlePaddle等流行框架训练的模型。转换和部署模型时无需使用原框架。
- 广泛的平台兼容性:减少资源需求,并高效地在从边缘到云的各种平台上部署。OpenVINO™支持在CPU(x86,ARM)、GPU(支持OpenCL的集成和独立显卡)和AI加速器(Intel NPU)上进行推理。
- 社区和生态系统:加入活跃的社区,致力于提升各领域深度学习的性能。
请查看OpenVINO 快速参考指南以获得快速参考。
安装
获取您首选的OpenVINO版本或使用以下命令快速安装:
pip install -U openvino
教程和示例
OpenVINO快速入门示例将指导您完成部署第一个模型的基础步骤。
学习如何使用OpenVINO笔记本📚优化和部署流行模型:
以下是一些易于理解的代码示例,展示了如何使用OpenVINO进行PyTorch和TensorFlow模型的推理:
PyTorch模型
import openvino as ov
import torch
import torchvision
# 将PyTorch模型加载到内存中
model = torch.hub.load("pytorch/vision", "shufflenet_v2_x1_0", weights="DEFAULT")
# 将模型转换为OpenVINO模型
example = torch.randn(1, 3, 224, 224)
ov_model = ov.convert_model(model, example_input=(example,))
# 为CPU设备编译模型
core = ov.Core()
compiled_model = core.compile_model(ov_model, 'CPU')
# 在随机数据上推理模型
output = compiled_model({0: example.numpy()})
TensorFlow模型
import numpy as np
import openvino as ov
import tensorflow as tf
# 将TensorFlow模型加载到内存中
model = tf.keras.applications.MobileNetV2(weights='imagenet')
# 将模型转换为OpenVINO模型
ov_model = ov.convert_model(model)
# 为CPU设备编译模型
core = ov.Core()
compiled_model = core.compile_model(ov_model, 'CPU')
# 在随机数据上推理模型
data = np.random.rand(1, 224, 224, 3)
output = compiled_model({0: data})
OpenVINO还支持CPU、GPU和NPU设备,并支持TensorFlow、PyTorch、ONNX、TensorFlow Lite、PaddlePaddle模型格式。使用OpenVINO,您可以在运行时根据您的硬件自动进行性能增强(保持模型精度),包括:异步执行、批处理、张量融合、负载均衡、动态推理并行、自动BF16转换等。
OpenVINO生态系统
- 🤗Optimum Intel - 优化Transformers和Diffusers模型的简单界面。
- 神经网络压缩框架 (NNCF) - 包括量化、滤波器剪枝、二值化和稀疏性等高级模型优化技术。
- 生成式AI资源库 和 OpenVINO Tokenizers - 用于开发和优化生成式AI应用的资源和工具。
- OpenVINO™模型服务器 (OVMS) - 针对英特尔架构优化的模型服务的可扩展高性能解决方案。
- Intel® Geti™ - 一款用于计算机视觉应用的交互式视频和图像标注工具。
请查看Awesome OpenVINO资源库,发现基于OpenVINO的社区AI项目合集!
文档
用户文档包含了有关OpenVINO的详细信息,并指导您从安装到优化和部署模型以用于您的AI应用。
开发者文档侧重于OpenVINO组件的工作原理,并描述了构建和贡献流程。
贡献与支持
请查看贡献指南以了解更多详情。 如果您正在寻找贡献的起点,请阅读入门问题部分。我们欢迎各种形式的贡献!
您可以在以下平台上提问并获取支持:
- GitHub Issues。
- Intel DevHub Discord服务器上的OpenVINO频道(链接)。
- Stack Overflow上的
openvino
标签*。
其他资源
遥测
OpenVINO™收集软件性能和使用数据,以改进OpenVINO™工具。 此数据由OpenVINO™直接收集或通过使用Google Analytics 4收集。 您可以随时运行以下命令选择