ImageAI (v3.0.3)
一个开源的Python库,可以帮助开发人员通过简单的几行代码构建具有自包含深度学习和计算机视觉能力的应用程序和系统。
如果您想要赞助这个项目,请访问Github赞助页面。
---------------------------------------------------
介绍Jarvis和TheiaEngine。
作为ImageAI的创建者,我们很高兴地宣布两个新的AI项目,为个人计算机和服务器提供最先进的生成式AI、LLM和图像理解功能。
在PC/Mac上安装Jarvis,设置无限访问LLM驱动的AI聊天,用于日常工作、研究和生成式AI需求,100%隐私和完全离线功能。
访问https://jarvis.genxr.co开始使用。
TheiaEngine 是下一代计算机视觉AI API,能够通过单个API调用完成所有的生成和理解计算机视觉任务,并通过REST API提供给所有编程语言。功能包括:
- 检测300多个对象(比ImageAI多220个对象)
- 回答任何关于图像内容或上下文的问题
- 在不需要为每个任务训练新的自定义模型的情况下,非常有用
- 生成场景描述和摘要
- 将2D图像转换为3D点云和三角网格
- 物体、墙壁、地板等的语义场景映射
- 无状态人脸识别和情感检测
- 从提示生成和增强图像
- 其他功能
访问https://www.genxr.co/theia-engine 试用演示并今天加入beta测试。
---------------------------------------------------
由Moses Olafenwa开发和维护
以简单为中心构建,ImageAI 支持一系列最先进的机器学习算法,用于图像预测、自定义图像预测、对象检测、视频检测、视频对象跟踪和图像预测训练。 ImageAI目前支持使用使用ImageNet-1000数据集训练的四种不同机器学习算法的图像预测和训练。 ImageAI还支持使用在COCO数据集上训练的RetinaNet, YOLOv3和TinyYOLOv3进行对象检测、视频检测和对象跟踪。最后,ImageAI允许您训练自定义模型,用于检测和识别新对象。
最终,ImageAI将支持更广泛和更专业的计算机视觉方面。
新版本:ImageAI 3.0.2
新特性:
- PyTorch后端
- TinyYOLOv3模型训练
目录
- :white_square_button: 安装
- :white_square_button: 特性
- :white_square_button: 文档
- :white_square_button: 赞助商
- :white_square_button: 基于ImageAI构建的项目
- :white_square_button: 高性能实现
- :white_square_button: AI实践建议
- :white_square_button: 联系开发人员
- :white_square_button: 引用
- :white_square_button: 参考文献
安装
要安装ImageAI,请在命令行中运行以下Python安装指令:
- 下载并安装 Python 3.7, Python 3.8, Python 3.9 或 Python 3.10
- 安装依赖项
-
CPU: 下载requirements.txt文件并通过以下命令安装
pip install -r requirements.txt
或者直接复制并运行以下命令
pip install cython pillow>=7.0.0 numpy>=1.18.1 opencv-python>=4.1.2 torch>=1.9.0 --extra-index-url https://download.pytorch.org/whl/cpu torchvision>=0.10.0 --extra-index-url https://download.pytorch.org/whl/cpu pytest==7.1.3 tqdm==4.64.1 scipy>=1.7.3 matplotlib>=3.4.3 mock==4.0.3
-
GPU/CUDA: 下载 requirements_gpu.txt 文件并通过以下命令安装
pip install -r requirements_gpu.txt
或者直接复制并运行以下命令
pip install cython pillow>=7.0.0 numpy>=1.18.1 opencv-python>=4.1.2 torch>=1.9.0 --extra-index-url https://download.pytorch.org/whl/cu102 torchvision>=0.10.0 --extra-index-url https://download.pytorch.org/whl/cu102 pytest==7.1.3 tqdm==4.64.1 scipy>=1.7.3 matplotlib>=3.4.3 mock==4.0.3
-
- 如果您打算训练自定义AI模型,请下载requirements_extra.txt文件并通过以下命令安装
或者直接复制并运行以下命令pip install -r requirements_extra.txt
pip install pycocotools@git+https://github.com/gautamchitnis/cocoapi.git@cocodataset-master#subdirectory=PythonAPI
- 然后运行以下命令安装ImageAI
pip install imageai --upgrade
特性
图像分类 |
ImageAI提供4种不同的算法和模型类型进行图像预测,基于ImageNet-1000数据集训练。这4种算法包括MobileNetV2、ResNet50、InceptionV3和DenseNet121。点击下面的链接查看完整的示例代码、解释和最佳实践指南。>>> 开始使用 |
对象检测 |
ImageAI提供非常方便和强大的方法,在图像中进行对象检测并提取每个对象。对象检测类支持RetinaNet、YOLOv3和TinyYOLOv3,并有选项可以调整为最先进的性能或实时处理。点击下面的链接查看完整的示例代码、解释和最佳实践指南。>>> 开始使用 |
视频对象检测与分析 |
ImageAI提供非常方便和强大的方法进行视频对象检测。视频对象检测类仅支持当前最先进的RetinaNet。点击链接查看完整的视频、示例代码、解释和最佳实践指南。>>> 开始使用 |
自定义分类模型训练 |
ImageAI提供类和方法,可以用于训练一个新模型,来对自定义对象进行预测。您可以使用MobileNetV2、ResNet50、InceptionV3和DenseNet在5行代码中训练您的自定义模型。点击下面的链接查看训练图像准备指南、示例训练代码、解释和最佳实践指南。>>> 开始使用 |
自定义模型分类 |
ImageAI提供类和方法,您可以使用ImageAI模型训练类训练的自定义模型来对图像中的自定义对象进行预测。您可以使用您用MobileNetV2、ResNet50、InceptionV3和DenseNet训练的自定义模型和包含自定义对象名称映射的JSON文件。点击下面的链接查看示例训练代码、解释和最佳实践指南。>>> 开始使用 |
自定义检测模型训练 |
ImageAI提供类和方法,可以训练新的YOLOv3或TinyYOLOv3对象检测模型,基于您的自定义数据集。这意味着您可以通过提供图像、标注并使用ImageAI进行训练,训练一个检测任何感兴趣对象的模型。点击下面的链接查看示例训练代码、解释和最佳实践指南。>>> 开始使用 |
自定义对象检测 |
ImageAI现在提供类和方法,您可以使用通过DetectionModelTrainer类训练的自定义模型在图像中检测并识别自定义对象。您可以使用通过自定义训练的YOLOv3或TinyYOLOv3模型以及在训练期间生成的**.json**文件。点击下面的链接查看示例训练代码、解释和最佳实践指南。>>> 开始使用 |
自定义视频对象检测与分析 |
ImageAI现在提供类和方法,您可以使用通过DetectionModelTrainer类训练的自定义模型在图像中检测并识别自定义对象。您可以使用通过自定义训练的YOLOv3或TinyYOLOv3模型以及在训练期间生成的**.json**文件。点击下面的链接查看示例训练代码、解释和最佳实践指南。>>> 开始使用 |
文档
我们提供了所有 **ImageAI** 类和函数的完整文档。请访问以下链接:- 文档 - 英文版 https://imageai.readthedocs.io
赞助商
实时和高性能实现
ImageAI 提供了最先进的计算机视觉技术的抽象和便捷实现。所有 ImageAI 的实现和代码可以在任何具有中等CPU容量的计算机系统上运行。然而,在CPU上的图像预测、物体检测等操作的处理速度较慢,不适合实时应用。要进行高性能的实时计算机视觉操作,你需要使用支持GPU的技术。
ImageAI 使用 PyTorch 作为其计算机视觉操作的核心。PyTorch 支持 CPU 和 GPU(特别是 NVIDIA GPU。你可以为你的电脑购买一个GPU,或者购买一台配有GPU的电脑)来实现机器学习和人工智能算法。
基于 ImageAI 的项目
AI 实践建议
对于任何有兴趣建立AI系统并将其用于商业、经济、社会和研究目的的人来说,至关重要的是他或她要了解使用这种技术可能带来的积极、消极和前所未有的影响。 他们还必须了解经验丰富的行业专家推荐的方法和实践,以确保每一次使用AI都能为人类带来整体利益。 因此,我们建议每一个希望使用 ImageAI 和其他AI工具和资源的人阅读微软2018年1月发布的关于AI的出版物《The Future Computed : Artificial Intelligence and its role in society》。请点击以下链接下载该出版物。
https://blogs.microsoft.com/blog/2018/01/17/future-computed-artificial-intelligence-role-society
联系开发者
- Moses Olafenwa
- 邮箱: guymodscientist@gmail.com
- 推特: @OlafenwaMoses
- Medium: @guymodscientist
- Facebook: moses.olafenwa
- John Olafenwa
- 邮箱: johnolafenwa@gmail.com
- 网站: https://john.aicommons.science
- 推特: @johnolafenwa
- Medium: @johnolafenwa
- Facebook: olafenwajohn
引用
你可以通过下面的 BibTeX 条目引用 ImageAI 在你的项目和研究论文中。
@misc {ImageAI,
author = "Moses",
title = "ImageAI, an open source python library built to empower developers to build applications and systems with self-contained Computer Vision capabilities",
url = "https://github.com/OlafenwaMoses/ImageAI",
month = "mar",
year = "2018--"
}
参考文献
- Somshubra Majumdar, DenseNet Implementation of the paper, Densely Connected Convolutional Networks in Keras https://github.com/titu1994/DenseNet
- Broad Institute of MIT and Harvard, Keras package for deep residual networks https://github.com/broadinstitute/keras-resnet
- Fizyr, Keras implementation of RetinaNet object detection https://github.com/fizyr/keras-retinanet
- Francois Chollet, Keras code and weights files for popular deeplearning models https://github.com/fchollet/deep-learning-models
- Forrest N. et al, SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <0.5MB model size https://arxiv.org/abs/1602.07360
- Kaiming H. et al, Deep Residual Learning for Image Recognition https://arxiv.org/abs/1512.03385
- Szegedy. et al, Rethinking the Inception Architecture for Computer Vision https://arxiv.org/abs/1512.00567
- Gao. et al, Densely Connected Convolutional Networks https://arxiv.org/abs/1608.06993
- Tsung-Yi. et al, Focal Loss for Dense Object Detection https://arxiv.org/abs/1708.02002
- O Russakovsky et al, ImageNet Large Scale Visual Recognition Challenge https://arxiv.org/abs/1409.0575
- TY Lin et al, Microsoft COCO: Common Objects in Context https://arxiv.org/abs/1405.0312
- Moses & John Olafenwa, A collection of images of identifiable professionals. https://github.com/OlafenwaMoses/IdenProf
- Joseph Redmon and Ali Farhadi, YOLOv3: An Incremental Improvement. https://arxiv.org/abs/1804.02767
- Experiencor, Training and Detecting Objects with YOLO3 https://github.com/experiencor/keras-yolo3
- MobileNetV2: Inverted Residuals and Linear Bottlenecks https://arxiv.org/abs/1801.04381
- YOLOv3 in PyTorch > ONNX > CoreML > TFLite https://github.com/ultralytics/yolov3