pytorch-ood - 基于PyTorch的深度学习异常检测库

PyTorch 分布外检测

|文档| |版本| |许可证| |Python版本| |下载量|

.. |文档| image:: https://img.shields.io/badge/docs-online-blue?style=for-the-badge :target: https://pytorch-ood.readthedocs.io/en/latest/ :alt: 文档 .. |版本| image:: https://img.shields.io/pypi/v/pytorch-ood?color=light&style=for-the-badge :target: https://pypi.org/project/pytorch-ood/ :alt: 许可证 .. |许可证| image:: https://img.shields.io/pypi/l/pytorch-ood?style=for-the-badge :target: https://gitlab.com/kkirchheim/pytorch-ood/-/blob/master/LICENSE :alt: 许可证 .. |Python版本| image:: https://img.shields.io/badge/-Python 3.8+-blue?logo=python&logoColor=white&style=for-the-badge :target: https://www.python.org/ :alt: Python .. |下载量| image:: https://img.shields.io/pypi/dm/pytorch-ood?style=for-the-badge :target: https://pepy.tech/project/pytorch-ood :alt: 下载量

.. image:: docs/_static/pytorch-ood-logo.jpg :align: center :width: 100% :alt: pytorch-ood-logo

基于PyTorch的深度神经网络分布外(OOD)检测。

该库提供:

分布外检测方法
损失函数
数据集
神经网络架构以及预训练权重
实用工具

设计上与pytorch-lightning <https://www.pytorchlightning.ai>_和pytorch-segmentation-models <https://github.com/qubvel/segmentation_models.pytorch>_等框架兼容。该库还涵盖了一些来自开放集识别、新颖性检测、置信度估计和异常检测等相关领域的方法。

📚 文档 ^^^^^^^^^^^^^^^^^^^ 文档可在此处 <https://pytorch-ood.readthedocs.io/en/latest/>_查看。

注意: pytorch-ood采用的一个重要约定是OOD检测器预测异常值分数，对于异常值该分数应该大于内部值。如果您注意到检测器预测的分数与相应发表文献中的公式不匹配，可能是因为我们将分数乘以负一以符合这一约定。

⏳ 快速开始 ^^^^^^^^^^^^^^^^^ 加载在CIFAR-10上预训练的模型，使用能量有界学习损失[#EnergyBasedOOD]_，并在某个数据集data_loader上使用基于能量的分布外检测[#EnergyBasedOOD]_进行预测，计算常见的OOD检测指标:

.. code-block:: python

from pytorch_ood.model import WideResNet
from pytorch_ood.detector import EnergyBased
from pytorch_ood.utils import OODMetrics

# 创建神经网络
model = WideResNet(num_classes=10, pretrained="er-cifar10-tune").eval().cuda()

# 创建检测器
detector = EnergyBased(model)

# 评估
metrics = OODMetrics()

for x, y in data_loader:
    metrics.update(detector(x.cuda()), y)

print(metrics.compute())

更多示例可以在文档 <https://pytorch-ood.readthedocs.io/en/latest/auto_examples/benchmarks/>_中找到。

🛠 ️️安装 ^^^^^^^^^^^^^^^^^ 可以通过PyPI安装该包:

.. code-block:: shell

pip install pytorch-ood

依赖

torch
torchvision
scipy
torchmetrics

可选依赖

scikit-learn 用于ViM
gdown 用于下载一些数据集和模型权重
pandas 用于示例 <https://pytorch-ood.readthedocs.io/en/latest/auto_examples/index.html>_
segmentation-models-pytorch 用于运行异常分割示例

📦 已实现 ^^^^^^^^^^^^^^^

检测器:

+-----------------------------+------------------------------------------------------------------------------------------------+------+--------------------+ | 检测器 | 描述 | 年份 | 参考 | +=============================+================================================================================================+======+====================+ | OpenMax | 实现了论文Towards Open Set Deep Networks中提出的OpenMax层。 | 2016 | [#OpenMax]_ | +-----------------------------+------------------------------------------------------------------------------------------------+------+--------------------+ | Monte Carlo Dropout | 实现Monte Carlo Dropout。 | 2016 | [#MonteCarloDrop]_ | +-----------------------------+------------------------------------------------------------------------------------------------+------+--------------------+ | Maximum Softmax Probability | 实现OOD和错误检测的Softmax基准。 | 2017 | [#Softmax]_ | +-----------------------------+------------------------------------------------------------------------------------------------+------+--------------------+ | ODIN | ODIN是一种输入预处理方法，旨在提高分布内和分布外数据softmax输出的可区分性。 | 2018 | [#ODIN]_ | +-----------------------------+------------------------------------------------------------------------------------------------+------+--------------------+ | Mahalanobis | 实现马氏距离方法。 | 2018 | [#Mahalanobis]_ | +-----------------------------+------------------------------------------------------------------------------------------------+------+--------------------+ | Energy-Based OOD Detection | 实现Energy-based Out-of-distribution Detection中的能量分数。 | 2020 | [#EnergyBasedOOD]_ | +-----------------------------+------------------------------------------------------------------------------------------------+------+--------------------+ | Entropy | 使用熵来检测OOD输入。 | 2021 | [#MaxEntropy]_ | +-----------------------------+------------------------------------------------------------------------------------------------+------+--------------------+ | Maximum Logit | 实现MaxLogit方法。 | 2022 | [#StreeHaz]_ | +-----------------------------+------------------------------------------------------------------------------------------------+------+--------------------+ | KL-Matching | 实现多类分类的KL-Matching方法。 | 2022 | [#StreeHaz]_ | +-----------------------------+------------------------------------------------------------------------------------------------+------+--------------------+ | ViM | 实现虚拟logit匹配。 | 2022 | [#ViM]_ | +-----------------------------+------------------------------------------------------------------------------------------------+------+--------------------+

目标函数: +----------------------------+--------------------------------------------------------------------------------------------------+------+--------------------+ | 目标函数 | 描述 | 年份 | 参考文献 | +============================+==================================================================================================+======+====================+ | Objectosphere | 《减少网络不可知性》论文的实现。 | 2016 | [#Objectosphere]_ | +----------------------------+--------------------------------------------------------------------------------------------------+------+--------------------+ | 中心损失 | 《深度人脸识别的判别特征学习方法》论文中"中心损失"的广义版本。 | 2016 | [#CenterLoss]_ | +----------------------------+--------------------------------------------------------------------------------------------------+------+--------------------+ | 离群点暴露 | 《使用离群点暴露的深度异常检测》论文的实现。 | 2018 | [#OE]_ | +----------------------------+--------------------------------------------------------------------------------------------------+------+--------------------+ | Deep SVDD | 《深度单类分类》论文中深度支持向量数据描述的实现。 | 2018 | [#SVDD]_ | +----------------------------+--------------------------------------------------------------------------------------------------+------+--------------------+ | 能量正则化 | 在交叉熵中添加一个正则化项，旨在增加内分布和外分布样本之间的能量差距。 | 2020 | [#EnergyBasedOOD]_ | +----------------------------+--------------------------------------------------------------------------------------------------+------+--------------------+ | CAC 损失 | 来自《类锚聚类：用于训练开放集分类器的基于距离的损失》的类锚聚类损失。 | 2021 | [#CACLoss]_ | +----------------------------+--------------------------------------------------------------------------------------------------+------+--------------------+ | 熵最大化 | 语义分割中外分布样本的熵最大化和元分类。 | 2021 | [#MaxEntropy]_ | +----------------------------+--------------------------------------------------------------------------------------------------+------+--------------------+ | II 损失 | 来自《学习用于开放集识别的神经网络表示》的 II 损失函数实现。 | 2022 | [#IILoss]_ | +----------------------------+--------------------------------------------------------------------------------------------------+------+--------------------+ | MCHAD 损失 | 来自《多类超球面异常检测》论文的 MCHAD 损失实现。 | 2022 | [#MCHAD]_ | +----------------------------+--------------------------------------------------------------------------------------------------+------+--------------------+

图像数据集:

+-----------------------+-----------------------------------------------------------------------------------------------------------------+------+---------------+ | 数据集 | 描述 | 年份 | 参考文献 | +=======================+=================================================================================================================+======+===============+ | TinyImages | TinyImages 数据集通常用作辅助外分布训练数据。但不建议使用。 | 2012 | [#TinyImgs]_ | +-----------------------+-----------------------------------------------------------------------------------------------------------------+------+---------------+ | Textures | 纹理数据集，也称为 DTD，经常用作外分布样本。 | 2013 | [#Textures]_ | +-----------------------+-----------------------------------------------------------------------------------------------------------------+------+---------------+ | FoolingImages | 用于欺骗某些深度神经网络的外分布图像。 | 2014 | [#FImages]_ | +-----------------------+-----------------------------------------------------------------------------------------------------------------+------+---------------+ | TinyImages300k | TinyImages 数据集的清理版本，包含 300,000 张图像，通常用作辅助外分布训练数据。 | 2018 | [#OE]_ | +-----------------------+-----------------------------------------------------------------------------------------------------------------+------+---------------+ | MNIST-C | MNIST 的损坏版本。 | 2019 | [#MnistC]_ | +-----------------------+-----------------------------------------------------------------------------------------------------------------+------+---------------+ | CIFAR10-C | CIFAR 10 的损坏版本。 | 2019 | [#Cifar10]_ | +-----------------------+-----------------------------------------------------------------------------------------------------------------+------+---------------+ | CIFAR100-C | CIFAR 100 的损坏版本。 | 2019 | [#Cifar10]_ | +-----------------------+-----------------------------------------------------------------------------------------------------------------+------+---------------+ | ImageNet-C | ImageNet 的损坏版本。 | 2019 | [#Cifar10]_ | +-----------------------+-----------------------------------------------------------------------------------------------------------------+------+---------------+ | ImageNet - A, O, R | ImageNet 的不同离群变体。 | 2019 | [#ImageNets]_ | +-----------------------+-----------------------------------------------------------------------------------------------------------------+------+---------------+ | MVTech-AD | MVTech 异常分割数据集 | 2021 | [#MVTech]_ | +-----------------------+-----------------------------------------------------------------------------------------------------------------+------+---------------+ | StreetHazards | 异常分割数据集 | 2022 | [#StreeHaz]_ | +-----------------------+-----------------------------------------------------------------------------------------------------------------+------+---------------+ | PixMix | PixMix 图像增强方法 | 2022 | [#PixMix]_ | +-----------------------+-----------------------------------------------------------------------------------------------------------------+------+---------------+

文本数据集:

+-------------+---------------------------------------------------------------------------------------------------------------------------+------+-----------------+ | 数据集 | 描述 | 年份 | 参考文献 | +=============+===========================================================================================================================+======+=================+ | Multi30k | Multi-30k 数据集，由 Hendrycks 等人在外分布基准论文中使用。 | 2016 | [#Multi30k]_ | +-------------+---------------------------------------------------------------------------------------------------------------------------+------+-----------------+ | WikiText2 | 来自维基百科的文本，通常用作辅助外分布训练数据。 | 2016 | [#WikiText2]_ | +-------------+---------------------------------------------------------------------------------------------------------------------------+------+-----------------+ | WikiText103 | 来自维基百科的文本，通常用作辅助外分布训练数据。 | 2016 | [#WikiText2]_ | +-------------+---------------------------------------------------------------------------------------------------------------------------+------+-----------------+ | NewsGroup20 | 来自不同新闻组的文本，由 Hendrycks 等人在外分布基准论文中使用。 | | | +-------------+---------------------------------------------------------------------------------------------------------------------------+------+-----------------+

🤝 贡献 ^^^^^^^^^^^^^^^^^ 我们鼓励每个人通过添加外分布检测方法的实现、数据集等来为这个项目做出贡献，或检查现有实现中的错误。

📝 引用 ^^^^^^^^^^

pytorch-ood 在 2022 年的 CVPR 研讨会上进行了展示。如果您在科学出版物中使用它，请考虑引用：

@InProceedings{kirchheim2022pytorch,
    author    = {Kirchheim, Konstantin and Filax, Marco and Ortmeier, Frank},
    title     = {PyTorch-OOD: A Library for Out-of-Distribution Detection Based on PyTorch},
    booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) Workshops},
    month     = {June},
    year      = {2022},
    pages     = {4351-4360}
}

🛡️ ️许可证 ^^^^^^^^^^^

本代码采用 Apache 2.0 许可证。我们已确保包含或改编的任何第三方代码都具有兼容的（宽松的）许可证，如 MIT、BSD 等。据我们所知，在商业服务中使用预训练模型的法律影响尚未完全理解。

🔗 参考文献 ^^^^^^^^^^^^^^

.. [#OpenMax] Bendale, A., & Boult, T. E. (2016). Towards open set deep networks. CVPR.

.. [#ODIN] Liang, S., Li, Y., & Srikant, R. (2017). Enhancing the reliability of out-of-distribution image detection in neural networks. ICLR.

.. [#Mahalanobis] Lee, K., Lee, K., Lee, H., & Shin, J. (2018). A simple unified framework for detecting out-of-distribution samples and adversarial attacks. NeurIPS. .. [#MonteCarloDrop] Gal, Y., & Ghahramani, Z. (2016). 将丢弃法作为贝叶斯近似：表示深度学习中的模型不确定性。ICML。

.. [#Softmax] Hendrycks, D., & Gimpel, K. (2016). 检测神经网络中错误分类和分布外样本的基准。ICLR。

.. [#EnergyBasedOOD] Liu, W., Wang, X., Owens, J., & Li, Y. (2020). 基于能量的分布外检测。NeurIPS。

.. [#Objectosphere] Dhamija, A. R., Günther, M., & Boult, T. (2018). 减少网络的未知恐惧症。NeurIPS。

.. [#OE] Hendrycks, D., Mazeika, M., & Dietterich, T. (2018). 利用异常暴露进行深度异常检测。ICLR。

.. [#SVDD] Ruff, L., 等 (2018). 深度单类分类。ICML。

.. [#IILoss] Hassen, M., & Chan, P. K. (2020). 学习用于开放集识别的神经网络表示。SDM。

.. [#CACLoss] Miller, D., Sunderhauf, N., Milford, M., & Dayoub, F. (2021). 类锚聚类：一种用于基于距离的开放集识别的损失函数。WACV。

.. [#CenterLoss] Wen, Y., Zhang, K., Li, Z., & Qiao, Y. (2016). 一种用于深度人脸识别的判别性特征学习方法。ECCV。

.. [#Cifar10] Hendrycks, D., & Dietterich, T. (2019). 对常见腐败和扰动的神经网络鲁棒性基准测试。ICLR。

.. [#FImages] Nguyen, A., Yosinski, J., & Clune, J. (2015). 深度神经网络很容易被愚弄：对不可识别图像的高置信度预测。CVPR。

.. [#ImageNets] Hendrycks, D., Zhao, K., Basart, S., Steinhardt, J., & Song, D. (2021). 自然对抗样本。CVPR。

.. [#MnistC] Mu, N., & Gilmer, J. (2019). MNIST-C：计算机视觉的鲁棒性基准。ICLR研讨会。

.. [#StreeHaz] Hendrycks, D., Basart, S., Mazeika, M., Mostajabi, M., Steinhardt, J., & Song, D. (2022). 扩展现实世界设置的分布外检测。ICML。

.. [#Textures] Cimpoi, M., Maji, S., Kokkinos, I., Mohamed, S., & Vedaldi, A. (2014). 描述野外纹理。CVPR。

.. [#TinyImgs] Torralba, A., Fergus, R., & Freeman, W. T. (2007). 8000万张小图像：用于非参数对象和场景识别的大型数据集。IEEE模式分析与机器学习交易。

.. [#Multi30k] Elliott, D., Frank, S., Sima'an, K., & Specia, L. (2016). Multi30k：多语言英德图像描述。第五届视觉与语言研讨会论文集。

.. [#WikiText2] Merity, S., Xiong, C., Bradbury, J., & Socher, R. (2016). 指针哨兵混合模型。ArXiv <https://arxiv.org/abs/1609.07843>_

.. [#MVTech] Bergmann, P., Batzner, K., 等 (2021) MVTec异常检测数据集：用于无监督异常检测的综合真实世界数据集。IJCV。

.. [#MCHAD] Kirchheim, K., Filax, M., Ortmeier, F. (2022) 多类超球面异常检测。ICPR

.. [#ViM] Wang, H., Li, Z., Feng, L., Zhang, W. (2022) ViM：基于虚拟对数匹配的分布外检测。CVPR

.. [#PixMix] Hendrycks, D, Zou, A, 等 (2022) PixMix：梦幻般的图片全面改善安全措施。CVPR

.. [#MaxEntropy] Chan R, 等 (2021) 语义分割中分布外检测的熵最大化和元分类。CVPR