Zennit

Zennit-Logo

Zennit（Zennit explains neural networks in torch）是一个使用 Pytorch 的 Python 高级框架，用于解释/探索神经网络。其设计理念旨在为研究中应用基于规则的归因方法提供高度可定制性和集成性的标准化解决方案，重点关注分层相关性传播（LRP）。Zennit 严格要求模型使用 Pytorch 的 torch.nn.Module 结构（包括激活函数）。

Zennit 目前正在积极开发中，但应该已经相当稳定。

如果您发现 Zennit 对您的研究有用，请考虑引用我们相关的论文：

@article{anders2021software,
      author  = {Anders, Christopher J. and
                 Neumann, David and
                 Samek, Wojciech and
                 Müller, Klaus-Robert and
                 Lapuschkin, Sebastian},
      title   = {Software for Dataset-wide XAI: From Local Explanations to Global Insights with {Zennit}, {CoRelAy}, and {ViRelAy}},
      journal = {CoRR},
      volume  = {abs/2106.13200},
      year    = {2021},
}

文档

最新文档托管在 zennit.readthedocs.io。

安装

要直接从 PyPI 使用 pip 安装，请使用：

$ pip install zennit

或者，从手动克隆的仓库安装以尝试示例：

$ git clone https://github.com/chr5tphr/zennit.git
$ pip install ./zennit

使用

Zennit 的核心是在 Pytorch 的 Module 级别注册钩子，以修改反向传播过程，产生基于规则的归因（如 LRP），而不是通常的梯度。所有规则都作为钩子实现（zennit/rules.py），大多数使用 LRP 基础 BasicHook（zennit/core.py）。

Composites（zennit/composites.py）是为正确的层选择正确钩子的方法。除了抽象的 NameMapComposite（根据名称为层分配钩子）和 LayerMapComposite（根据类型为层分配钩子）外，还有明确的 Composites，如 EpsilonGammaBox（输入使用 ZBox，密集层使用 Epsilon，卷积层使用 Gamma）或 EpsilonPlus（密集层使用 Epsilon，卷积层使用 ZPlus）。所有 composites 都可以直接从 zennit.composites 导入，或使用它们的蛇形命名作为 zennit.composites.COMPOSITES 的键。

Canonizers（zennit/canonizers.py）临时将模型转换为规范形式（如果需要），例如 SequentialMergeBatchNorm 自动检测并合并顺序网络中批量归一化层后跟的线性层，或 AttributeCanonizer 临时覆盖适用模块的属性，例如处理 ResNet-Bottleneck 模块中的残差连接。

Attributors（zennit/attribution.py）直接执行应用某些归因方法所需的步骤，如简单的 Gradient、SmoothGrad 或 Occlusion。可以传递可选的 Composite，在 Attributor 执行期间应用它来计算修改后的梯度或混合方法。

使用所有这些组件，可以使用以下代码计算带有批量归一化层的 VGG16 相对于标签 0 的 LRP 类归因：

import torch
from torchvision.models import vgg16_bn

from zennit.composites import EpsilonGammaBox
from zennit.canonizers import SequentialMergeBatchNorm
from zennit.attribution import Gradient


data = torch.randn(1, 3, 224, 224)
model = vgg16_bn()

canonizers = [SequentialMergeBatchNorm()]
composite = EpsilonGammaBox(low=-3., high=3., canonizers=canonizers)

with Gradient(model=model, composite=composite) as attributor:
    out, relevance = attributor(data, torch.eye(1000)[[0]])

使用示例脚本的类似设置会产生以下归因热图： beacon heatmaps

有关更多详细信息和示例，请查看我们的文档。