Logo
Project Icon

captum

PyTorch模型可解释性和理解的开源库

Captum模型可解释性PyTorch特征归因神经网络分析Github开源项目

Captum是为PyTorch设计的模型可解释性库,提供集成梯度等多种算法,帮助理解模型预测依据和学习过程。它支持对抗攻击和输入扰动功能,可生成反事实解释。适用于模型开发者和可解释性研究人员,有助于改进模型性能和进行解释性研究。

访问官网访问官网GithubGithub文档文档论文论文
介绍相关项目

Captum标志

GitHub - 许可证 Conda PyPI Conda - 平台 Conda（仅限频道） Conda配方 文档 - GitHub.io

Captum是一个用于PyTorch的模型可解释性和理解库。Captum在拉丁语中意为理解，它包含了针对PyTorch模型的集成梯度、显著性图、平滑梯度、变分梯度等通用实现。它可以快速集成到使用特定领域库（如torchvision、torchtext等）构建的模型中。

Captum目前处于测试阶段，正在积极开发中！

关于Captum

随着模型复杂度的增加和由此导致的透明度缺失，模型可解释性方法变得越来越重要。模型理解既是一个活跃的研究领域，也是各行业使用机器学习的实际应用关注点。Captum提供了最先进的算法，如集成梯度、概念激活向量测试（TCAV）、TracIn影响函数等，为研究人员和开发人员提供了一种简单的方法来理解哪些特征、训练样本或概念对模型的预测有贡献，以及模型学习的内容和方式。此外，Captum还提供了对抗性攻击和最小输入扰动功能，可用于生成反事实解释和对抗性扰动。

Captum帮助机器学习研究人员更轻松地实现可以与PyTorch模型交互的可解释性算法。Captum还允许研究人员快速将他们的工作与库中现有的其他算法进行基准测试。

归因算法概览

目标受众

Captum的主要受众是希望改进模型并了解哪些概念、特征或训练样本重要的模型开发人员，以及专注于识别能更好地解释多种模型类型的算法的可解释性研究人员。

Captum还可以被在生产中使用训练模型的应用工程师使用。Captum通过改进的模型可解释性提供了更简单的故障排除，并有潜力为最终用户提供更好的解释，说明为什么他们会看到特定内容，比如电影推荐。

安装

安装要求

  • Python >= 3.8
  • PyTorch >= 1.10
安装最新版本

Captum的最新版本可以通过Anaconda（推荐）或pip轻松安装。

使用conda

你可以从以下任何支持的conda渠道安装captum：

  • 渠道：pytorch

    conda install captum -c pytorch

  • 渠道：conda-forge

    conda install captum -c conda-forge

使用pip

pip install captum

手动/开发安装

如果你想尝试我们最新的功能（并且不介意偶尔遇到一些bug），你可以直接从GitHub安装最新的主分支。对于基本安装，运行：

git clone https://github.com/pytorch/captum.git
cd captum
pip install -e .

要自定义安装，你还可以运行以下变体：

  • pip install -e .[insights]：同时安装运行Captum Insights所需的所有包。
  • pip install -e .[dev]：同时安装开发所需的所有工具（测试、代码检查、文档构建；详见下方贡献）。
  • pip install -e .[tutorials]：同时安装运行教程笔记本所需的所有包。

要从手动安装执行单元测试，运行：

# 运行单个单元测试
python -m unittest -v tests.attr.test_saliency
# 运行所有单元测试
pytest -ra

入门

Captum通过探索对模型预测有贡献的特征，帮助你解释和理解PyTorch模型的预测。 它还有助于理解哪些神经元和层对模型预测很重要。

让我们将其中一些算法应用于我们为演示目的创建的玩具模型。 为简单起见，我们将使用以下架构，但用户可以使用他们选择的任何PyTorch模型。

import numpy as np

import torch
import torch.nn as nn

from captum.attr import (
    GradientShap,
    DeepLift,
    DeepLiftShap,
    IntegratedGradients,
    LayerConductance,
    NeuronConductance,
    NoiseTunnel,
)

class ToyModel(nn.Module):
    def __init__(self):
        super().__init__()
        self.lin1 = nn.Linear(3, 3)
        self.relu = nn.ReLU()
        self.lin2 = nn.Linear(3, 2)

        # 初始化权重和偏置
        self.lin1.weight = nn.Parameter(torch.arange(-4.0, 5.0).view(3, 3))
        self.lin1.bias = nn.Parameter(torch.zeros(1,3))
        self.lin2.weight = nn.Parameter(torch.arange(-3.0, 3.0).view(2, 3))
        self.lin2.bias = nn.Parameter(torch.ones(1,2))
def forward(self, input):
    return self.lin2(self.relu(self.lin1(input)))

让我们创建一个模型实例并将其设置为评估模式。

model = ToyModel()
model.eval()

接下来，我们需要定义简单的输入和基线张量。 基线属于输入空间，通常不携带预测信号。 零张量可以作为许多任务的基线。 一些可解释性算法，如IntegratedGradients、Deeplift和GradientShap，旨在将输入和基线之间的变化归因于神经网络输出的预测类别或值。

我们将在上述网络上应用模型可解释性算法，以了解个别神经元/层的重要性以及在最终预测中起重要作用的输入部分。

为了使计算具有确定性，让我们固定随机种子。

torch.manual_seed(123)
np.random.seed(123)

让我们定义我们的输入和基线张量。基线在一些可解释性算法中使用，如IntegratedGradients、DeepLift、GradientShap、NeuronConductance、LayerConductance、InternalInfluence和NeuronIntegratedGradients。

input = torch.rand(2, 3)
baseline = torch.zeros(2, 3)

接下来，我们将使用IntegratedGradients算法为每个输入特征分配归因分数，以针对第一个目标输出。

ig = IntegratedGradients(model)
attributions, delta = ig.attribute(input, baseline, target=0, return_convergence_delta=True)
print('IG Attributions:', attributions)
print('Convergence Delta:', delta)

输出：

IG Attributions: tensor([[-0.5922, -1.5497, -1.0067],
                         [ 0.0000, -0.2219, -5.1991]])
Convergence Delta: tensor([2.3842e-07, -4.7684e-07])

该算法为每个输入元素输出一个归因分数和一个收敛delta。收敛delta的绝对值越小，近似就越好。如果我们选择不返回delta，我们可以简单地不提供return_convergence_delta输入参数。返回的delta的绝对值可以被解释为每个输入样本的近似误差。它也可以作为给定输入和基线的积分近似准确度的代理。如果近似误差很大，我们可以通过将n_steps设置为更大的值来尝试更多的积分近似步骤。并非所有算法都返回近似误差。但那些返回的算法都是基于算法的完整性属性来计算的。

正的归因分数意味着该特定位置的输入对最终预测有正面贡献，负的则意味着相反。归因分数的大小表示贡献的强度。零归因分数意味着该特定特征没有贡献。

同样，我们可以将GradientShap、DeepLift和其他归因算法应用于模型。

GradientShap首先从基线分布中选择一个随机基线，然后对每个输入示例添加标准差为0.09的高斯噪声n_samples次。之后，它在每个示例-基线对之间选择一个随机点，并计算关于目标类（在本例中为target=0）的梯度。最终的归因是梯度 * (输入 - 基线)的平均值。

gs = GradientShap(model)

# 我们定义一个基线分布，并从该分布中抽取`n_samples`个样本，以估计所有基线的梯度期望
baseline_dist = torch.randn(10, 3) * 0.001
attributions, delta = gs.attribute(input, stdevs=0.09, n_samples=4, baselines=baseline_dist,
                                   target=0, return_convergence_delta=True)
print('GradientShap Attributions:', attributions)
print('Convergence Delta:', delta)

输出

GradientShap Attributions: tensor([[-0.1542, -1.6229, -1.5835],
                                   [-0.3916, -0.2836, -4.6851]])
Convergence Delta: tensor([ 0.0000, -0.0005, -0.0029, -0.0084, -0.0087, -0.0405,  0.0000, -0.0084])

Delta是为每个n_samples * input.shape[0]示例计算的。用户可以，例如，对它们取平均值：

deltas_per_example = torch.mean(delta.reshape(input.shape[0], -1), dim=1)

以获得每个示例的平均delta。

以下是如何在上述ToyModel上应用DeepLift和DeepLiftShap的示例。DeepLift的当前实现仅支持Rescale规则。有关替代实现的更多详细信息，请参阅DeepLift论文。

dl = DeepLift(model)
attributions, delta = dl.attribute(input, baseline, target=0, return_convergence_delta=True)
print('DeepLift Attributions:', attributions)
print('Convergence Delta:', delta)

输出

DeepLift Attributions: tensor([[-0.5922, -1.5497, -1.0067],
                               [ 0.0000, -0.2219, -5.1991])
Convergence Delta: tensor([0., 0.])

DeepLift为输入分配的归因分数与IntegratedGradients类似，但执行时间较短。关于DeepLift需要记住的另一个重要事项是，它目前不支持所有非线性激活类型。有关当前实现限制的更多详细信息，请参阅DeepLift论文。

与集成梯度类似，DeepLift为每个输入示例返回一个收敛delta分数。近似误差则是收敛delta的绝对值，可以作为算法近似准确度的代理。

现在让我们看看DeepLiftShap。与GradientShap类似，DeepLiftShap使用基线分布。在下面的示例中，我们使用与GradientShap相同的基线分布。

dl = DeepLiftShap(model)
attributions, delta = dl.attribute(input, baseline_dist, target=0, return_convergence_delta=True)
print('DeepLiftSHAP 归因:', attributions)
print('收敛误差:', delta)

输出

DeepLiftSHAP 归因: tensor([[-5.9169e-01, -1.5491e+00, -1.0076e+00],
                                   [-4.7101e-03, -2.2300e-01, -5.1926e+00]], grad_fn=<MeanBackward1>)
收敛误差: tensor([-4.6120e-03, -1.6267e-03, -5.1045e-04, -1.4184e-03, -6.8886e-03,
                           -2.2224e-02,  0.0000e+00, -2.8790e-02, -4.1285e-03, -2.7295e-02,
                           -3.2349e-03, -1.6265e-03, -4.7684e-07, -1.4191e-03, -6.8889e-03,
                           -2.2224e-02,  0.0000e+00, -2.4792e-02, -4.1289e-03, -2.7296e-02])

DeepLiftShap 使用 DeepLift 计算每个输入-基线对的归因分数，并对所有基线的每个输入取平均值。

它为每个输入示例-基线对计算增量，因此产生 input.shape[0] * baseline.shape[0] 个增量值。

与 GradientShap 类似，为了计算基于示例的增量，我们可以对每个示例取平均值：

deltas_per_example = torch.mean(delta.reshape(input.shape[0], -1), dim=1)

为了平滑并提高归因质量，我们可以通过 NoiseTunnel 运行 IntegratedGradients 和其他归因方法。 NoiseTunnel 允许我们使用 SmoothGrad、SmoothGrad_Sq 和 VarGrad 技术来平滑归因， 方法是聚合多个通过添加高斯噪声生成的噪声样本的归因。

以下是如何将 NoiseTunnel 与 IntegratedGradients 一起使用的示例。

ig = IntegratedGradients(model)
nt = NoiseTunnel(ig)
attributions, delta = nt.attribute(input, nt_type='smoothgrad', stdevs=0.02, nt_samples=4,
      baselines=baseline, target=0, return_convergence_delta=True)
print('IG + SmoothGrad 归因:', attributions)
print('收敛误差:', delta)

输出

IG + SmoothGrad 归因: tensor([[-0.4574, -1.5493, -1.0893],
                                      [ 0.0000, -0.2647, -5.1619]])
收敛误差: tensor([ 0.0000e+00,  2.3842e-07,  0.0000e+00, -2.3842e-07,  0.0000e+00,
        -4.7684e-07,  0.0000e+00, -4.7684e-07])

delta 张量中的元素数量等于：nt_samples * input.shape[0] 为了获得每个示例的增量，我们可以例如对它们取平均值：

deltas_per_example = torch.mean(delta.reshape(input.shape[0], -1), dim=1)

让我们深入了解我们网络的内部，理解哪些层和神经元对预测很重要。

我们将从 NeuronConductance 开始。NeuronConductance 帮助我们识别对给定层中特定神经元 重要的输入特征。它通过链式法则分解积分梯度的计算，将神经元的重要性定义为输出相对于 神经元的导数与神经元相对于模型输入的导数的路径积分。

在这种情况下，我们选择分析线性层中的第一个神经元。

nc = NeuronConductance(model, model.lin1)
attributions = nc.attribute(input, neuron_selector=1, target=0)
print('神经元归因:', attributions)

输出

神经元归因: tensor([[ 0.0000,  0.0000,  0.0000],
                             [ 1.3358,  0.0000, -1.6811]])

层导电性显示了神经元对给定输入的层的重要性。 它是隐藏层路径积分梯度的扩展，同样具有完整性属性。

它不将贡献分数归因于输入特征，而是显示所选层中每个神经元的重要性。

lc = LayerConductance(model, model.lin1)
attributions, delta = lc.attribute(input, baselines=baseline, target=0, return_convergence_delta=True)
print('层归因:', attributions)
print('收敛误差:', delta)

输出

层归因: tensor([[ 0.0000,  0.0000, -3.0856],
                            [ 0.0000, -0.3488, -4.9638]], grad_fn=<SumBackward1>)
收敛误差: tensor([0.0630, 0.1084])

与其他返回收敛误差的归因算法类似，LayerConductance 返回每个示例的误差。 近似误差是收敛误差的绝对值，可以作为给定输入和基线的积分近似准确度的代理。

有关支持的算法列表以及如何在不同类型的模型上应用 Captum 的更多详细信息， 可以在我们的教程中找到。

Captum Insights

Captum 提供了一个名为 Insights 的 Web 界面，可以轻松可视化并访问多种可解释性算法。

要通过 Captum Insights 分析 CIFAR10 上的示例模型，请运行

python -m captum.insights.example

然后在浏览器中打开输出中指定的 URL。

Captum Insights 截图

要构建 Insights，你需要 Node >= 8.x 和 Yarn >= 1.5。

要在 conda 环境中从检出构建并启动，请运行

conda install -c conda-forge yarn
BUILD_INSIGHTS=1 python setup.py develop
python captum/insights/example.py

Captum Insights Jupyter 小部件

Captum Insights 还有一个 Jupyter 小部件，提供与网页应用相同的用户界面。 要安装并启用该小部件，请运行

jupyter nbextension install --py --symlink --sys-prefix captum.insights.attr_vis.widget
jupyter nbextension enable captum.insights.attr_vis.widget --py --sys-prefix

要在 conda 环境中从检出构建小部件，请运行

conda install -c conda-forge yarn
BUILD_INSIGHTS=1 python setup.py develop

常见问题

如果您对使用 Captum 方法有疑问，请查看此常见问题解答，其中解答了许多常见问题。

贡献

有关如何提供帮助，请参阅贡献指南文件。

演讲和论文

NeurIPS 2019: 我们演讲的幻灯片可以在这里找到

KDD 2020: 我们在 KDD 2020 教程中的演讲幻灯片可以在这里找到。 您可以在这里观看录制的演讲

GTC 2020: 打开黑匣子：使用 Captum 和 PyTorch 进行模型理解。 您可以在这里观看录制的演讲

XAI 峰会 2020: 使用 Captum 和 Fiddler 通过可解释 AI 改进模型理解。 您可以在这里观看录制的演讲

PyTorch 开发者日 2020 模型可解释性。 您可以在这里观看录制的演讲

NAACL 2021 深度 NLP 模型中细粒度解释和因果分析教程。 您可以在这里观看录制的演讲

ICLR 2021 负责任 AI 研讨会:

  • 关于 Captum 库的论文
  • 关于调查显著性图完整性检查的论文

里昂大学医学影像暑期学校。模型可解释性课程（视频链接） https://www.youtube.com/watch?v=vn-jLzY67V0

算法参考

关于上述归因算法的更多详细信息及其优缺点可以在我们的网站上找到。

许可证

Captum采用BSD许可证，详见LICENSE文件。

相关项目
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

Project Cover

稿定AI

稿定设计 是一个多功能的在线设计和创意平台，提供广泛的设计工具和资源，以满足不同用户的需求。从专业的图形设计师到普通用户，无论是进行图片处理、智能抠图、H5页面制作还是视频剪辑，稿定设计都能提供简单、高效的解决方案。该平台以其用户友好的界面和强大的功能集合，帮助用户轻松实现创意设计。

使用协议隐私政策广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号