Project Icon

interpret-community

强化可解释AI的开源工具库

Interpret-Community是扩展Interpret库的开源项目,为表格数据模型提供增强的可解释性技术。它集成了SHAP、LIME等多种解释器,适用于各类机器学习模型。项目还包含交互式可视化工具,便于分析数据与模型。该项目优化了可解释性技术,使其能够处理实际数据集和工作流程,致力于增强机器学习模型的可解释性和透明度。

PyPI MIT 许可证 版本

构建状态

Interpret Community SDK

Interpret-Community 是一个实验性仓库,扩展了 Interpret,增加了额外的可解释性技术和实用功能,以处理真实世界数据集和解释表格数据训练模型的工作流程。该仓库包含 Interpret-Community SDK 和展示其用法的 Jupyter 笔记本示例。

目录

Interpret-Community 概述

Interpret-Community 扩展了 Interpret 仓库,并整合了社区开发的进一步实验性可解释性技术和功能,旨在为真实世界场景提供可解释性。Interpret-Community 允许添加新的实验性技术(或功能)并进行比较分析以评估它们。

Interpret-Community

  1. 积极整合创新的实验性可解释性技术,并允许研究人员和数据科学家进一步扩展
  2. 应用优化以使其能够在大规模真实世界数据集上运行可解释性技术
  3. 提供改进,如"反向特征工程管道"的能力,以原始特征而非工程特征的形式提供模型洞察
  4. 提供交互式和探索性可视化,使数据科学家能够对其数据获得有意义的洞察

安装

可以从 pypi 安装该包:

      pip install interpret-community

有关更多安装信息,请参阅网站文档:https://interpret-community.readthedocs.io/en/latest/overview.html#getting-started

文档网站

欲了解更多信息,请访问文档网站,其中还包括由 sphinx 生成的详细 API 文档: https://interpret-community.readthedocs.io/en/latest/index.html

支持的模型

该 API 支持在 Python numpy.ndarraypandas.DataFramescipy.sparse.csr_matrix 格式的数据集上训练的模型。

解释函数接受模型和管道作为输入,只要模型或管道实现了符合 Scikit 约定的 predictpredict_proba 函数。如果不兼容,您可以将模型的预测函数包装到一个将输出转换为支持格式(Scikit 的 predict 或 predict_proba)的包装函数中,并将该包装函数传递给您选择的可解释性技术。

如果提供了管道脚本,解释函数假定运行的管道脚本返回预测结果。该仓库还支持通过 PyTorchTensorFlowKeras 深度学习框架训练的模型。

支持的解释器

以下是社区仓库中可用的解释器列表:

可解释性技术描述类型
SHAP Kernel 解释器SHAP 的 Kernel 解释器使用特别加权的局部线性回归来估计任何模型的 SHAP 值。模型无关
GPU SHAP Kernel 解释器GPU Kernel 解释器使用 cuML 的 GPU 加速版 SHAP Kernel 解释器来估计任何模型的 SHAP 值。其主要优势是为快速 GPU 模型(如 cuML 中的模型)提供加速。但它也可以用于基于 CPU 的模型,尽管由于数据传输和模型本身的速度,加速效果可能有限。模型无关
SHAP Tree 解释器SHAP 的 Tree 解释器,专注于树和树集成的多项式时间快速 SHAP 值估计算法。特定模型
SHAP Deep 解释器基于 SHAP 的解释,Deep 解释器"是深度学习模型中 SHAP 值的高速近似算法,基于 SHAP NIPS 论文 中描述的与 DeepLIFT 的联系。支持 TensorFlow 模型和使用 TensorFlow 后端的 Keras 模型(也有对 PyTorch 的初步支持)"。特定模型
SHAP Linear 解释器SHAP 的 Linear 解释器计算线性模型的 SHAP 值,可选择考虑特征间相关性。特定模型
Mimic 解释器(全局代理)Mimic 解释器基于训练全局代理模型以模仿黑盒模型的思想。全局代理模型是一种本质上可解释的模型,训练目的是尽可能准确地近似任何黑盒模型的预测。数据科学家可以解释代理模型以得出关于黑盒模型的结论。您可以使用以下可解释模型之一作为代理模型:LightGBM (LGBMExplainableModel)、线性回归 (LinearExplainableModel)、随机梯度下降可解释模型 (SGDExplainableModel) 和决策树 (DecisionTreeExplainableModel)。模型无关
排列特征重要性解释器 (PFI)排列特征重要性是一种用于解释分类和回归模型的技术,灵感来自 Breiman 的随机森林论文(参见第 10 节)。其基本原理是对整个数据集一次随机打乱一个特征的数据,并计算感兴趣的性能指标变化程度。变化越大,该特征越重要。PFI 可以解释任何底层模型的整体行为,但不解释个别预测。模型无关
LIME 解释器局部可解释模型无关解释(LIME)是模型行为的局部线性近似。该解释器用统一的 API 和附加功能包装了 LIME 表格解释器模型无关
除了上述描述的可解释性技术外,Interpret-Community 还支持另一个基于 SHAP 的解释器,称为 TabularExplainer。根据模型的不同,TabularExplainer 会使用以下支持的 SHAP 解释器之一:
原始模型调用的解释器
基于树的模型SHAP TreeExplainer
深度神经网络模型SHAP DeepExplainer
线性模型SHAP LinearExplainer
以上都不是SHAP KernelExplainer 或 GPUKernelExplainer

使用 Interpret-Community

interpret-community 中的解释器有一个通用的 API,您首先从模型或预测函数构造解释器:

from interpret.ext.blackbox import TabularExplainer

# "features" 和 "classes" 字段是可选的
explainer = TabularExplainer(model,
                             x_train,
                             features=breast_cancer_data.feature_names,
                             classes=classes)

然后可以对评估样本计算解释:

# 您可以在这里使用训练数据或测试数据
global_explanation = explainer.explain_global(x_train)

# 解释测试集中的前五个数据点
local_explanation = explainer.explain_local(x_test[0:5])

有关更多使用信息,请参阅 使用 Interpret-Community

可视化

安装 raiwidgets 包,ExplanationDashboard 已移至 responsible-ai-toolbox 仓库:

pip install raiwidgets

在您的笔记本中加载可视化仪表板以理解和解释您的模型:

from raiwidgets import ExplanationDashboard

ExplanationDashboard(global_explanation, model, dataset=x_test, trueY=y_test)

加载可视化仪表板后,您可以通过四个标签视图调查数据集和训练模型的不同方面:

  • 模型性能
  • 数据探索器
  • 聚合特征重要性
  • 个体特征重要性和假设分析

有关可视化的更多信息,请参阅 可视化

贡献

本项目欢迎贡献和建议。大多数贡献都要求您同意 Github 开发者原产地证书(DCO)。 详情请访问 https://probot.github.io/apps/dco/。

开发者原产地证书(DCO)是贡献者证明他们编写或以其他方式有权提交他们贡献给项目的代码的一种轻量级方式。以下是 DCO 的全文,为便于阅读已重新格式化:

通过对本项目做出贡献,我证明:
(a) 该贡献全部或部分由我创作,我有权根据文件中指明的开源许可证提交它;或
(b) 该贡献基于先前的工作,据我所知,该工作受适当的开源许可证保护,我有权根据该许可证提交该工作及修改(无论是全部还是部分由我创作),并根据相同的开源许可证(除非我被允许根据不同的许可证提交)提交,如文件中所示;或
(c) 该贡献直接由证明 (a)、(b) 或 (c) 的其他人提供给我,我未对其进行修改。
(d) 我理解并同意本项目和贡献是公开的,并且贡献的记录(包括我随之提交的所有个人信息,包括我的签名)将被无限期保存,并可能与本项目或相关开源许可证一致地重新分发。
贡献者通过在提交消息中添加 Signed-off-by 行来签署他们遵守这些要求。
这是我的提交消息

Signed-off-by: Random J Developer <random@developer.example.org>
Git 甚至有一个 -s 命令行选项,可以自动将此附加到您的提交消息中:
$ git commit -s -m '这是我的提交消息'

当您提交拉取请求时,DCO 机器人将自动确定您是否需要认证。 只需按照机器人提供的说明操作即可。

行为准则

本项目已采用 GitHub 社区准则

报告安全问题

安全问题和漏洞应该通过电子邮件私下报告给微软安全响应中心(MSRC),邮箱地址是 secure@microsoft.com。您应该在 24 小时内收到回复。如果由于某种原因没有收到回复,请通过电子邮件跟进,以确保我们收到了您的原始消息。更多信息,包括 MSRC PGP 密钥,可以在 安全技术中心 找到。

项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号