Captum是为PyTorch设计的模型可解释性库,提供集成梯度等多种算法,帮助理解模型预测依据和学习过程。它支持对抗攻击和输入扰动功能,可生成反事实解释。适用于模型开发者和可解释性研究人员,有助于改进模型性能和进行解释性研究。

ferret是一个Python库，集成了Transformer模型的可解释性技术。它提供四种基于Token级特征归因的解释方法和六种评估协议，与transformers库无缝对接。通过简洁的API、可视化工具和数据集评估功能，ferret帮助用户深入理解和评估文本模型的决策过程。