#可解释性
interpret
InterpretML 是集合先进机器学习解释技术的开源工具包，使用户能训练可解释模型及分析黑箱系统。工具包支持模型调试、特征工程、公平性检测和人工智能协作等，帮助用户全方位理解模型行为并确保法规与高风险应用的合规性。通过实例展示，InterpretML 不仅增强了模型透明度，也提高了其可信度。
interpret-community
Interpret-Community是扩展Interpret库的开源项目，为表格数据模型提供增强的可解释性技术。它集成了SHAP、LIME等多种解释器，适用于各类机器学习模型。项目还包含交互式可视化工具，便于分析数据与模型。该项目优化了可解释性技术，使其能够处理实际数据集和工作流程，致力于增强机器学习模型的可解释性和透明度。
gam-changer
GAM Changer是一个开源的可视化工具，用于编辑和优化广义加性模型(GAMs)。该工具提供直观的界面，支持在计算笔记本中使用，可修改模型特征并保存编辑历史。它旨在提高模型的可解释性和准确性，促进机器学习与人类知识的结合。GAM Changer源于多家研究机构的合作，包括微软研究院、纽约大学朗格尼健康中心等。
pykan
pykan项目实现了Kolmogorov-Arnold网络(KAN)，这是一种在边缘应用激活函数的创新神经网络架构。KAN在多项任务中表现优于多层感知器(MLP)，提高了模型准确性、参数效率和可解释性。项目提供详细教程和示例，涵盖从函数拟合到PDE求解的应用，为科学发现和数学定律探索开辟新途径。
Automatic-Circuit-Discovery
Automatic Circuit DisCovery (ACDC)项目提供了一套自动化工具，用于探索神经网络内部机制，提高模型可解释性。项目包含NeurIPS 2023聚焦论文的配套代码，实现了ACDC算法、计算图编辑功能和可编辑计算图的底层实现。基于TransformerLens库开发，支持Python 3.8+环境，并提供完整的安装和使用文档。该工具为研究人员提供了深入分析神经网络内部结构的新方法。
awesome-llm-interpretability
该项目汇集了大语言模型(LLM)可解释性领域的核心资源,包括解释性工具、学术论文、行业报告和深度分析文章。内容涵盖神经元分析、注意力机制、模型行为等多个维度,旨在帮助研究人员和开发者深入理解LLM内部原理,提升模型透明度。项目为LLM可解释性研究提供了全面的知识库和工具集。
Captum
Captum是PyTorch生态系统中的模型可解释性工具库，支持视觉、文本等多模态模型解释。它与PyTorch模型高度兼容，仅需少量修改即可集成。作为开源通用库，Captum为研究人员提供了实现和评估新算法的平台。通过集成梯度等多种技术，Captum帮助用户洞察模型决策过程，提高AI系统的透明度和可信度。适用于需要深入理解和优化机器学习模型的开发者和研究者。
MentalLLaMA
MentalLLaMA项目开发了基于IMHI数据集的开源指令型大语言模型,用于社交媒体数据的心理健康分析。该模型能生成高质量解释,提高分析结果的可解释性。项目还提供了涵盖8个任务和10个测试集的全面评估基准。MentalLLaMA为心理健康监测和研究领域带来新的分析工具和方法。
imodelsX
imodelsX是一个与Scikit-learn兼容的Python库，专注于文本模型和数据的解释、预测和优化。该库集成了多种可解释的建模技术，包括Tree-Prompt、iPrompt和Aug-Linear等。imodelsX还提供LLM封装器和数据集封装器等实用工具，简化文本数据处理流程。通过支持多种解释方法，imodelsX能够生成自然语言解释，并为用户提供易于实现的基线模型。