#可解释性

InterpretML 是集合先进机器学习解释技术的开源工具包，使用户能训练可解释模型及分析黑箱系统。工具包支持模型调试、特征工程、公平性检测和人工智能协作等，帮助用户全方位理解模型行为并确保法规与高风险应用的合规性。通过实例展示，InterpretML 不仅增强了模型透明度，也提高了其可信度。

Interpret-Community是扩展Interpret库的开源项目，为表格数据模型提供增强的可解释性技术。它集成了SHAP、LIME等多种解释器，适用于各类机器学习模型。项目还包含交互式可视化工具，便于分析数据与模型。该项目优化了可解释性技术，使其能够处理实际数据集和工作流程，致力于增强机器学习模型的可解释性和透明度。

GAM Changer是一个开源的可视化工具，用于编辑和优化广义加性模型(GAMs)。该工具提供直观的界面，支持在计算笔记本中使用，可修改模型特征并保存编辑历史。它旨在提高模型的可解释性和准确性，促进机器学习与人类知识的结合。GAM Changer源于多家研究机构的合作，包括微软研究院、纽约大学朗格尼健康中心等。

pykan项目实现了Kolmogorov-Arnold网络(KAN)，这是一种在边缘应用激活函数的创新神经网络架构。KAN在多项任务中表现优于多层感知器(MLP)，提高了模型准确性、参数效率和可解释性。项目提供详细教程和示例，涵盖从函数拟合到PDE求解的应用，为科学发现和数学定律探索开辟新途径。

Automatic Circuit DisCovery (ACDC)项目提供了一套自动化工具，用于探索神经网络内部机制，提高模型可解释性。项目包含NeurIPS 2023聚焦论文的配套代码，实现了ACDC算法、计算图编辑功能和可编辑计算图的底层实现。基于TransformerLens库开发，支持Python 3.8+环境，并提供完整的安装和使用文档。该工具为研究人员提供了深入分析神经网络内部结构的新方法。

该项目汇集了大语言模型(LLM)可解释性领域的核心资源,包括解释性工具、学术论文、行业报告和深度分析文章。内容涵盖神经元分析、注意力机制、模型行为等多个维度,旨在帮助研究人员和开发者深入理解LLM内部原理,提升模型透明度。项目为LLM可解释性研究提供了全面的知识库和工具集。

Captum是PyTorch生态系统中的模型可解释性工具库，支持视觉、文本等多模态模型解释。它与PyTorch模型高度兼容，仅需少量修改即可集成。作为开源通用库，Captum为研究人员提供了实现和评估新算法的平台。通过集成梯度等多种技术，Captum帮助用户洞察模型决策过程，提高AI系统的透明度和可信度。适用于需要深入理解和优化机器学习模型的开发者和研究者。

MentalLLaMA项目开发了基于IMHI数据集的开源指令型大语言模型,用于社交媒体数据的心理健康分析。该模型能生成高质量解释,提高分析结果的可解释性。项目还提供了涵盖8个任务和10个测试集的全面评估基准。MentalLLaMA为心理健康监测和研究领域带来新的分析工具和方法。

imodelsX是一个与Scikit-learn兼容的Python库，专注于文本模型和数据的解释、预测和优化。该库集成了多种可解释的建模技术，包括Tree-Prompt、iPrompt和Aug-Linear等。imodelsX还提供LLM封装器和数据集封装器等实用工具，简化文本数据处理流程。通过支持多种解释方法，imodelsX能够生成自然语言解释，并为用户提供易于实现的基线模型。

ferret是一个Python库，集成了Transformer模型的可解释性技术。它提供四种基于Token级特征归因的解释方法和六种评估协议，与transformers库无缝对接。通过简洁的API、可视化工具和数据集评估功能，ferret帮助用户深入理解和评估文本模型的决策过程。

这个项目整理了人工智能和计算认知科学领域的重要学习资源,包括基础课程、教程、论文和专著。涵盖归纳推理、解释、概念表示、问题解决等多个研究方向,有助于推动高级机器智能发展和深化人类认知理解。项目内容全面,适合不同水平的研究人员参考使用。

Torch-Dreams是一个Python库，专注于神经网络可视化和增强模型可解释性。它提供特征可视化、通道激活和多模型同步可视化等功能，支持批量处理和自定义变换。这个工具适合研究人员分析深度学习模型内部机制，也可用于生成艺术创作。

Pythia模型套件旨在支持大型语言模型的可解释性研究，提供多种尺寸的模型以及去重和未去重的数据版本。尽管不以提升下游性能为主要目标，但测试显示在某些任务中表现卓越。基于Transformer架构的Pythia-2.8B可进行微调研究，适用于探索语言模型的训练过程和变化情况。项目采用Apache 2.0许可，模型及检查点可通过Hugging Face获取，促进语言模型的训练与科研开发。