nnsight
nnsight是一个专门用于深度学习模型内部解释和操作的Python包。它可以访问模型隐藏状态、进行噪声注入和跨提示干预。该工具支持保存中间值、修改参数和多token生成等功能,方便研究人员和开发者深入分析和调试神经网络模型。