热门
导航
快讯
推荐文章
热门
导航
快讯
推荐文章
#RASP
tracr
tracr是一个开源编译工具,可将RASP程序转换为Transformer权重。它通过追踪程序、推断基向量和中间表示,最终生成Haiku模型。tracr支持类别和数值表示,使用BOS标记实现多种操作,并探索了残差流压缩嵌入。研究人员可以利用tracr编译RASP程序,查看中间激活值,深入分析模型行为,为Transformer可解释性研究提供实验平台。
raspy
RASPy是一个开源的机器学习项目,通过Python重新实现RASP,简化了Transformer计算。作为嵌入式领域特定语言,RASPy为优化Transformer相关计算提供新思路。项目包含博客、Colab笔记本和源代码,便于研究人员和开发者学习、实践并深入理解Transformer技术。
相关文章
Tracr: 革命性的钻石溯源技术
2 个月前
使用协议
隐私政策
广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI
·
鲁ICP备2024100362号-6
·
鲁公网安备37021002001498号