TransNormerLLM是一种高效的大规模语言模型，使用线性注意力机制，优于传统的软注意力模型。该模型训练于高质量语料库，包含1.4万亿个词元，支持中文、英语和多语言基准测试，在多领域表现出色。提供385M、1B和7B参数版本，开放给学术研究，商用需申请许可。

automated-interpretability项目开发了一套自动化工具，用于生成、模拟和评分语言模型中神经元行为的解释。该项目提供了代码库、神经元激活查看器和GPT-2 XL神经元的公开数据集。这些资源旨在帮助研究人员和开发者深入理解大型语言模型的内部机制。

Tree Diffusion 是一个开源的深度学习框架，专注于高效生成语法树。该框架结合了扩散模型和变异策略，能在复杂语法约束下快速生成有效的树结构。项目提供完整代码库、预训练模型和使用指南，支持多种编程语言和自定义语法。Tree Diffusion 在程序合成、代码生成和自然语言处理等领域具有广泛应用前景，为研究人员和开发者提供了强大的工具。