#程序合成

TransformerPrograms项目提出了一种新方法，可将Transformer模型转换为易读的Python程序。该项目提供了训练和转换工具，并包含多个示例程序，涵盖从排序到命名实体识别等任务。这为解释Transformer模型提供了新视角，有助于研究者探索模型内部机制，推进AI可解释性研究。

CodeGen-Multi 350M是一种程序合成模型，旨在生成可执行代码。其预训练数据来自GitHub的多语言代码库，包括C、C++、Go、Java、JavaScript和Python等。模型具备350M个参数，可以高效生成和补全代码。适用于HumanEval和MTPB等基准测试，为程序合成任务提供了良好的支持。

CodeGen-Multi 2B模型是一种自回归语言模型，经过多个编程语言的大规模数据集预训练，能够合成可执行代码。模型以CodeGen-NL 2B为基础，并在多语言数据上进一步训练，能够从自然语言和编程语言中提取特征。模型在主要代码生成基准上经过评估，可用于从注释生成代码或完成部分代码。用户可借助AutoModelForCausalLM功能加载模型，适用于多种编程语言。

该模型基于大量Python语言数据训练，旨在合成程序。它可以通过英文提示生成代码，从而用于代码补全任务。