Github
Huggingface
论文项目介绍: CodeT5+ 220M
模型简介
CodeT5+ 是一种新型的开放代码大型语言模型，它采用编码器-解码器结构，能够灵活地在不同模式下运行，包括仅编码器、仅解码器以及编码器-解码器等模式。这种多样化的设计使得 CodeT5+ 可以支持更广泛的代码理解和生成任务。该模型首次在论文《CodeT5+: Open Code Large Language Models for Code Understanding and Generation》中被介绍。
与初代 CodeT5 模型（基础版：220M，大型版：770M）相比，CodeT5+ 在预训练时采用了更丰富的任务集，包括跨度去噪、因果语言建模、对比学习以及文本代码匹配等。这些任务帮助模型从单模态的代码数据和双模态的代码-文本数据中学习丰富的表示。此外，该模型利用了一种简便而有效的计算高效预训练方法，通过使用现成的像 CodeGen 这样的冻结大型语言模型来初始化模型组件，并有效扩展模型规模至 2B、6B、16B 等。同时，模型采用一个浅编码器和深解码器的架构，并经过指令调整以更好地配合自然语言指令，灵感来源于 Code Alpaca 项目。
如何使用
用户可以很容易地通过 T5ForConditionalGeneration 功能来加载这个模型，并且使用和最初的 CodeT5 相同的分词器。
以下是一个简单的代码示例：
from transformers import T5ForConditionalGeneration, AutoTokenizer
checkpoint = "Salesforce/codet5p-220m"
device = "cuda" # 如果使用GPU，可以设为"cuda"，否则为"cpu"
tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = T5ForConditionalGeneration.from_pretrained(checkpoint).to(device)
inputs = tokenizer.encode("def print_hello_world():<extra_id_0>", return_tensors="pt").to(device)
outputs = model.generate(inputs, max_length=10)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))
# ==> print "Hello World"
预训练数据
CodeT5+ 220M 所使用的检查点是基于 github-code 数据集的较严格许可子集进行训练的。数据在前处理时，只保留了得到许可的代码，如 mit、apache-2、bsd-3-clause、bsd-2-clause、cc0-1.0、unlicense、isc 等许可。支持的编程语言包括9种：C，C++，C#，Go，Java，JavaScript，PHP，Python，Ruby。
训练过程
在第一阶段预训练中，CodeT5+ 是在单模态代码数据上训练的，涉及多种预训练任务，包括跨度去噪以及两种变体的因果语言建模。有关更多详情，请参考相关论文。
评估结果
CodeT5+ 模型在多种代码理解和生成任务中进行了全面的评估，其设置包括零样本、微调以及指令微调。特别是，CodeT5+ 在许多下游任务中，取得了显著的性能提升，超越了现有的许多基准方法。例如：在8个文本到代码检索任务中平均提高了3.2的 MRR 值，在2个代码行级自动完成任务中平均提高了2.1的准确匹配值，在2个增强检索的代码生成任务中平均提高了5.8的 BLEU-4 值。此外，在 MathQA-Python 和 GSM8K-Python 上的2项数学编程任务中，CodeT5+ 模型（低于十亿参数的型号）显著超越了许多高达137B参数的其他大型语言模型。尤其是在 HumanEval 基准上的零样本文本到代码生成任务中，InstructCodeT5+ 16B 创建了关于开放代码大型语言模型的新状态，分别取得了35.0%和54.5%的 pass@1 和 pass@10 比例，甚至超越了闭源的 OpenAI 代码-cushman-001 模型。
有关更多详细信息，请参考相关论文。
