NaturalCC: 开源代码智能分析工具包

NaturalCC:开源代码智能分析的新利器

在当今软件开发的浪潮中,代码智能分析工具正扮演着越来越重要的角色。它们不仅可以帮助开发者提高编码效率,也为研究人员探索代码和自然语言之间的联系提供了强大支持。在这样的背景下,一个名为NaturalCC的开源工具包应运而生,为代码智能分析领域注入了新的活力。

NaturalCC的愿景与特色

NaturalCC的核心愿景是通过先进的机器学习技术,搭建起编程语言和自然语言之间的桥梁。它为研究人员和开发者提供了一个强大的平台,可以针对各种软件工程任务训练定制模型,如代码生成、代码补全、代码摘要、代码检索、代码克隆检测以及类型推断等。

NaturalCC logo

这个工具包的几大特色令人瞩目:

模块化与可扩展的框架: NaturalCC基于Fairseq的注册机制构建,这使得它能够轻松适应和扩展到不同的软件工程任务中。
丰富的数据集与预处理工具: 它提供了多个经过清理和预处理的基准数据集,如Human-Eval、CodeSearchNet、Python-Doc和Py150等。同时还配备了使用LLVM等编译工具进行特征提取的脚本。
支持大规模代码模型: NaturalCC集成了多个最先进的大规模代码模型,包括Code Llama、CodeT5、CodeGen和StarCoder等。
基准测试与评估能力: 它可以对多个下游任务(如代码生成和代码补全)进行基准测试,并能使用流行的指标(如pass@k)在知名基准上进行评估。
优化的效率: 采用NCCL库和torch.distributed实现了多GPU高效模型训练。同时支持全精度(FP32)和半精度(FP16)计算,加速训练和推理过程。
增强的日志功能: 提供了高级日志功能,在模型训练和操作过程中提供清晰详细的反馈,有助于调试和性能优化。

NaturalCC的最新进展

NaturalCC团队一直在持续改进和更新这个工具包。以下是一些最新的重要进展:

2023年11月25日: NaturalCC 2.0正式发布。新版本与Transformers库兼容,并支持来自Hugging Face的流行大规模代码模型。
2023年4月19日: 集成了"You See What I Want You to See: Poisoning Vulnerabilities in Neural Code Search"的源代码。
2022年1月25日: 介绍NaturalCC工具包的论文在ICSE 2022 Demo Track被接受。
2022年5月10日: 合并了"What Do They Capture? - A Structural Analysis of Pre-Trained Language Models for Source Code"的源代码。

快速上手NaturalCC

想要开始使用NaturalCC,首先需要确保系统满足以下要求:

GCC/G++版本5.0或更高
NVIDIA GPU、NCCL和Cuda Toolkit(用于训练新模型,推荐但非必需)
NVIDIA的apex库(用于加速训练,可选)

接下来,按照以下步骤设置环境:

创建conda环境(可选):

conda create -n naturalcc python=3.6
conda activate naturalcc

从源代码构建NaturalCC:

git clone https://github.com/CGCL-codes/naturalcc && cd naturalcc
pip install -r requirements.txt
cd src
pip install --editable ./

安装额外依赖:

conda install conda-forge::libsndfile
pip install -q -U git+https://github.com/huggingface/transformers.git
pip install -q -U git+https://github.com/huggingface/accelerate.git

对于某些模型(如StarCoder),可能需要HuggingFace token。可以使用以下命令登录HuggingFace:

huggingface-cli login

NaturalCC实战:代码生成示例

让我们通过一个代码生成的实例来展示NaturalCC的强大功能:

首先下载模型检查点,这里我们使用Codellama-7B。
准备测试数据集,创建一个JSON文件,包含以下格式的测试用例:

[
  {"input": "this is a"},
  {"input": "from tqdm import"},
  {"input": "def calculate("},
  {"input": "a = b**2"},
  {"input": "torch.randint"},
  {"input": "x = [1,2"}
]

运行代码生成脚本:

# 初始化任务
print('Initializing GenerationTask')
task = GenerationTask(task_name="codellama_7b_code", device="cuda:0")

# 加载模型权重
print('Loading model weights [{}]'.format(ckpt_path))
task.from_pretrained(ckpt_path)

# 加载数据集
print('Processing dataset [{}]'.format(dataset_path))
task.load_dataset(dataset_path)

# 运行模型并输出结果
task.run(output_path=output_path, batch_size=1, max_length=50)
print('Output file: {}'.format(output_path))

这个例子展示了如何使用NaturalCC进行代码生成任务,从模型初始化到数据处理,再到最终的结果输出,整个流程清晰明了。