论文, 演示, 关于我们-XCodeMind

NaturalCC - 自然代码理解

📖 愿景

NaturalCC是一个序列建模工具包，旨在通过先进的机器学习技术来弥合编程语言和自然语言之间的差距。它允许研究人员和开发人员为各种软件工程任务训练自定义模型，例如代码生成、代码补全、代码摘要、代码检索、代码克隆检测和类型推断。

🌟 主要特点：

**模块化和可扩展框架：**基于Fairseq的强大注册机制构建，可轻松适应和扩展到各种软件工程任务。
**数据集和预处理工具+：**提供对各种干净、预处理的基准数据集的访问，如Human-Eval、CodeSearchNet、Python-Doc和Py150。配备使用LLVM等编译器工具进行特征提取的脚本。
**支持大型代码模型：**集成了最先进的大型代码模型，如Code Llama、CodeT5、CodeGen和StarCoder。
**基准测试和评估：**对多个下游任务（包括代码生成和代码补全）进行基准测试，能够使用流行的指标（如pass@k）在知名基准上进行评估。
**优化效率：**使用NCCL库和torch.distributed实现多GPU高效模型训练。支持全精度（FP32）和半精度（FP16）计算，加速训练和推理过程。
**增强的日志记录以改进调试：**高级日志功能，在模型训练和操作期间提供清晰、详细的反馈，有助于调试和性能优化。

✨ 最新消息

[2023年11月25日] **NaturalCC 2.0发布！**现在与Transformers兼容，并支持来自Hugging Face的流行大型代码模型，如Code Llama、CodeT5、CodeGen和StarCoder。在ncc1分支中访问之前的版本。
[2023年4月19日] 将"You See What I Want You to See: Poisoning Vulnerabilities in Neural Code Search"的源代码集成到NaturalCC中。
[2022年1月25日] 我们介绍NaturalCC工具包的论文被ICSE 2022演示轨道接受。
[2022年5月10日] 将"What Do They Capture? - A Structural Analysis of Pre-Trained Language Models for Source Code"的源代码合并到NaturalCC中。

🛠️ 安装指南

要开始使用NaturalCC，请确保您的系统满足以下要求：

GCC/G++版本5.0或更高
NVIDIA GPU、NCCL和Cuda工具包（用于训练新模型，可选但推荐）
NVIDIA的apex库（用于更快的训练，可选）

按照以下步骤设置环境。

（可选）创建conda环境

conda create -n naturalcc python=3.6
conda activate naturalcc

从源代码构建NaturalCC

git clone https://github.com/CGCL-codes/naturalcc && cd naturalcc
pip install -r requirements.txt
cd src
pip install --editable ./

安装额外的依赖项

conda install conda-forge::libsndfile
pip install -q -U git+https://github.com/huggingface/transformers.git
pip install -q -U git+https://github.com/huggingface/accelerate.git

某些模型需要HuggingFace令牌

对于像StarCoder这样的模型，需要HuggingFace令牌。使用以下命令登录HuggingFace：
```
huggingface-cli login
```

🚀 快速开始

示例1：代码生成

下载模型检查点

首先，下载特定大型代码模型的检查点。在本例中，我们使用Codellama-7B。

准备测试数据集

创建一个JSON文件，包含以下格式的测试用例：

[
  {"input": "这是一个"},
  {"input": "从tqdm导入"},
  {"input": "def 计算("},
  {"input": "a = b**2"},
  {"input": "torch.randint"},
  {"input": "x = [1,2"}
]

运行代码生成脚本

使用特定模型和GPU设备初始化任务：

print('初始化GenerationTask')
task = GenerationTask(task_name="codellama_7b_code", device="cuda:0")

将下载的检查点加载到任务中。将ckpt_path替换为您下载的检查点路径：
```
print('加载模型权重 [{}]'.format(ckpt_path))
task.from_pretrained(ckpt_path)
```

加载您的数据集。将dataset_path替换为您的数据集文件路径：

print('处理数据集 [{}]'.format(dataset_path))
task.load_dataset(dataset_path)

运行模型并输出结果。将output_path替换为您想要的输出文件路径：

task.run(output_path=output_path, batch_size=1, max_length=50)
print('输出文件：{}'.format(output_path))

示例2：代码摘要

从datasets下载并处理数据集，按照README.md文件中的说明操作。

# 参考：dataset/python_wan/README.md
# 下载数据集
bash dataset/python_wan/download.sh
# 清理数据
python -m dataset.python_wan.clean
# 将数据属性转换为不同的文件
python -m dataset.python_wan.attributes_cast

# 参考：dataset/python_wan/summarization/README.md
# 将代码标记和文档字符串标记保存为MMAP格式
python -m dataset.python_wan.summarization.preprocess

注册您自定义的模型
- 如果您想创建一个新模型，请在ncc/models和ncc/modules中添加您的模型。
- 如果您的训练策略比我们预想的更复杂，您应该在ncc/criterions和ncc/trainers中分别更新您的标准和训练过程。
  
  不要忘记在ncc/XX/__init__.py中更新您自定义的模块。

训练和推理。

从任务列表中选择一个任务和模型，并按照其README.md中的说明开始学习。

# 参考: run/summarization/transformer/README.md
# 训练
CUDA_VISIBLE_DEVICES=0,1,2,3 nohup python -m run.summarization.transformer.train -f config/python_wan/python > run/summarization/transformer/config/python_wan/python.log 2>&1 &
# 推理
CUDA_VISIBLE_DEVICES=0 python -m run.summarization.transformer.eval -f config/python_wan/python -o run/summarization/transformer/config/python_wan/python.txt

我们还提供了更详细的使用说明，帮助您开始使用NaturalCC。

📚 数据集

NaturalCC支持多种数据集，涵盖了代码分析和处理的各个方面。这些数据集包括：

🤝 贡献者

我们热烈欢迎对NaturalCC的贡献！您的参与对保持NaturalCC的创新性和可访问性至关重要。

我们衷心感谢所有让这个项目成为今天这样的杰出贡献者！

💡 常见问题

如果您有任何问题或遇到问题，请随时联系我们。对于快速查询，您也可以查看我们的Issues页面，了解常见问题和解决方案。

😘 许可证和致谢

许可证： NaturalCC基于MIT许可证开源。这个宽松的许可证不仅适用于工具包本身，也适用于其中提供的预训练模型。

致谢： 我们衷心感谢更广泛的开源社区，特别是从Fairseq等项目中获得的先进序列到序列模型的灵感，以及AllenNLP提供的强大NLP组件。他们的开创性工作对NaturalCC的开发起到了重要作用。

📄 引用

我们很高兴您对在研究或应用中使用NaturalCC感兴趣！引用我们的工作有助于我们成长并持续改进这个工具包。您可以在我们的论文中找到更多关于NaturalCC的深入细节。

如果您在研究中使用NaturalCC，请考虑引用我们的论文。以下是BibTex格式的引用：

@inproceedings{wan2022naturalcc,
  title={NaturalCC: An Open-Source Toolkit for Code Intelligence},
  author={Yao Wan and Yang He and Zhangqian Bi and Jianguo Zhang and Yulei Sui and Hongyu Zhang and Kazuma Hashimoto and Hai Jin and Guandong Xu and Caiming Xiong and Philip S. Yu},
  booktitle={Proceedings of 44th International Conference on Software Engineering, Companion Volume},
  publisher=ACM,
  year={2022}
}