CodeGeeX4: 开源多语言代码生成模型的新突破

CodeGeeX4: 开创多语言代码生成新纪元

在人工智能和软件开发的交叉领域，一个重磅消息引起了广泛关注 - CodeGeeX4-ALL-9B模型的发布。这款由清华大学知识工程实验室(THUDM)开发的开源多语言代码生成模型，正在为AI辅助编程带来新的可能。让我们深入了解这个令人兴奋的项目，探索它如何改变开发者的工作方式。

强大而全面的功能

CodeGeeX4-ALL-9B是CodeGeeX4系列的最新开源版本。它基于GLM-4-9B模型进行持续训练，大幅提升了代码生成能力。这个单一模型支持多种全面的功能:

代码补全和生成
代码解释器
网络搜索
函数调用
仓库级代码问答

这些功能涵盖了软件开发的各个场景，为开发者提供了强大的AI助手。

CodeGeeX4功能概览

卓越的性能表现

在公开基准测试中，CodeGeeX4-ALL-9B展现出了令人印象深刻的性能:

在BigCodeBench的"complete"和"instruct"任务中，分别获得48.9和40.4的分数，是20B以下参数模型中的最高分。
在测试代码推理、理解和执行能力的CRUXEval基准测试中，其链式思考(COT)能力表现突出。
从HumanEval和MBPP的简单代码生成任务，到NaturalCodeBench的高难度任务，CodeGeeX4-ALL-9B都取得了出色成绩。
它是目前唯一支持Function Call功能的代码模型，执行成功率甚至超过了GPT-4。

BigCodeBench测试结果

这些性能指标证明了CodeGeeX4-ALL-9B在10B参数以下模型中的领先地位，甚至超越了许多更大规模的通用模型。它在推理速度和模型效果之间达到了最佳平衡。

长上下文处理能力

在"Code Needle In A Haystack"(NIAH)评估中，CodeGeeX4-ALL-9B展示了处理长达128K上下文的能力，在所有Python脚本中都实现了100%的检索准确率。这种长上下文处理能力对于处理大型代码库和复杂项目至关重要。

NIAH Python测试结果

易于使用和集成

CodeGeeX4-ALL-9B提供了多种使用方式，方便开发者快速上手和集成:

Ollama集成: 通过Ollama可以轻松在本地运行CodeGeeX4模型。
Hugging Face Transformers: 使用简单的Python代码即可加载和运行模型:

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

device = "cuda" if torch.cuda.is_available() else "cpu"
tokenizer = AutoTokenizer.from_pretrained("THUDM/codegeex4-all-9b", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    "THUDM/codegeex4-all-9b",
    torch_dtype=torch.bfloat16,
    low_cpu_mem_usage=True,
    trust_remote_code=True
).to(device).eval()

vLLM支持: 可以使用vLLM快速启动模型，并设置OpenAI兼容的API服务器。
Rust-candle支持: 通过Rust编程语言和Candle框架运行模型。

这些多样化的使用方式使得CodeGeeX4-ALL-9B能够适应不同的开发环境和需求。

丰富的用户指南

为了帮助用户快速理解和使用模型，CodeGeeX4-ALL-9B提供了四个详细的用户指南:

系统提示指南: 介绍如何在CodeGeeX4-ALL-9B中使用系统提示，包括VSCode扩展官方系统提示、自定义系统提示，以及维护多轮对话历史的技巧。
填充指南: 解释VSCode扩展官方填充格式，涵盖一般填充、跨文件填充和在仓库中生成新文件。
仓库任务指南: 演示如何在CodeGeeX4-ALL-9B中使用仓库任务，包括仓库级别的问答任务，以及如何触发CodeGeeX4-ALL-9B的aicommiter功能，在仓库级别执行文件的删除、添加和更改。
本地模式指南: 介绍如何在本地部署CodeGeeX4-ALL-9B并将其连接到Visual Studio Code / Jetbrains扩展。

这些指南为用户提供了全面的理解，促进了模型的高效使用。