模型下载 | 评估结果 | API平台 | 使用方法 | 许可 | 引用

论文链接👁️

DeepSeek-Coder-V2：突破代码智能领域闭源模型的壁垒

1. 简介

我们推出了DeepSeek-Coder-V2，这是一个开源的专家混合（MoE）代码语言模型，在代码特定任务中达到了与GPT4-Turbo相当的性能。具体来说，DeepSeek-Coder-V2是在DeepSeek-V2的中间检查点基础上进行了额外6万亿token的进一步预训练。通过这种持续预训练，DeepSeek-Coder-V2大幅提升了DeepSeek-V2的编码和数学推理能力，同时在通用语言任务中保持了相当的性能。与DeepSeek-Coder-33B相比，DeepSeek-Coder-V2在代码相关任务的各个方面，以及推理和通用能力上都展现出显著的进步。此外，DeepSeek-Coder-V2将支持的编程语言从86种扩展到338种，并将上下文长度从16K延长到128K。

在标准基准评估中，DeepSeek-Coder-V2在编码和数学基准测试中的表现超过了GPT4-Turbo、Claude 3 Opus和Gemini 1.5 Pro等闭源模型。支持的编程语言列表可以在这里找到。

2. 模型下载

我们向公众发布了基于DeepSeekMoE框架的16B和236B参数的DeepSeek-Coder-V2，其实际活跃参数仅为2.4B和21B，包括基础模型和指令模型。

3. 评估结果

3.1 代码生成

3.2 代码补全

3.3 代码修复

3.4 数学推理能力

3.5 通用自然语言处理

3.6 上下文窗口

在"大海捞针"（NIAH）测试上的评估结果。DeepSeek-Coder-V2在所有长达128K的上下文窗口长度上表现良好。

4. 聊天网站

您可以在DeepSeek的官方网站上与DeepSeek-Coder-V2聊天：coder.deepseek.com

5. API平台

我们还在DeepSeek平台提供OpenAI兼容的API：platform.deepseek.com，您也可以以无与伦比的价格按使用量付费。

6. 如何本地运行

这里，我们提供了一些如何使用DeepSeek-Coder-V2-Lite模型的示例。如果您想使用BF16格式的DeepSeek-Coder-V2进行推理，需要80GB*8的GPU。

使用Huggingface的Transformers进行推理

您可以直接使用Huggingface的Transformers进行模型推理。

代码补全

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
tokenizer = AutoTokenizer.from_pretrained("deepseek-ai/DeepSeek-Coder-V2-Lite-Base", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("deepseek-ai/DeepSeek-Coder-V2-Lite-Base", trust_remote_code=True, torch_dtype=torch.bfloat16).cuda()
input_text = "#写一个快速排序算法"
inputs = tokenizer(input_text, return_tensors="pt").to(model.device)
outputs = model.generate(**inputs, max_length=128)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

代码插入

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
tokenizer = AutoTokenizer.from_pretrained("deepseek-ai/DeepSeek-Coder-V2-Lite-Base", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("deepseek-ai/DeepSeek-Coder-V2-Lite-Base", trust_remote_code=True, torch_dtype=torch.bfloat16).cuda()
input_text = """<｜fim▁begin｜>def quick_sort(arr):
    if len(arr) <= 1:
        return arr
    pivot = arr[0]
    left = []
    right = []
<｜fim▁hole｜>
        if arr[i] < pivot:
            left.append(arr[i])
        else:
            right.append(arr[i])
    return quick_sort(left) + [pivot] + quick_sort(right)<｜fim▁end｜>"""
inputs = tokenizer(input_text, return_tensors="pt").to(model.device)
outputs = model.generate(**inputs, max_length=128)
print(tokenizer.decode(outputs[0], skip_special_tokens=True)[len(input_text):])

对话补全

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
tokenizer = AutoTokenizer.from_pretrained("deepseek-ai/DeepSeek-Coder-V2-Lite-Instruct", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("deepseek-ai/DeepSeek-Coder-V2-Lite-Instruct", trust_remote_code=True, torch_dtype=torch.bfloat16).cuda()
messages=[
    { 'role': 'user', 'content': "write a quick sort algorithm in python."}
]
inputs = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt").to(model.device)
# tokenizer.eos_token_id 是 <｜end▁of▁sentence｜> 标记的 id
outputs = model.generate(inputs, max_new_tokens=512, do_sample=False, top_k=50, top_p=0.95, num_return_sequences=1, eos_token_id=tokenizer.eos_token_id)
print(tokenizer.decode(outputs[0][len(inputs[0]):], skip_special_tokens=True))

完整的对话模板可以在 huggingface 模型仓库中的 tokenizer_config.json 文件中找到。

以下是对话模板的示例：

<｜begin▁of▁sentence｜>User: {user_message_1}

A: {assistant_message_1}<｜end▁of▁sentence｜>User: {user_message_2}

A:

你也可以添加一个可选的系统消息：

<｜begin▁of▁sentence｜>{system_message}

User: {user_message_1}

A: {assistant_message_1}<｜end▁of▁sentence｜>User: {user_message_2}

A:

在对话的最后一轮中，请注意"Assistant:"后面没有空格。在16B-Lite模型上，添加空格可能会导致以下问题：

• 英语问题得到中文回答。
• 回答包含乱码。
• 回答过度重复。

Ollama 的旧版本存在这个 bug（参见 https://github.com/deepseek-ai/DeepSeek-Coder-V2/issues/12），但在最新版本中已修复。

使用 vLLM 进行推理（推荐）

要使用 vLLM 进行模型推理，请将此 Pull Request 合并到你的 vLLM 代码库中：https://github.com/vllm-project/vllm/pull/4650。

from transformers import AutoTokenizer
from vllm import LLM, SamplingParams

max_model_len, tp_size = 8192, 1
model_name = "deepseek-ai/DeepSeek-Coder-V2-Lite-Instruct"
tokenizer = AutoTokenizer.from_pretrained(model_name)
llm = LLM(model=model_name, tensor_parallel_size=tp_size, max_model_len=max_model_len, trust_remote_code=True, enforce_eager=True)
sampling_params = SamplingParams(temperature=0.3, max_tokens=256, stop_token_ids=[tokenizer.eos_token_id])

messages_list = [
    [{"role": "user", "content": "Who are you?"}],
    [{"role": "user", "content": "write a quick sort algorithm in python."}],
    [{"role": "user", "content": "Write a piece of quicksort code in C++."}],
]

prompt_token_ids = [tokenizer.apply_chat_template(messages, add_generation_prompt=True) for messages in messages_list]

outputs = llm.generate(prompt_token_ids=prompt_token_ids, sampling_params=sampling_params)

generated_text = [output.outputs[0].text for output in outputs]
print(generated_text)

7. 许可证

此代码仓库采用 MIT 许可证。DeepSeek-Coder-V2 基础/指令模型的使用受 模型许可证 约束。DeepSeek-Coder-V2 系列（包括基础和指令模型）支持商业使用。

8. 引用

@article{zhu2024deepseek,
  title={DeepSeek-Coder-V2: Breaking the Barrier of Closed-Source Models in Code Intelligence},
  author={Zhu, Qihao and Guo, Daya and Shao, Zhihong and Yang, Dejian and Wang, Peiyi and Xu, Runxin and Wu, Y and Li, Yukun and Gao, Huazuo and Ma, Shirong and others},
  journal={arXiv preprint arXiv:2406.11931},
  year={2024}
}

9. 联系方式

如果你有任何问题，请提出 issue 或通过 service@deepseek.com 联系我们。