llama-2-ko-7b

项目介绍：llama-2-ko-7b

项目背景

llama-2-ko-7b 是一种专门针对韩语文本开发的语言生成模型，这个项目的目标是提升模型在处理韩语文本时的表现。它是在 Llama 2 的基础上构建的，通过扩展词汇和增加韩文语料库来进一步进行预训练。这种改进使其能够更好地理解和生成韩文文本。

模型详情

模型开发者: Junbum Lee（笔名 Beomi）

模型变体: llama-2-ko 提供多种参数规模的模型版本，包括7亿、13亿和70亿参数的变体，并且有预训练和微调的版本。

输入与输出: 该模型以文本作为输入，并生成文本作为输出。

模型架构: llama-2-ko 使用的是一种经过优化的自回归语言模型，它的基础架构是基于 Llama 2 的 transformer 结构。

词汇扩展

与原始的 Llama-2 相比，llama-2-ko 大幅扩展了词汇表的规模，从原版的32,000增加到了46,336。这个改进通过添加韩文词汇和合并步骤实现，更好地支持韩文处理。

Token化示例

• 当处理句子“안녕하세요, 오늘은 날씨가 좋네요”时，Llama-2-Ko 能够更好地进行Token化为 ['▁안녕', '하세요', ',', '▁오늘은', '▁날', '씨가', '▁좋네요']，跟Llama-2相比，它不会将韩文字符断裂，更加连贯地理解整体意思。

模型基准测试

llama-2-ko-7b 在多个基准测试任务中表现出色，特别是在处理韩文文本方面。以下是一些测试结果，包括在SentiNeg、COPA和HellaSwag等基准上的表现。

具体表现

• 在COPA测试中的10-shot设置下，llama-2-ko表现出了更好的F1分数，表现优于部分同类韩文模型。
• 在BoolQ和SentiNeg的测试中，llama-2-ko同样展示了较强的文本理解能力。

使用注意事项

llama-2-ko 使用的是Hugging Face 提供的FastTokenizer，而不是 Sentencepiece 包，这需要在初始化tokenizer时设置use_fast=True选项。另外，由于苹果芯片不支持BF16计算，建议使用CPU或支持BF16的NVIDIA GPU。

鸣谢

模型的训练得到了 TPU Research Cloud 项目的支持。

更多详细的信息和具体的性能数据可以在 这里 找到。