Platypus2-13B - LLaMA2架构下通过指令微调优化的模型及其表现

Platypus2-13B项目介绍

项目概述

Platypus2-13B是一个基于LLaMA2-13B变压器架构的指令微调模型。该项目由Cole Hunter和Ariel Lee共同训练，语言主要使用英文。Platypus2-13B属于自动回归语言模型，其底层权重遵循非商业性的创作共享许可协议（CC BY-NC-4.0）。

模型细节

Platypus2-13B采用了LLaMA2变压器架构，是一种结合科学、技术、工程和数学（STEM）以及逻辑数据集进行训练的语言模型。项目使用的数据集为garage-bAInd/Open-Platypus。该模型经过大量指令微调，以提升理论推理和丰富语义的生成能力。

训练方法

训练过程采用了LoRA技术进行微调，只需使用一块A100 80GB显卡即可完成训练。具体的训练细节以及推理指导可在Platypus2 GitHub仓库查看。

评估结果再现

项目在多项任务中进行了详细评估，包括ARC、HellaSwag、MMLU及TruthfulQA等，所有任务均在一块A100 80GB GPU上执行。以下为部分关键任务的评估方法：

ARC（25-shot）：使用批处理大小为1，通过CUDA设备进行测试。
HellaSwag（10-shot）：同样配置下进行更精细的测试。
MMLU（5-shot）及TruthfulQA（0-shot）：按任务需求调整Batch及Few-shot参数以验证模型性能。

限制与偏见

Llama 2及其微调变体是新兴技术，可能会存在使用风险。到目前为止，这些技术的测试主要在英文场景中进行，无法预见该模型在所有场景下的输出。因此，在部署Llama 2及其变体的应用前，开发者应进行针对性的安全测试和模型调整。

开发者可参考负责任使用指南来确保应用的安全性和稳定性。

项目评价与比较

关于Platypus2-13B的详细评价结果，可以在Open LLM Leaderboard进行查看。项目在多个测试中表现出了良好的综合能力，其中包括ARC、HellaSwag、MMLU等任务测试成绩。

引用

以下是该项目和相关工作的引用格式：

@article{platypus2023,
    title={Platypus: Quick, Cheap, and Powerful Refinement of LLMs}, 
    author={Ariel N. Lee and Cole J. Hunter and Nataniel Ruiz},
    booktitle={arXiv preprint arxiv:2308.07317},
    year={2023}
}

Platypus2-13B项目致力于打造高效、经济且强大的语言模型，期望在未来的研究与应用中继续优化模型性能和实际应用能力。