Llemma: 一个面向数学的开放语言模型

ArXiv | 模型 | 数据 | 代码 | 博客 | 样本浏览器

这是Llemma: 一个面向数学的开放语言模型 [Azerbayev et al 2023]的代码仓库。

本仓库包含与以下成果相关的数据和训练代码：

本仓库还包含与论文中描述的重叠、微调和定理证明实验相关的子模块。 额外的评估代码位于Eleuther LM Evaluation Harness的一个分支中。

目录

本仓库包含以下目录：

• proof_pile_2: 用于下载和预处理数据的脚本。
• gpt-neox: 包含修改后的EleutherAI/gpt-neox分支的git子模块。
• lm-evaluation-harness: 除formal2formal定理证明外的所有评估代码。
• llemma_formal2formal: 包含formal2formal实验脚本的git子模块。
• overlap: 包含重叠和记忆分析的git子模块。
• finetunes: 包含微调实验脚本的git子模块。

由于本项目包含子模块，您应该使用--recurse-submodules标志克隆此项目，或者在克隆项目后在项目目录中运行git submodule update --init --recursive。运行git pull后，您还应该运行git submodule update。

引用

请引用以下内容：

@article{azerbayev2023llemma,
  title={Llemma: An Open Language Model For Mathematics}, 
  author={Azerbayev, Zhangir and Schoelkopf, Hailey and Paster, Keiran and Dos Santos, Marco and McAleer, Stephen and Jiang, Albert Q. and Deng, Jia and Biderman, Stella and Welleck, Sean},
  journal={arXiv preprint arXiv:2310.06786},
  year={2023}
}

您可能还对引用我们的训练数据感兴趣，这些数据是新数据和以下来源数据的混合：

@article{paster2023openwebmath,
  title={OpenWebMath: An Open Dataset of High-Quality Mathematical Web Text},
  author={Paster, Keiran and Santos, Marco Dos and Azerbayev, Zhangir and Ba, Jimmy},
  journal={arXiv preprint arXiv:2310.06786},
  year={2023}
}

@software{together2023redpajama,
  author = {Together Computer},
  title = {RedPajama: An Open Source Recipe to Reproduce LLaMA training dataset},
  month = April,
  year = 2023,
  url = {https://github.com/togethercomputer/RedPajama-Data}
}

@article{kocetkov2022stack,
  title={The stack: 3 tb of permissively licensed source code},
  author={Kocetkov, Denis and Li, Raymond and Allal, Loubna Ben and Li, Jia and Mou, Chenghao and Ferrandis, Carlos Mu{\~n}oz and Jernite, Yacine and Mitchell, Margaret and Hughes, Sean and Wolf, Thomas and Bahdanau, Dzmitry and von Werra, Leandro and de Vries, Harm},
  journal={arXiv preprint arXiv:2211.15533},
  year={2022}
}