#计算

基于Pytorch实现的稀疏门控专家混合模型，可以在保持计算量不变的情况下大幅增加语言模型的参数量。项目参考了TensorFlow的实现，并进行了增强。还包含ST Mixture of Experts的使用指南，安装和使用示例，以及自定义专家网络的支持。

handcalcs 是一个 Python 库，能将计算代码自动渲染为 LaTeX 格式，呈现手写计算的风格。它展示符号公式、数值替换和结果，便于手动核查。该工具可在 Jupyter 中作为单元魔法使用，也可作为函数装饰器应用。handcalcs 支持多种自定义设置，兼容 forallpeople 等单位包，并具备快速显示变量值、生成 LaTeX 代码等功能，适合工程计算使用。

TinyLlama项目目标是在3万亿标记上预训练一个具备1.1B参数的Llama模型。通过优化技术，该项目可在90天内使用16个A100-40G GPU完成训练。采用与Llama 2相同的架构和分词器，确保与其他开源项目的兼容性。TinyLlama的紧凑设计适合计算和内存受限的应用。该项目于2023年9月1日启动，计划在2023年12月1日前完成，并会逐步发布中间检查点。详细信息请查看TinyLlama GitHub页面。