#StableLM-3B-4E1T

StableLM-3B-4E1T是一个开源语言模型，通过在Falcon RefinedWeb和RedPajama-Data等数据集上训练4轮获得，总计处理1万亿tokens数据。模型采用LayerNorm归一化和Rotary位置编码技术，支持Flash Attention 2优化。在HellaSwag和Winogrande任务评测中分别达到75.94%和71.19%的准确率，展现出良好的语言理解能力。