#语言建模

darts

DARTS算法通过连续松弛和梯度下降，在架构空间中高效设计用于图像分类（CIFAR-10和ImageNet）和语言建模（Penn Treebank和WikiText-2）的高性能卷积和循环架构。只需一块GPU即可运行，提供预训练模型及详细的架构搜索和评估指南，支持自定义架构的可视化。

dynalang

Dynalang项目通过多种语言创建一个多模态世界模型，预测未来并解决任务。提供详细的安装指南和训练配置，支持HomeGrid、Messenger、VLN和LangRoom等环境。该项目建基于最新研究，旨在通过语言建模提高任务解决效率。

esm2_t30_150M_UR50D

esm2_t30_150M_UR50D是ESM-2系列中的中型模型，具有30层结构和1.5亿参数。这个基于掩码语言建模的蛋白质模型适用于多种蛋白质序列输入任务的微调。模型在性能和资源消耗间达到平衡，为蛋白质序列分析提供了实用的工具。

vilt-b32-mlm

ViLT模型利用无卷积方法在多个数据集进行预训练，专注于掩码语言建模。由Kim等人发布，适用于图像与文本结合场景。可通过PyTorch代码实现简单安装和试用，支持掩码位置的文本填补，推动自然语言处理和图像识别时跨模态学习的进展。

codesage-small

CodeSage-Small是一个开源代码嵌入模型，以编码器结构为基础，提供多语言源码理解功能。训练数据来自去重后的Stack数据集，支持九种编程语言，包括c、java和python。采用掩码语言模型和双模态数据进行训练，通过Starcoder分词器和AutoModel实现便捷加载，可生成高维代码嵌入。详细信息可参考相关研究论文。