#RNA模型

RiNALMo是一种基于BERT架构的非编码RNA预训练语言模型。该模型在3600万条独特ncRNA序列上使用掩码语言建模进行训练，可有效应用于RNA结构预测。模型包含33层、1280个隐藏单元和20个注意力头，总参数量达6.5亿。RiNALMo可用于RNA序列特征提取、序列和核苷酸级别的分类回归任务，以及RNA接触预测等多种下游应用。