#Ukrainian Wikipedia

该项目使用乌克兰语言的多种语料库，并结合HuggingFace的Roberta分词器进行了处理。所使用的语料包括乌克兰维基百科、OSCAR数据集及社交网络样本。通过V100硬件加速的方法，预训练出与roberta-base-cased架构类似的模型，拥有12层、768个隐藏单元和125M参数。有关详细的训练配置和技术细节，请参阅原始项目。