#T5 v1.1

该T5 v1.1模型基于Transformer架构，专为日文语料进行预训练。通过使用GEGLU激活函数代替ReLU，提升了文本生成质量。模型在预训练时关闭Dropout以提升泛化能力，微调时可重启。训练数据包括mC4/ja和日本Wikipedia，确保日文内容的纯净性。此大型模型拥有约7.7亿参数，适用于广泛的日文自然语言处理任务，表现出优异的性能与适应性。