#CTRL

CTRL模型由Salesforce Research开发，是基于Transformer的语言模型，可以通过控制码实现文本的可控生成。模型适用于创意写作、自动化写作任务及特定格式文本的生成，并可通过微调优化其他自然语言处理应用。其训练数据包括来自多个领域的140GB文本数据，使用TPU v3 Pod及Adagrad优化器进行训练，并评估了环境影响。