#papuGaPT2

papuGaPT2采用GPT2架构，通过CLM目标进行自监督训练，利用Oscar语料库中的波兰子集，为NLP研究带来新机遇。适用于文本生成和下游任务微调，但可能生成含敏感内容和偏见的文本，建议只在研究中使用。展示了先进的训练方法以及文本生成技巧，包括不当用词过滤和少样本学习。