pixel

PIXEL 项目介绍

PIXEL 是一个创新的语言模型项目，名为基于像素的语言编码器（PixEl-based Language Encoder）。与传统的语言模型不同，PIXEL 可将文本渲染为图像，从而完全消除对固定词汇表的依赖。这样一来，它能够方便地适用于任何能够在计算机屏幕上呈现的语言和文字。

项目背景

PIXEL 的设计目的在于解决跨语言和跨文字的处理问题。在项目实施过程中，团队首先在英语维基百科和图书语料库中预训练了一个单语种 PIXEL 模型，总共处理了约32亿个单词的数据，此数据集与 BERT 相同。研究结果表明，PIXEL 在处理不属于预训练数据系统中的词法和句法任务时，相较于 BERT 展示了优越的表现，但在处理拉丁字母表任务时稍逊于 BERT。

技术细节

PIXEL 模型由三个主要组件构成：

文本渲染器：将文本绘制为图像。
编码器：对渲染图像中未被遮蔽的区域进行编码。
解码器：在像素级重建被遮蔽的区域。

PIXEL 的设计基础是 Vision Transformer-MAE（ViT-MAE）。在预训练阶段，渲染器将训练中的句子转变为图像。这些图像会被划分为小块，并投影生成对应的嵌入。模型会将其中25%的图像块遮蔽起来，之后编码器仅处理未遮蔽的部分。而解码器则通过插入可学习的遮罩标记，对编码器的输出进行重构。

经过预训练后，解码器则可被丢弃，仅使用包含8600万个参数的编码器。其上可以叠加特定任务的分类器，从而在不同实际应用中达到目标。