XLNet是一种基于广义置换语言建模的新型无监督语言表示学习方法，采用Transformer-XL作为骨干模型，适用于长上下文的语言任务。XLNet在问答、自然语言推理、情感分析和文档排名等多个下游任务中表现优异，超越了BERT，取得了多项任务的最新最佳结果。

spacy-transformers通过Hugging Face的transformers实现预训练模型如BERT、XLNet和GPT-2的集成，提升spaCy的功能。支持多任务学习、转换器输出自动对齐等，兼容Python 3.6以上版本，需要PyTorch v1.5+和spaCy v3.0+。