TransformersPHP

PHP的最先进机器学习

TransformersPHP旨在在功能上与Python库等效，同时保持相同水平的性能和易用性。该库基于Hugging Face的Transformers库构建，提供了100多种语言的数千个预训练模型。它旨在为PHP开发者提供一个简单易用的库，使用与Python库类似的API。这些模型可用于各种任务，包括文本生成、摘要、翻译等。

TransformersPHP使用ONNX Runtime来运行模型，这是一个用于Open Neural Network Exchange (ONNX)模型的高性能评分引擎。您可以使用🤗 Optimum轻松将任何PyTorch或TensorFlow模型转换为ONNX格式，并在TransformersPHP中使用。

要了解更多关于该库及其工作原理的信息，请查看我们的详细文档。

快速浏览

由于TransformersPHP旨在在功能上与Python库等效，因此从现有的Python或Javascript代码中学习非常容易。我们提供了pipeline API，这是一个高级、易用的API，它将模型与其必要的预处理和后处理步骤组合在一起。

from transformers import pipeline

# 分配一个用于情感分析的pipeline
pipe = pipeline('sentiment-analysis')

out = pipe('I love transformers!')
# [{'label': 'POSITIVE', 'score': 0.999806941}]

use function Codewithkyrian\Transformers\Pipelines\pipeline;

// 分配一个用于情感分析的pipeline
$pipe = pipeline('sentiment-analysis');

$out = $pipe('I love transformers!');
// [{'label': 'POSITIVE', 'score': 0.999808732}]

import {pipeline} from '@xenova/transformers';

// 分配一个用于情感分析的pipeline
let pipe = await pipeline('sentiment-analysis');

let out = await pipe('I love transformers!');
// [{'label': 'POSITIVE', 'score': 0.999817686}]

您还可以通过将模型ID或路径指定为pipeline函数的第二个参数来使用不同的模型。例如：

use function Codewithkyrian\Transformers\Pipelines\pipeline;

// 分配一个用于翻译的pipeline
$pipe = pipeline('translation', 'Xenova/distilbert-base-uncased-finetuned-sst-2-english');

安装

您可以通过Composer安装该库。这是安装该库的推荐方式。

composer require codewithkyrian/transformers

[!注意] ONNX库是特定于平台的，因此在代码将要执行的目标平台上运行composer require命令很重要。在大多数情况下，这将是您的开发机器或部署应用程序的服务器，但如果您使用Docker容器，请在该容器内运行composer require命令。

PHP FFI扩展

TransformersPHP使用PHP FFI扩展与ONNX运行时交互。FFI扩展在PHP 7.4及更高版本中默认包含，但可能默认未启用。如果FFI扩展未启用，您可以通过取消注释（删除行首的;）来在php.ini文件中启用以下行：

extension = ffi

此外，您需要在php.ini文件中将ffi.enable指令设置为true：

ffi.enable = true

进行这些更改后，重启您的Web服务器或PHP-FPM服务，您就可以开始使用了。

文档

有关如何使用该库的更详细信息，请查看文档：https://codewithkyrian.github.io/transformers-php

使用

默认情况下，TransformersPHP使用托管的预训练ONNX模型。对于支持的任务，在HuggingFace上已转换为可与Xenova的Transformers.js一起工作的模型应该可以直接与TransformersPHP一起使用。

配置

您可以按如下方式配置TransformersPHP库的行为：

use Codewithkyrian\Transformers\Transformers;
Transformers::setup()
    ->setCacheDir('...') // 设置transformers模型的默认缓存目录。默认为`.transformers-cache/models`
    ->setRemoteHost('...') // 设置下载模型的远程主机。默认为`https://huggingface.co`
    ->setRemotePathTemplate('...') // 设置下载模型的远程路径模板。默认为`{model}/resolve/{revision}/{file}`
    ->setAuthToken('...') // 设置下载模型的认证令牌。默认为`null`
    ->setUserAgent('...') // 设置下载模型的用户代理。默认为`transformers-php/{version}`
    ->setImageDriver('...') // 设置处理图像的图像驱动程序。默认为`IMAGICK'
    ->apply(); // 应用配置

你可以按任意顺序调用这些`set`方法，或者完全省略任何一个，在这种情况下，它将使用默认值。有关配置选项及其含义的更多信息，请查看[文档](https://codewithkyrian.github.io/transformers-php/configuration)。

## 将模型转换为ONNX格式

TransformersPHP仅支持ONNX模型，因此，你必须将PyTorch、TensorFlow或JAX模型转换为ONNX格式。建议使用[🤗 Optimum](https://huggingface.co/docs/optimum)来执行模型的转换和量化。

## 预先下载模型

默认情况下，当你首次使用管道或预训练模型时，TransformersPHP会自动从Hugging Face模型仓库获取模型权重（ONNX格式）。这可能会导致初次使用时略有延迟。为了改善用户体验，建议在PHP应用中运行模型之前预先下载你打算使用的模型，特别是对于较大的模型。一种方法是手动运行一次请求，但TransformersPHP还提供了一个命令行工具来帮助你实现这一点：

```bash
./vendor/bin/transformers download <model_identifier> [<task>] [options]

参数说明：

• <model_identifier>：指定你要下载的模型。你可以通过浏览Hugging Face模型仓库(https://huggingface.co/models?library=transformers.js)找到模型标识符。
• []：（可选）此参数允许下载特定任务的配置和权重。如果你知道将要使用模型的具体任务，这会很有帮助（例如，"text2text-generation"）。
• [options]：（可选）你可以使用额外的选项进一步自定义下载过程：
  • --cache_dir=：指定存储下载模型的目录（默认为配置的缓存）。你可以在命令中使用-c作为快捷方式。
  • --quantized=<true|false>：下载量化模型版本（如果可用，默认为true）。量化模型更小更快，但准确性可能略有降低。在命令中使用-q作为快捷方式。

[!注意] 记得将你的缓存目录添加到.gitignore文件中，以避免将下载的模型提交到git仓库。

支持的任务/模型

这个包还在开发中，但以下是TransformersPHP目前测试并支持的任务和架构列表。

任务

自然语言处理

视觉

音频

表格数据

多模态

强化学习

模型

1. ALBERT （来自谷歌研究院和芝加哥丰田技术研究所）发布于论文 ALBERT: A Lite BERT for Self-supervised Learning of Language Representations，作者为Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, Radu Soricut。

2. BART （来自Facebook）发布于论文 BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension，作者为Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Ves Stoyanov和Luke Zettlemoyer。

3. BERT （来自谷歌）发布于论文 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding，作者为Jacob Devlin, Ming-Wei Chang, Kenton Lee和Kristina Toutanova。

4. BERT For Sequence Generation （来自谷歌）发布于论文 Leveraging Pre-trained Checkpoints for Sequence Generation Tasks，作者为Sascha Rothe, Shashi Narayan, Aliaksei Severyn。

5. BERTweet （来自VinAI Research）发布于论文 BERTweet: A pre-trained language model for English Tweets，作者为Dat Quoc Nguyen, Thanh Vu和Anh Tuan Nguyen。

6. BigBird-Pegasus （来自谷歌研究院）发布于论文 Big Bird: Transformers for Longer Sequences，作者为Manzil Zaheer, Guru Guruganesh, Avinava Dubey, Joshua Ainslie, Chris Alberti, Santiago Ontanon, Philip Pham, Anirudh Ravula, Qifan Wang, Li Yang, Amr Ahmed。

7. BigBird-RoBERTa （来自谷歌研究院）发布于论文 Big Bird: Transformers for Longer Sequences，作者为Manzil Zaheer, Guru Guruganesh, Avinava Dubey, Joshua Ainslie, Chris Alberti, Santiago Ontanon, Philip Pham, Anirudh Ravula, Qifan Wang, Li Yang, Amr Ahmed。

8. CLIP （来自OpenAI）发布于论文 Learning Transferable Visual Models From Natural Language Supervision，作者为Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, Ilya Sutskever。

9. CodeGen （来自Salesforce）发布于论文 A Conversational Paradigm for Program Synthesis，作者为Erik Nijkamp, Bo Pang, Hiroaki Hayashi, Lifu Tu, Huan Wang, Yingbo Zhou, Silvio Savarese, Caiming Xiong。

10. ConvBERT （来自YituTech）发布于论文 ConvBERT: Improving BERT with Span-based Dynamic Convolution，作者为Zihang Jiang, Weihao Yu, Daquan Zhou, Yunpeng Chen, Jiashi Feng, Shuicheng Yan。

11. DeBERTa （来自微软）发布于论文 DeBERTa: Decoding-enhanced BERT with Disentangled Attention，作者为Pengcheng He, Xiaodong Liu, Jianfeng Gao, Weizhu Chen。

12. DeBERTa-v2 （来自微软）发布于论文 DeBERTa: Decoding-enhanced BERT with Disentangled Attention，作者为Pengcheng He, Xiaodong Liu, Jianfeng Gao, Weizhu Chen。

13. DETR （来自Facebook）发布于论文 End-to-End Object Detection with Transformers，作者为Nicolas Carion, Francisco Massa, Gabriel Synnaeve, Nicolas Usunier, Alexander Kirillov, Sergey Zagoruyko。

14. DistilBERT（由HuggingFace开发），与论文《DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter》一同发布，作者为Victor Sanh、Lysandre Debut和Thomas Wolf。同样的方法被用于将GPT2压缩为DistilGPT2，RoBERTa压缩为DistilRoBERTa，多语言BERT压缩为DistilmBERT，以及DistilBERT的德语版本。

15. Donut（由NAVER开发），与论文《OCR-free Document Understanding Transformer》一同发布，作者为Geewook Kim、Teakgyu Hong、Moonbin Yim、Jeongyeon Nam、Jinyoung Park、Jinyeong Yim、Wonseok Hwang、Sangdoo Yun、Dongyoon Han和Seunghyun Park。

16. ELECTRA（由Google Research/斯坦福大学开发），与论文《ELECTRA: Pre-training text encoders as discriminators rather than generators》一同发布，作者为Kevin Clark、Minh-Thang Luong、Quoc V. Le和Christopher D. Manning。

17. FLAN-T5（由Google AI开发），在google-research/t5x仓库中发布，作者包括Hyung Won Chung、Le Hou、Shayne Longpre等多位研究人员。

18. GPT-2（由OpenAI开发），与论文《Language Models are Unsupervised Multitask Learners》一同发布，作者为Alec Radford*、Jeffrey Wu*、Rewon Child、David Luan、Dario Amodei和Ilya Sutskever。

19. GPT-J（由EleutherAI开发），在kingoflolz/mesh-transformer-jax仓库中发布，作者为Ben Wang和Aran Komatsuzaki。

20. GPTBigCode（由BigCode开发），与论文《SantaCoder: don't reach for the stars!》一同发布，作者包括Loubna Ben Allal、Raymond Li、Denis Kocetkov等多位研究人员。

21. M2M100（由Facebook开发），与论文《Beyond English-Centric Multilingual Machine Translation》一同发布，作者包括Angela Fan、Shruti Bhosale、Holger Schwenk等多位研究人员。

22. MobileBERT（由CMU/Google Brain开发），与论文《MobileBERT: a Compact Task-Agnostic BERT for Resource-Limited Devices》一同发布。 作者：孙志清、于洪坤、宋晓丹、刘仁杰、杨一鸣和周丹尼。

23. OWL-ViT（来自谷歌人工智能）随论文《使用视觉变换器的简单开放词汇目标检测》发布，作者为Matthias Minderer、Alexey Gritsenko、Austin Stone、Maxim Neumann、Dirk Weissenborn、Alexey Dosovitskiy、Aravindh Mahendran、Anurag Arnab、Mostafa Dehghani、Zhuoran Shen、Xiao Wang、Xiaohua Zhai、Thomas Kipf和Neil Houlsby。

24. OWLv2（来自谷歌人工智能）随论文《扩展开放词汇目标检测》发布，作者为Matthias Minderer、Alexey Gritsenko和Neil Houlsby。

25. RoBERTa（来自Facebook）随论文《RoBERTa：一种稳健优化的BERT预训练方法》发布，作者为Yinhan Liu、Myle Ott、Naman Goyal、Jingfei Du、Mandar Joshi、Danqi Chen、Omer Levy、Mike Lewis、Luke Zettlemoyer和Veselin Stoyanov。

26. RoBERTa-PreLayerNorm（来自Facebook）随论文《fairseq：一个快速、可扩展的序列建模工具包》发布，作者为Myle Ott、Sergey Edunov、Alexei Baevski、Angela Fan、Sam Gross、Nathan Ng、David Grangier和Michael Auli。

27. RoFormer（来自追一科技）随论文《RoFormer：具有旋转位置嵌入的增强型Transformer》发布，作者为苏剑林、陆宇、潘胜峰、温博和刘云峰。

28. SigLIP（来自谷歌人工智能）随论文《用于语言图像预训练的Sigmoid损失》发布，作者为Xiaohua Zhai、Basil Mustafa、Alexander Kolesnikov和Lucas Beyer。

29. Swin2SR（来自维尔茨堡大学）随论文《Swin2SR：用于压缩图像超分辨率和恢复的SwinV2 Transformer》发布，作者为Marcos V. Conde、Ui-Jin Choi、Maxime Burchi和Radu Timofte。

30. T5（来自谷歌人工智能）随论文《探索统一文本到文本Transformer的迁移学习极限》发布，作者为Colin Raffel、Noam Shazeer、Adam Roberts、Katherine Lee、Sharan Narang、Michael Matena、Yanqi Zhou、Wei Li和Peter J. Liu。

31. T5v1.1（来自谷歌人工智能）在github仓库"google-research/text-to-text-transfer-transformer"中发布，作者为Colin Raffel、Noam Shazeer、Adam Roberts、Katherine Lee、Sharan Narang、Michael Matena、Yanqi Zhou、Wei Li和Peter J. Liu。

32. TrOCR（来自微软）随论文《TrOCR：基于预训练模型的Transformer光学字符识别》发布，作者为李明浩、吕腾超、崔磊、陆怡娟、Dinei Florencio、张茶、李舟军和魏福如。

33. Vision Transformer (ViT)（来自谷歌人工智能）随论文《一张图片胜过16x16个词：大规模图像识别的Transformer》发布，作者为Alexey Dosovitskiy、Lucas Beyer、Alexander Kolesnikov、Dirk Weissenborn、Xiaohua Zhai、Thomas Unterthiner、Mostafa Dehghani、Matthias Minderer、Georg Heigold、Sylvain Gelly、Jakob Uszkoreit和Neil Houlsby。

34. YOLOS（来自华中科技大学）随论文《你只需看一个序列：通过目标检测重新思考视觉中的Transformer》发布，作者未提供。 方宇鑫、廖本成、王兴刚、方杰民、齐吉阳、吴瑞、牛建伟、刘文予 著。