perceiver-pytorch - Perceiver模型的PyTorch实现迭代注意力处理多模态数据

Perceiver - Pytorch

在Pytorch中实现Perceiver，一种基于迭代注意力的通用感知模型

安装

$ pip install perceiver-pytorch

使用方法

import torch
from perceiver_pytorch import Perceiver

model = Perceiver(
    input_channels = 3,          # 输入数据每个标记的通道数
    input_axis = 2,              # 输入数据的轴数（图像为2，视频为3）
    num_freq_bands = 6,          # 频带数量，原始值为(2 * K + 1)
    max_freq = 10.,              # 最大频率，取决于数据的精细程度的超参数
    depth = 6,                   # 网络深度。最终注意力机制的形状将为：
                                 #   depth * (交叉注意力 -> self_per_cross_attn * 自注意力)
    num_latents = 256,           # 潜在向量数量，或称为诱导集点或质心（不同论文有不同叫法）
    latent_dim = 512,            # 潜在维度
    cross_heads = 1,             # 交叉注意力的头数。论文中为1
    latent_heads = 8,            # 潜在自注意力的头数，为8
    cross_dim_head = 64,         # 每个交叉注意力头的维度数
    latent_dim_head = 64,        # 每个潜在自注意力头的维度数
    num_classes = 1000,          # 输出类别数
    attn_dropout = 0.,
    ff_dropout = 0.,
    weight_tie_layers = False,   # 是否进行层权重绑定（可选，如图所示）
    fourier_encode_data = True,  # 是否自动对数据进行傅里叶编码，使用给定的input_axis。默认为True，但如果你自己对数据进行傅里叶编码，可以关闭
    self_per_cross_attn = 2      # 每个交叉注意力块中自注意力块的数量
)

img = torch.randn(1, 224, 224, 3) # 1张ImageNet图像，像素化

model(img) # (1, 1000)

对于Perceiver IO的主干网络，这是允许灵活输出序列长度的后续论文，只需导入PerceiverIO即可

import torch
from perceiver_pytorch import PerceiverIO

model = PerceiverIO( dim = 32, # 待编码序列的维度 queries_dim = 32, # 解码器查询的维度 logits_dim = 100, # 最终logits的维度 depth = 6, # 网络深度 num_latents = 256, # 潜在变量、诱导集点或中心点的数量。不同论文给出不同名称 latent_dim = 512, # 潜在维度 cross_heads = 1, # 交叉注意力的头数。论文称为1 latent_heads = 8, # 潜在自注意力的头数，8 cross_dim_head = 64, # 每个交叉注意力头的维度数 latent_dim_head = 64, # 每个潜在自注意力头的维度数 weight_tie_layers = False, # 是否进行层权重绑定（可选，如图所示） seq_dropout_prob = 0.2 # 从输入序列中丢弃的标记比例（结构化丢弃，用于节省计算和正则化效果） )

seq = torch.randn(1, 512, 32) queries = torch.randn(128, 32)

logits = model(seq, queries = queries) # (1, 128, 100) - (批次, 解码器序列, logits维度)

使用PerceiverIO作为语言模型的示例

import torch from perceiver_pytorch import PerceiverLM

model = PerceiverLM( num_tokens = 20000, # 标记数量 dim = 32, # 待编码序列的维度 depth = 6, # 网络深度 max_seq_len = 2048, # 最大序列长度 num_latents = 256, # 潜在变量、诱导集点或中心点的数量。不同论文给出不同名称 latent_dim = 512, # 潜在维度 cross_heads = 1, # 交叉注意力的头数。论文称为1 latent_heads = 8, # 潜在自注意力的头数，8 cross_dim_head = 64, # 每个交叉注意力头的维度数 latent_dim_head = 64, # 每个潜在自注意力头的维度数 weight_tie_layers = False # 是否进行层权重绑定（可选，如图所示） )

seq = torch.randint(0, 20000, (1, 512)) mask = torch.ones(1, 512).bool()

logits = model(seq, mask = mask) # (1, 512, 20000)

实验性

我还包含了一个Perceiver版本，该版本包括自下而上（除了自上而下）的注意力，使用原始Set Transformers论文中提出的相同方案，作为Induced Set Attention Block。

你只需要将上述导入更改为

from perceiver_pytorch.experimental import Perceiver

引用

@misc{jaegle2021perceiver, title = {Perceiver: General Perception with Iterative Attention}, author = {Andrew Jaegle and Felix Gimeno and Andrew Brock and Andrew Zisserman and Oriol Vinyals and Joao Carreira}, year = {2021}, eprint = {2103.03206}, archivePrefix = {arXiv}, primaryClass = {cs.CV} }

@misc{jaegle2021perceiver,
    标题   = {感知器IO：一种用于结构化输入和输出的通用架构},
    作者  = {Andrew Jaegle 和 Sebastian Borgeaud 和 Jean-Baptiste Alayrac 和 Carl Doersch 和 Catalin Ionescu 和 David Ding 和 Skanda Koppula 和 Andrew Brock 和 Evan Shelhamer 和 Olivier Hénaff 和 Matthew M. Botvinick 和 Andrew Zisserman 和 Oriol Vinyals 和 João Carreira},
    年份    = {2021},
    电子预印本  = {2107.14795},
    预印本前缀 = {arXiv},
    主要类别 = {计算机科学.机器学习}
}