poutyne - 简化PyTorch开发加速神经网络训练

Poutyne标志

PyPI 状态 Python 版本 - PyPI

这就是 Poutyne。

Poutyne 是一个简化的 PyTorch 框架，它处理了训练神经网络所需的大量样板代码。

使用 Poutyne 可以：

轻松训练模型。
使用回调来保存最佳模型、执行早停等更多功能。

访问 Poutyne.org 阅读文档。

Poutyne 兼容最新版本的 PyTorch 和 Python >= 3.8。

引用

@misc{Paradis_Poutyne_A_Simplified_2020,
    author = {Paradis, Frédérik and Beauchemin, David and Godbout, Mathieu and Alain, Mathieu and Garneau, Nicolas and Otte, Stefan and Tremblay, Alexis and Bélanger, Marc-Antoine and Laviolette, François},
    title  = {{Poutyne: A Simplified Framework for Deep Learning}},
    year   = {2020},
    url    = {https://poutyne.org}
}

快速入门：几秒钟上手 Poutyne

Poutyne 的核心数据结构是 Model，它是一种训练自己的 PyTorch 神经网络的方式。

Poutyne 的工作原理是，你像往常一样创建自己的 PyTorch 模块（神经网络），但在训练时将其输入到 Poutyne Model 中，后者会处理所有步骤、统计和回调，类似于 Keras 的做法。

以下是一个简单的例子：

# 导入 Poutyne Model 并定义一个玩具数据集
from poutyne import Model
import torch
import torch.nn as nn
import numpy as np
import torchmetrics

num_features = 20
num_classes = 5
hidden_state_size = 100

num_train_samples = 800
train_x = np.random.randn(num_train_samples, num_features).astype('float32')
train_y = np.random.randint(num_classes, size=num_train_samples).astype('int64')

num_valid_samples = 200
valid_x = np.random.randn(num_valid_samples, num_features).astype('float32')
valid_y = np.random.randint(num_classes, size=num_valid_samples).astype('int64')

num_test_samples = 200
test_x = np.random.randn(num_test_samples, num_features).astype('float32')
test_y = np.random.randint(num_classes, size=num_test_samples).astype('int64')

选择一个 PyTorch 设备，以便在有 GPU 的情况下在 GPU 上运行：

cuda_device = 0
device = torch.device("cuda:%d" % cuda_device if torch.cuda.is_available() else "cpu")

创建你自己的 PyTorch 网络：

network = nn.Sequential(
    nn.Linear(num_features, hidden_state_size),
    nn.ReLU(),
    nn.Linear(hidden_state_size, num_classes)
)

现在你可以使用 Poutyne 的模型轻松训练你的网络：

model = Model(
    network,
    'sgd',
    'cross_entropy',
    batch_metrics=['accuracy'],
    epoch_metrics=['f1', torchmetrics.AUROC(num_classes=num_classes, task="multiclass")],
    device=device
)
model.fit(
    train_x, train_y,
    validation_data=(valid_x, valid_y),
    epochs=5,
    batch_size=32
)

由于 Poutyne 受 Keras 启发，有人可能注意到这与其中一些函数非常相似。

你可以使用 Poutyne 模型的 evaluate 方法评估网络的性能：

loss, (accuracy, f1score) = model.evaluate(test_x, test_y)

或仅对新数据进行预测：

predictions = model.predict(test_x)

在此处查看完整代码。另外，查看这里获取回归示例。

Poutyne 的优势之一是回调。它们允许你保存检查点、记录训练统计信息等。查看这个笔记本了解回调的介绍。在这方面，Poutyne 还提供了一个 ModelBundle 类，它使用底层的回调提供自动检查点、日志记录等功能。以下是一个使用示例。

from poutyne import ModelBundle

# 所有内容都保存在 ./saves/my_classification_network
model_bundle = ModelBundle.from_network(
    './saves/my_classification_network', network, optimizer='sgd', task='classif', device=device
)

model_bundle.train_data(train_x, train_y, validation_data=(valid_x, valid_y), epochs=5)

model_bundle.test_data(test_x, test_y)

在此处查看完整代码。另外，查看这里获取回归示例。

安装

在安装 Poutyne 之前，你必须在环境中安装最新版本的 PyTorch。

安装 Poutyne 的稳定版本：

pip install poutyne

安装 Poutyne 的最新开发版本：

pip install -U git+https://github.com/GRAAL-Research/poutyne.git@dev

安装并在提供的 Docker 镜像上进行开发

docker pull ghcr.io/graal-research/poutyne:latest

学习资料

博客文章

Medium PyTorch 文章 - 介绍 Poutyne 的基础知识以及它如何帮助你在使用 PyTorch 开发神经网络时提高效率。

示例

查看包含完整工作示例的笔记本文件：

introduction.ipynb (教程版本) - Poutyne与原生PyTorch的对比，以及Poutyne回调和ModelBundle类的使用示例。
tips_and_tricks.ipynb - 使用Poutyne的技巧和窍门
sequence_tagging.ipynb - 使用RNN进行序列标注
transfer_learning.ipynb - 在CUB-200数据集上使用ResNet-18进行迁移学习。
policy_interface.ipynb - 策略示例
image_reconstruction.ipynb - 图像重建示例
classification_and_regression.ipynb - 分类和回归多任务学习示例
semantic_segmentation.ipynb - 语义分割示例

或在Google Colab中：

introduction.ipynb (教程版本) - Poutyne与原生PyTorch的对比，以及Poutyne回调和ModelBundle类的使用示例。
tips_and_tricks.ipynb - 使用Poutyne的技巧和窍门
sequence_tagging.ipynb - 使用RNN进行序列标注
transfer_learning.ipynb - 在CUB-200数据集上使用ResNet-18进行迁移学习。
policy_interface.ipynb - 策略示例
image_reconstruction.ipynb - 图像重建示例
classification_and_regression.ipynb - 分类和回归多任务学习示例
semantic_segmentation.ipynb - 语义分割示例

视频

Poutyne介绍在拉瓦尔大学智能与数据研究所(IID)的每周演讲中进行了介绍。幻灯片和相关的Latex源代码也可获取。

为Poutyne贡献

我们欢迎用户反馈，无论是关于库中发现的错误还是功能建议！请务必查看我们的贡献指南以了解更多详情。

赞助商

本项目由Frédérik Paradis和David Beauchemin支持。加入赞助商 - 展示您的❤️和支持，并出现在列表中！

许可证

Poutyne采用LGPLv3许可，详见LICENSE文件。

为什么叫Poutyne？

Poutyne的名字来源于poutine，这是魁北克著名的菜肴。它通常由炸薯条、吱吱作响的奶酪凝乳和棕色肉汁组成。然而，在魁北克，poutine也有"普通或常见的主题或活动"的含义。因此，Poutyne将摆脱普通的PyTorch训练通常需要的样板代码。

Poutine Yuri Long来自美国弗吉尼亚州阿灵顿[CC BY 2.0]