================== 欢迎使用RETURNN
GitHub仓库 <https://github.com/rwth-i6/returnn>
__。
RETURNN 2016年论文 <https://arxiv.org/abs/1608.00895>
,
RETURNN 2018年论文 <https://arxiv.org/abs/1805.05225>
。
RETURNN - RWTH可扩展通用循环神经网络训练框架, 是一个基于Theano/TensorFlow的现代循环神经网络架构实现。 它针对多GPU环境下快速可靠地训练循环神经网络进行了优化。
RETURNN的主要特点和目标是:
-
简单性
- 编写配置/代码简单直观(设置实验、定义模型)
- 出现问题时调试简单
- 阅读配置/代码简单(定义的模型、训练、解码都很清晰)
-
灵活性
- 允许进行多种不同类型的实验/模型
-
高效性
- 训练速度
- 解码速度
所有这些对研究都很重要,解码速度对生产尤其重要。
请观看我们的 Interspeech 2020教程"机器学习在语音识别和机器翻译中的高效灵活实现"视频 <https://www.youtube.com/watch?v=wPKdYqSOlAY>
__
(幻灯片 <https://www-i6.informatik.rwth-aachen.de/publications/download/1154/Zeyer--2020.pdf>
__),
其中介绍了核心概念。
更具体的特性包括:
- 前馈神经网络的小批量训练
- 基于序列分块的循环神经网络批量训练
- 长短期记忆循环神经网络, 包括我们自己的快速CUDA核心
- 多维LSTM(仅GPU,没有CPU版本)
- 大型数据集的内存管理
- 跨多个设备的工作分配
- 灵活快速的架构,允许各种编码器-注意力-解码器模型
请参阅 文档 <https://returnn.readthedocs.io/>
。
查看 基本用法 <https://returnn.readthedocs.io/en/latest/basic_usage.html>
和 技术概述 <https://returnn.readthedocs.io/en/latest/tech_overview.html>
__。
这里是RETURNN概述演讲的视频录像 <https://www-i6.informatik.rwth-aachen.de/web/Software/returnn/downloads/workshop-2019-01-29/01.recording.cut.mp4>
_
(幻灯片 <https://www-i6.informatik.rwth-aachen.de/web/Software/returnn/downloads/workshop-2019-01-29/01.returnn-overview.session1.handout.v1.pdf>
,
练习表 <https://www-i6.informatik.rwth-aachen.de/web/Software/returnn/downloads/workshop-2019-01-29/01.exercise_sheet.pdf>
;
由eBay主办)。
有 许多示例演示 <https://github.com/rwth-i6/returnn/blob/master/demos/>
_,
它们使用人工生成的数据,
即它们应该可以直接运行。
有 一些真实世界的例子 <https://github.com/rwth-i6/returnn-experiments>
_,
比如在Switchboard或LibriSpeech语料库上进行语音识别的设置。
与其他框架的一些基准测试设置
可以在 这里 <https://github.com/rwth-i6/returnn-benchmarks>
_ 找到。
结果在 RETURNN 2016年论文 <https://arxiv.org/abs/1608.00895>
_ 中。
我们的LSTM核心与CuDNN和其他TensorFlow核心的性能基准
在 TensorFlow LSTM基准 <https://returnn.readthedocs.io/en/latest/tf_lstm_benchmark.html>
__ 中。
还有 一个维基 <https://github.com/rwth-i6/returnn/wiki>
。
问题也可以在
StackOverflow上使用RETURNN标签提问 <https://stackoverflow.com/questions/tagged/returnn>
。
.. image:: https://github.com/rwth-i6/returnn/workflows/CI/badge.svg :target: https://github.com/rwth-i6/returnn/actions