textgenrnn: 几行代码轻松训练你自己的文本生成神经网络

textgenrnn

textgenrnn简介

textgenrnn是一个基于Keras/TensorFlow的Python 3模块,用于创建字符级循环神经网络(char-rnn)。它的目标是让任何人都能轻松训练自己的文本生成神经网络,无论网络规模和复杂度如何,只需几行代码就能在任何文本数据集上完成训练。

这个项目由Max Woolf开发,他是BuzzFeed的数据科学家,也是前苹果软件QA工程师。textgenrnn具有许多强大的特性:

使用textgenrnn非常简单,以下是一个基本示例:

from textgenrnn import textgenrnn

textgen = textgenrnn()
textgen.generate()

这将使用默认的预训练模型生成一些文本。你也可以轻松地在新文本上训练模型:

textgen.train_from_file('my_text.txt', num_epochs=1)
textgen.generate()

模型权重相对较小(磁盘上2MB),可以轻松保存和加载到新的textgenrnn实例中。这样你就可以使用经过数百次迭代训练的模型了。

textgenrnn还提供了一个交互模式,让你可以一步步参与文本的生成过程。在终端中运行时,传递interactive=True和top_n=N参数给generate函数即可:

textgen.generate(interactive=True, top_n=5)

这会为下一个字符/单词建议N个最佳选项,让你选择一个。这可以为输出增添一些"人性化"的触感,感觉就像你在写作一样!

textgenrnn基于Andrej Karpathy的char-rnn项目,但进行了一些现代化的优化。默认的预训练模型采用了受DeepMoji启发的神经网络架构:

这种架构允许模型更容易地反向传播并防止梯度消失。如果提供上下文标签,模型还可以在上下文模式下训练,学习去语境化的语言,从而加快训练速度并提高性能。

使用textgenrnn时需要注意以下几点:

即使经过大量训练,也不可能100%获得高质量的生成文本。这就是为什么利用神经网络文本生成的病毒博客文章/推文通常会生成大量文本并事后挑选/编辑最好的内容。
不同数据集之间的结果会有很大差异。预训练的神经网络相对较小,无法存储像博客文章中常见的RNN那样多的数据。为获得最佳结果,请使用至少2000-5000个文档的数据集。
不需要GPU就可以重新训练textgenrnn,但在CPU上训练会花费更长时间。如果使用GPU,建议增加batch_size参数以更好地利用硬件。