这是Vowpal Wabbit快速在线学习代码。
为什么选择Vowpal Wabbit?
Vowpal Wabbit是一个机器学习系统,它通过在线学习、哈希、allreduce、归约、学习搜索、主动学习和交互式学习等技术推动机器学习的前沿。它特别关注强化学习,实现了多种上下文赌臂算法,其在线特性也非常适合这个问题。Vowpal Wabbit是实现和完善最先进算法的目的地,同时注重性能。
- 输入格式。 学习算法的输入格式比预期的更加灵活。示例可以包含由自由形式文本组成的特征,这些文本以词袋的方式解释。甚至可以在不同的命名空间中有多组自由形式文本。
- 速度。 学习算法速度快——与其他少数几种在线算法实现相似。有几种可用的优化算法,基线是对损失函数进行稀疏梯度下降(GD)。
- 可扩展性。 这与快速不同。这里重要的特性是程序的内存占用与数据无关。这意味着训练集在开始学习之前不会加载到主内存中。此外,使用哈希技巧,特征集的大小与训练数据量无关。
- 特征交互。 特征子集可以在内部配对,使得算法在子集的交叉积上是线性的。这对排序问题很有用。在将特征输入学习算法之前显式扩展特征的替代方法可能在计算和空间上都很密集,这取决于处理方式。
入门
关于在Windows、MacOS或Linux上入门的最新说明,请参阅wiki。包括: