Github
论文DARTS: 一种创新的神经网络架构搜索方法
DARTS (Differentiable Architecture Search) 是一种用于自动设计神经网络架构的创新算法。该项目由 Hanxiao Liu、Karen Simonyan 和 Yiming Yang 提出，旨在解决传统神经网络架构设计中的挑战。
核心思想
DARTS 的核心思想是将离散的架构搜索空间转化为连续的空间，然后使用梯度下降法在这个连续空间中进行优化。这种方法使得架构搜索过程变得更加高效，只需要使用单个 GPU 就能完成搜索任务。
应用领域
DARTS 在多个领域都表现出色：
- 图像分类：在 CIFAR-10 和 ImageNet 数据集上设计高性能的卷积神经网络架构。
- 语言建模：在 Penn Treebank 和 WikiText-2 数据集上设计循环神经网络架构。
技术要求
DARTS 项目对环境有一些特定要求：
- Python 版本需要 3.5.5 或更高
- PyTorch 版本为 0.3.1
- torchvision 版本为 0.2.0
值得注意的是，当前版本不支持 PyTorch 0.4，使用该版本可能导致内存溢出问题。
搜索过程
DARTS 的架构搜索过程分为两个主要阶段：
- 使用小型代理模型进行架构搜索
- 使用完整大小的模型评估搜索到的最佳架构
在搜索阶段，DARTS 使用二阶近似方法来提高搜索效率。需要注意的是，搜索阶段的验证性能并不能直接反映最终架构的性能，因此需要在搜索完成后使用完整大小的模型从头开始训练。
实验结果
DARTS 在多个benchmark上都取得了出色的成绩：
- CIFAR-10：测试错误率为 2.63%，模型参数量为 3.3M
- PTB：测试困惑度为 55.68，模型参数量为 23M
- ImageNet：Top-1 错误率为 26.7%，Top-5 错误率为 8.7%，模型参数量为 4.7M
可视化功能
DARTS 项目还提供了可视化功能，可以直观地展示学习到的神经网络单元结构。这一功能需要使用 graphviz 包来实现。
结语
DARTS 作为一种创新的神经网络架构搜索方法，不仅大大提高了搜索效率，还在多个任务上取得了优秀的性能。它为自动化机器学习领域提供了新的思路，有望在未来推动更多智能系统的发展。
