autodiff: 高效自动微分的C++库

autodiff

autodiff: 让C++中的自动微分变得简单高效

在科学计算、机器学习和优化等领域,准确高效地计算导数是一个常见而重要的需求。传统的数值微分和符号微分方法各有局限性,而自动微分(Automatic Differentiation, AD)技术则提供了一种兼具精确性和高效性的解决方案。作为一个专门为C++设计的自动微分库, autodiff通过巧妙运用现代C++特性,为开发者提供了一种简洁而强大的方式来实现自动微分。

autodiff的核心特性

高效性: autodiff采用模板元编程等技术,在编译时就完成了大部分计算,运行时开销很小。
易用性: 使用autodiff只需要简单地替换浮点类型,无需修改原有的函数结构。
灵活性: 支持前向模式和反向模式两种自动微分算法,适应不同场景的需求。
精确性: 相比数值微分,autodiff能够得到精确的导数值,避免了舍入误差和截断误差。
C++17标准: 充分利用了C++17的新特性,如结构化绑定等,使代码更加简洁优雅。

autodiff的工作原理

autodiff主要实现了两种自动微分模式:前向模式(Forward Mode)和反向模式(Reverse Mode)。

前向模式

在前向模式中,autodiff使用了对偶数(dual numbers)的概念。它将每个变量表示为一个值和其导数的对,在计算过程中同时追踪函数值和导数值。

例如,考虑以下函数:

double f(double x, double y, double z)
{
    return (x + y + z) * exp(x * y * z);
}

使用autodiff的前向模式,我们只需将double类型替换为autodiff::dual:

dual f(const dual& x, const dual& y, const dual& z)
{
    return (x + y + z) * exp(x * y * z);
}

然后,我们可以这样计算导数:

dual x = 1.0;
dual y = 2.0;
dual z = 3.0;
dual u = f(x, y, z);

double dudx = derivative(f, wrt(x), at(x, y, z));
double dudy = derivative(f, wrt(y), at(x, y, z));
double dudz = derivative(f, wrt(z), at(x, y, z));

这里,wrt(with respect to)函数指定了我们要计算哪个变量的偏导数,at函数则指定了在哪个点计算导数。

反向模式

反向模式则采用了表达式树的概念。它首先构建整个计算的表达式树,然后从输出变量开始,反向传播计算每个中间变量对最终结果的贡献。

使用反向模式时,我们将double替换为autodiff::var:

var f(var x, var y, var z)
{
    return (x + y + z) * exp(x * y * z);
}

计算导数的代码如下:

var x = 1.0;
var y = 2.0;
var z = 3.0;
var u = f(x, y, z);

Derivatives dud = derivatives(u);

double dudx = dud(x);
double dudy = dud(y);
double dudz = dud(z);

derivatives函数会遍历表达式树,计算所有输入变量的导数,并将结果存储在dud对象中。之后,我们可以直接从dud中提取各个变量的导数值。

Expression tree diagram