RapidCheck
RapidCheck 是一个受 QuickCheck 和其他类似框架启发的 C++ 基于属性测试框架。在基于属性的测试中,你陈述关于你的代码的事实,这些事实在给定某些前提条件下应该始终为真。RapidCheck 然后生成随机测试数据,试图找到一个使属性不成立的情况。如果找到这样的情况,RapidCheck 会尝试找到最小的情况(根据某种最小的定义),使属性仍然为假,然后将其显示为反例。例如,如果输入是一个整数,RapidCheck 会尝试找到使属性为假的最小整数。
听起来很有趣?不妨阅读**用户指南**来了解更多!
为什么选择 RapidCheck?
已经存在一些基于属性测试的实现,但我发现的那些要么(在我看来)有点笨拙,要么缺少一些重要功能,比如测试用例缩小。
让我们列举一些特性:
- 以 C++ 的命令式方式编写属性
- 测试用例缩小
- 对 STL 类型的出色支持,包括 map 和 set
- 用于创建自己的生成器的高级组合器
- 基于 Erlang QuickCheck 风格的命令的状态测试
- 与流行的测试框架集成,如 Boost Test、Google Test 和 Google Mock
先决条件和安装
RapidCheck 大量使用 C++11,因此需要兼容的编译器。RapidCheck 持续集成使用 Clang 3.5、GCC 4.9 和 Visual Studio 2015 构建,所以任何更新的版本也应该可以工作。
RapidCheck 使用 CMake,构建方式与其他 CMake 项目相同。如果你自己的项目使用 CMake,你可以简单地将 RapidCheck 作为子目录,并在你的 CMakeLists.txt
中添加以下内容:
add_subdirectory("path/to/rapidcheck")
target_link_libraries(my_target rapidcheck)
这将为你提供链接和包含目录。
快速入门
一个常见的第一个例子是测试反转函数。对于这样的函数,双重反转应该总是得到原始列表。在这个例子中,我们将使用标准 C++ 的 std::reverse
函数:
#include <rapidcheck.h>
#include <vector>
#include <algorithm>
int main() {
rc::check("双重反转得到原始值",
[](const std::vector<int> &l0) {
auto l1 = l0;
std::reverse(begin(l1), end(l1));
std::reverse(begin(l1), end(l1));
RC_ASSERT(l0 == l1);
});
return 0;
}
check
函数用于检查属性。第一个参数是一个可选的字符串,描述该属性。第二个参数是实现属性的可调用对象,在这个例子中是一个 lambda。可调用对象的任何参数(在我们的例子中是 l0
参数)都将被随机生成。RC_ASSERT
宏的工作原理与其他 assert 宏相同。如果给定的条件为假,则该属性被证伪。
上面的属性也构成了反转函数规范的一部分:"对于任何整数列表 A,反转然后再次反转应该得到 A"。
如果我们运行这个,RapidCheck 会(希望)输出以下内容:
使用配置:seed=9928307433081493900
- 双重反转得到原始值
OK,通过了 100 次测试
在这里,RapidCheck 告诉我们它运行了 100 个测试用例,所有测试都通过了。它还告诉我们使用的配置,特别是随机种子。如果 std::reverse
的实现中存在 bug,我们可能会得到以下输出:
在 12 次测试和 10 次缩小后可证伪
std::tuple<std::vector<int>>:
([1, 0, 0, 0, 0, 0, 0, 0, 0, 0])
main.cpp:17:
RC_ASSERT(l0 == l1)
展开为:
[1, 0, 0, 0, 0, 0, 0, 0, 0, 0] == [0, 0, 0, 0, 0, 0, 0, 0, 0, 0]
这里 RapidCheck 告诉我们,在运行 12 次测试后,它发现了一个使属性不成立的情况。当发现这个情况时,它进行了 10 次缩小,得到了输出中的反例。反例包含了用于失败情况的每个输入值及其类型。由于 RapidCheck 将属性参数视为元组,因此这里显示的类型是 std::tuple<std::vector<int>>
。
你能猜出 bug 是什么吗?恰好有 10 个项目这一事实应该给出一些线索。在这种情况下,bug 是当 l0.size() >= 10
时,实现将第一个元素设置为 0
。这也是初始 0
的原因,当所有元素都为零时,问题不会出现。这个 bug 是怎么发生的?谁知道呢!
致谢
非常感谢我的雇主 Spotify,让我能够花费工作时间来改进 RapidCheck。