ooze - 强大的 Go 语言变异测试工具

变异测试？

变异测试是一种用于评估测试套件质量和覆盖率的技术。它涉及对代码库进行受控更改，模拟常见的编程错误。然后，这些更改会针对测试套件进行测试。测试套件失败是一个好兆头。这表明测试正在识别代码中的变异——它"杀死了变异体"。如果所有测试都通过，我们就有一个存活的变异体。这突出了覆盖率较弱的区域。这是一个改进的机会。

变异测试可以执行不同类型的更改。常见的集合通常包括：

更改运算符；
替换常量；
删除语句；
增加/减少数字；
翻转布尔值；

变异也可以是特定领域/应用程序的。不过，这些由该应用程序的维护者来开发。

值得一提的是，变异测试的运行成本可能相当高。特别是在较大的代码库上。原因是对于每个源文件的每个变异，整个测试套件都必须运行。人们可以从积极的角度来看待这一点，并将其视为保持测试套件快速的动力。

变异测试是开发健壮代码库和可靠测试套件的重要盟友。

快速开始

先决条件

为了确保获得准确的结果，请确保Ooze将运行的测试套件是通过的。否则，Ooze会报告所有变异体都被杀死。

当Ooze报告发现活着的变异体时，它会打印病毒对源文件所做更改的差异。变异源使用Go的go/format包打印。这意味着，如果您的源代码没有经过gofmt格式化，差异可能包含一些与变异无关的格式更改。这并不是先决条件，但为了获得更好的体验，建议您在源文件上运行gofmt。

安装

安装ooze：
```
go get github.com/gtramontina/ooze
```
这会拉取Ooze的最新版本，并更新您的go.mod和go.sum以引用这个新依赖项。
在您的存储库根目录创建一个mutation_test.go文件，并添加以下内容：
```
//go:build mutation

package main_test

import (
	"testing"

	"github.com/gtramontina/ooze"
)

func TestMutation(t *testing.T) {
	ooze.Release(t)
}
```
构建标签是为了让您能更好地控制何时运行这些测试（参见下一步）。这是一个像您编写任何其他Go测试一样的测试。不同之处在于测试实际做什么。这里它将任务委托给Ooze，通过Release释放它。
运行：
```
go test -v -tags=mutation
```
这将执行当前包中的所有测试，包括标记为mutation的源文件。这假设上述是您项目根目录中唯一的测试文件。如果您有其他测试，您可能想将变异测试放在单独的包中，例如在./mutation下，并配置Ooze使用..作为存储库根目录（参见下面的WithRepositoryRoot）。

如果启用了-v，Ooze也会变得详细。要仅启用Ooze的详细模式而不启用测试框架的详细模式，请使用-ooze.v。

注意在Go测试运行时打印到stdout有其复杂性。在特定包上运行测试（不指定哪个测试文件或子包，如./...），允许Ooze在进度和报告发生时打印它们。否则，输出会被缓冲并在测试运行结束时打印，在某些情况下，只有当测试失败时才会打印。这是Go测试框架的限制。

结果

一旦所有变异体的所有测试都运行完毕，Ooze将打印一份包含结果的报告。如果变异分数低于最小阈值（参见下面的WithMinimumThreshold），它还会以非零退出代码退出。这是报告的一个示例：

报告样本

更多结果示例可以在mutation.yml工作流中找到。

设置

Ooze的Release方法接受可变数量的Options，如下所示：

ooze.Release(
	t,
	ooze.WithRepositoryRoot("."),
	ooze.WithTestCommand("make test"),
	ooze.WithMinimumThreshold(0.75),
	ooze.Parallel(),
	ooze.IgnoreSourceFiles("^release\\.go$"),
)

下表列出了所有可用选项。

选项	默认值	描述
`WithRepositoryRoot`	`.`	配置仓库根目录的字符串。当你的变异测试文件不在根目录时，通常需要这个选项。
`WithTestCommand`	`go test -count=1 ./...`	要运行的测试命令，以字符串形式。你可以根据需要配置它，例如作为`makefile`的伪目标，或者简单地运行带有额外标志（如`timeout`和`tags`）的标准`go test`命令。
`WithMinimumThreshold`	`1.0`	0.0到1.0之间的浮点数。这代表考虑执行成功的最低变异测试分数。
`Parallel`	`false`	指示是否并行运行对变异体的测试。由于Ooze通过Go的测试框架执行，可以在从命令行运行变异测试时配置并行度。例如使用`go test -v -tags=mutation -parallel 3`。
`IgnoreSourceFiles`	`nil`	表示要过滤掉且不进行任何变异的源文件的正则表达式。
`WithViruses`	所有可用病毒（见下文）	用于感染源文件的病毒列表。你也可以实现自己的病毒（通用或特定于应用程序）。
`ForceColors`	`false`	强制在日志中使用颜色。这在CI环境中运行变异测试时很有用。

病毒

病毒	名称	描述
`arithmetic`	算术	将`+`替换为`-`，``替换为`/`，`%`替换为``，反之亦然。
`arithmeticassignment`	算术赋值	将`+=`、`-=`、`*=`、`/=`、`%=`、`&=`、`\|=`、`^=`、`<<=`、`>>=`和`&^=`替换为`=`。
`arithmeticassignmentinvert`	算术赋值反转	将`+=`替换为`-=`，`=`替换为`/=`，`%=`替换为`=`，反之亦然。
`bitwise`	位运算	将`&`替换为`\|`，`\|`替换为`&`，`^`替换为`&`，`&^`替换为`&`，`<<`替换为`>>`，`>>`替换为`<<`。
`cancelnil`	取消空值	将对`context.CancelCauseFunc`的调用更改为传递nil。
`comparison`	比较	将`<`替换为`<=`，`>`替换为`>=`，反之亦然。
`comparisoninvert`	比较反转	将`>`替换为`<=`，`<`替换为`>=`，`==`替换为`!=`，反之亦然。
`comparisonreplace`	比较替换	将`&&`比较的左右两侧替换为`true`，将`\|\|`的左右两侧替换为false。例如，`1 == 1 && 2 == 2`会产生两个变异：`true && 2 == 2`和`1 == 1 && true`。
`floatdecrement`	浮点数递减	将浮点数减少`1.0`。
`floatincrement`	浮点数递增	将浮点数增加`1.0`。
`integerdecrement`	整数递减	将整数减少`1`。
`integerincrement`	整数递增	将整数增加`1`。
`loopbreak`	循环中断	将循环中的`break`替换为`continue`，反之亦然。
`loopcondition`	循环条件	将循环条件替换为始终为假的值。
`rangebreak`	范围中断	在`range`循环中添加提前退出。

自定义病毒

Ooze的病毒遵循viruses.Virus接口。编写新病毒只需要创建一个实现此接口的结构体。要运行这个新病毒，通过使用WithViruses(…)选项运行Release来让Ooze知道它的存在。为了测试它，你可能想使用oozetesting包来帮助。查看现有的viruses以获得一些想法。

如果你的新病毒是与领域无关的，并且你认为它有用，可以考虑将其贡献给这个项目。你也可以编写特定领域的病毒。例如，一个寻找特定结构类型并以特定方式更改它的病毒。

提示

Ooze为它创建的每个变异体运行你的测试套件。拥有一个快速的套件是个好主意。Ooze检测变异体被杀死的方式是通过测试失败。你的套件捕获得越快，变异测试就会越快完成。Go测试框架允许我们使用-failfast标志来快速失败。虽然这比没有好，但它在包之间不起作用（详见此issue）。这就是gotestsum发挥作用的地方。它允许我们通过配置--max-fails=1来更快地失败。
变异测试通常需要相当长的时间来运行，尤其是如果你有一个大型代码库。在CI管道中的单独路径上运行它可能是一个好方法；最好是在确认你的测试套件通过后运行。这样你可以在不减慢主管道的情况下获得变异测试的结果。
Ooze运行自身。我建议探索这个代码库以更好地了解如何使用它。

先前工作

Ooze 深受 @zimmski 的 go-mutesting 项目的启发，以及 @avito-tech 在其分支中添加的额外突变的启发。

你可以通过浏览 GitHub 上的 mutation testing 主题找到更多相关资源和工具。awesome-mutation-testing 仓库也包含许多优质资源。

许可证

Ooze 是根据 MIT 许可证发布的开源软件。