sqinn-go - 无需cgo的SQLite数据库访问Go库

Sqinn-Go 是一个用于访问 SQLite 数据库而无需 cgo 的 Go (Golang) 库。它底层使用 Sqinn https://github.com/cvilsmeier/sqinn。它将 Sqinn 作为子进程启动（os/exec），并通过 stdin/stdout/stderr 与 Sqinn 进行通信。然后 Sqinn 子进程完成 SQLite 的工作。

如果你想使用 SQLite 但不想使用 cgo，Sqinn-Go 可以成为一个解决方案。

[!注意] 本项目由 Monibot - 简易服务器和应用程序监控赞助。在 https://monibot.io 试用 Monibot。它是免费的。

使用方法

$ go get -u github.com/cvilsmeier/sqinn-go/sqinn

import "github.com/cvilsmeier/sqinn-go/sqinn"

// 简单的 sqinn-go 用法。为简洁起见，省略了错误处理。
func main() {

	// 启动 sqinn。在程序退出时终止。
	sq := sqinn.MustLaunch(sqinn.Options{})
	defer sq.Terminate()

	// 打开数据库。完成后关闭。
	sq.MustOpen("./users.db")
	defer sq.Close()

	// 创建表。
	sq.MustExecOne("CREATE TABLE users (id INTEGER PRIMARY KEY NOT NULL, name VARCHAR)")

	// 插入用户。
	sq.MustExecOne("INSERT INTO users (id, name) VALUES (1, 'Alice')")
	sq.MustExecOne("INSERT INTO users (id, name) VALUES (2, 'Bob')")

	// 查询用户。
	rows := sq.MustQuery("SELECT id, name FROM users ORDER BY id", nil, []byte{sqinn.ValInt, sqinn.ValText})
	for _, row := range rows {
		fmt.Printf("id=%d, name=%s\n", row.Values[0].AsInt(), row.Values[1].AsString())
	}

	// 输出：
	// id=1, name=Alice
	// id=2, name=Bob
}

在运行该程序之前，必须先在系统上安装 Sqinn。最方便的方法是从 https://github.com/cvilsmeier/sqinn/releases 下载预编译的二进制文件，并将其放在你的 $PATH（在 Windows 上是 %PATH%）中的某个位置。

如果你想将 Sqinn 二进制文件存储在非 PATH 文件夹中，你必须在打开 Sqinn 连接时指定它：

    // 从环境变量中获取...
    sq := sqinn.MustLaunch(sqinn.Options{
        SqinnPath: os.Getenv("SQINN_PATH"),
    })

    // ...或直接设置路径
    sq := sqinn.MustLaunch(sqinn.Options{
        SqinnPath: "/path/to/sqinn",
    })

如果你不想使用预编译的 Sqinn 二进制文件，你可以自己编译 Sqinn。有关说明，请参阅 https://github.com/cvilsmeier/sqinn。

更多使用示例，请参见文件 sqinn/sqinn_examples_test.go。

优点和缺点

优点

开发机器上不需要安装 gcc。
Go 交叉编译可用。
比 cgo 更快的构建速度（示例程序 1 秒 vs 3 秒）。
比 cgo 更小的二进制文件大小（示例程序 2MB vs 10MB）。

缺点

没有内置的连接池。
Sqinn-Go 不是 Golang database/sql 驱动程序。
Sqinn 只覆盖了 SQLite C API 的一部分。

性能

性能测试表明，Sqinn-Go 的性能与 cgo 解决方案相当，具体取决于使用场景。

为进行基准测试，我使用了 github.com/mattn/go-sqlite3 和 crawshaw.io/sqlite。数字以毫秒为单位给出，数字越低越好。

                   mattn  crawshaw     sqinn
simple/insert       2901      2140      1563
simple/query        2239      1287      1390
complex/insert      2066      1817      1683
complex/query       1458      1129      1338
many/N=10             97        78       134
many/N=100           246       194       276
many/N=1000         1797      1240      1436
large/N=2000         119        87       341
large/N=4000         361       322       760
large/N=8000         701       650      1531
concurrent/N=2      1332       865       951    
concurrent/N=4      1505       989      1207    
concurrent/N=8      2347      1557      2044

详情请参见 https://github.com/cvilsmeier/sqinn-go-bench。

测试

Sqinn-Go 附带了一大组自动化单元测试。按照以下步骤在 linux_amd64 上执行所有测试：

下载并安装 Sqinn

$ cd /tmp
$ curl -sL https://github.com/cvilsmeier/sqinn/releases/download/v1.1.27/dist-linux.zip >> dist-linux.zip && unzip dist-linux.zip
$ export SQINN_PATH=/tmp/sqinn

获取并测试 Sqinn-Go

$ go get -v -u github.com/cvilsmeier/sqinn-go/sqinn
$ go test github.com/cvilsmeier/sqinn-go/sqinn

检查测试覆盖率

$ go test github.com/cvilsmeier/sqinn-go/sqinn -coverprofile=./cover.out
$ go tool cover -func=./cover.out
$ go tool cover -html=./cover.out

测试覆盖率约为 85%（截至 2021-03-27）

讨论

无 cgo 的 Go

Sqinn-Go 是无 cgo 的 Go，因为它不使用 cgo，也不依赖第三方 cgo 包。然而，Sqinn-Go 在运行时依赖于 Sqinn，这是一个用 C 编写的程序。Sqinn 必须在每台运行 Sqinn-Go 应用程序的机器上单独安装。为此，Sqinn 必须为每个目标平台编译。作为替代方案，可以从 Sqinn 发布页面 https://github.com/cvilsmeier/sqinn/releases 下载常见平台的预编译 Sqinn 二进制文件。

非 database/sql 驱动

Database/sql 是 Go 的默认 SQL 数据库抽象层。它被广泛使用，并且有许多基于它构建的第三方包。Sqinn-Go 不实现 database/sql 接口。原因是 sql 包提供了低级函数调用来准备语句、绑定参数、获取列值等。Sqinn 也可以做到这一点。但是，由于每次函数调用，Sqinn-Go 都必须向 sqinn 子进程发出进程间通信请求/响应往返，这将非常慢。相反，Sqinn-Go 提供了更高级别的 Exec/Query 接口，应该优先使用这些接口而不是低级的细粒度函数。

并发

如性能部分所示，Sqinn/Sqinn-Go 在非并发和并发设置中都表现良好。然而，单个 Sqinn 实例应该只由一个 goroutine 调用。例外是 Exec 和 Query 方法，这些方法是互斥的并且对 goroutine 安全。但是，由于 Sqinn 本质上是单线程的，Exec 和 Query 请求是一个接一个地处理的。

如果你想在数据库级别实现真正的并发，你可以启动多个 Sqinn 实例。你甚至可以实现一个连接池。但要注意，当并发访问 SQLite 数据库时，可能会出现令人讨厌的 SQLITE_BUSY 错误。PRAGMA busy_timeout 可能有助于避免 SQLITE_BUSY 错误。

我们建议如下：使用一个 Sqinn 实例。你可以从任意数量的 goroutine 调用该单个 Sqinn 实例的 Exec/Query。对于长时间运行的任务（VACUUM、BACKUP 等），按需启动第二个 Sqinn 实例，并在长时间运行的工作完成后终止它。使用 PRAGMA busy_timeout 来避免 SQLITE_BUSY。