访问官网
Github
文档
论文Toshi
一个用Rust编写的全文搜索引擎
请注意，这远未达到生产就绪状态，而且Toshi仍在积极开发中，我只是进展缓慢。
描述
Toshi旨在成为一个类似于Elasticsearch的全文搜索引擎。Toshi努力成为Elasticsearch之于Tantivy，就像Tantivy之于Lucene一样。
动机
Toshi将始终针对稳定版Rust，并尽最大努力避免使用任何不安全的Rust代码。虽然底层库可能会使用一些不安全代码，但Toshi将竭尽全力审查这些库，以确保完全不使用不安全的Rust代码。我之所以选择这样做，是因为我觉得要让这成为人们考虑的一个有吸引力的选择，它必须安全、稳定和一致。这就是为什么选择稳定版Rust，因为它提供了保证和安全性。我不想陷入使用nightly特性的兔子洞，然后在稳定性方面出现问题。由于Toshi不是一个库，我完全可以接受这个要求，因为那些想使用它的人很可能会直接使用它而不进行修改。我的动机是在构建Toshi时满足这种使用场景。
构建要求
目前，Toshi应该可以在Windows、Mac OS X和Linux上正常构建和工作。从依赖要求来看，你需要1.39.0版本的Rust和Cargo来进行构建。你可以从rustup轻松获取Rust。
配置
在config/config.toml中有一个默认配置文件：
host = "127.0.0.1"
port = 8080
path = "data2/"
writer_memory = 200000000
log_level = "info"
json_parsing_threads = 4
bulk_buffer_size = 10000
auto_commit_duration = 10
experimental = false
[experimental_features]
master = true
nodes = [
"127.0.0.1:8081"
]
[merge_policy]
kind = "log"
min_merge_size = 8
min_layer_size = 10_000
level_log_size = 0.75
主机
host = "localhost"
Toshi启动时将绑定的主机名。
端口
port = 8080
Toshi启动时将绑定的端口。
路径
path = "data/"
Toshi存储其数据和索引的数据路径。
写入内存
writer_memory = 200000000
Toshi应为新文档的提交分配的内存量（以字节为单位）。
日志级别
log_level = "info"
用于Toshi日志记录的详细级别。
JSON解析
json_parsing_threads = 4
当Toshi批量导入文档时，它会启动多个线程来解析接收到的文档的JSON。这控制了处理此任务的线程数。
批量缓冲
bulk_buffer_size = 10000
这将控制将文档解析到索引中的缓冲区大小。它将通过在消息缓冲区填满时阻塞来控制批量导入所占用的内存量。如果你想完全放开限制，可以将其设置为0以使缓冲区无界。
自动提交时间
auto_commit_duration = 10
这控制了如果有文档需要提交，索引自动提交文档的频率。将其设置为0可禁用此功能，但你将必须在提交文档时自行进行提交。
合并策略
[merge_policy]
kind = "log"
Tantivy 将根据此处概述的配置合并索引段。这里有两个选项。"log"是默认的段合并行为。Log 还有3个附加值。这3个值中的任何一个都可以省略，以使用 Tantivy 的默认值。 默认值如下所示。
min_merge_size = 8
min_layer_size = 10_000
level_log_size = 0.75
此外还有 "nomerge" 选项，在此选项下 Tantivy 不会合并任何段。
实验性设置
experimental = false
[experimental_features]
master = true
nodes = [
"127.0.0.1:8081"
]
通常这些设置还没有准备好使用，因为它们非常不稳定或完全无法使用。目前 Toshi 的分布式功能隐藏在这个标志后面，所以如果 experimental 设置为 false，则所有这些设置都会被忽略。
构建和运行
可以使用 cargo build --release 构建 Toshi。构建完成后，您可以从顶层目录运行 ./target/release/toshi 来根据 config/config.toml 中的配置启动 Toshi。
您应该会看到类似这样的启动消息。
______ __ _ ____ __
/_ __/__ ___ / / (_) / __/__ ___ _________/ /
/ / / _ \(_-</ _ \/ / _\ \/ -_) _ `/ __/ __/ _ \
/_/ \___/___/_//_/_/ /___/\__/\_,_/_/ \__/_//_/
Such Relevance, Much Index, Many Search, Wow
INFO toshi::index > Indexes: []
您可以通过以下方式验证 Toshi 是否正在运行：
curl -X GET http://localhost:8080/
这应该返回：
{
"name": "Toshi Search",
"version": "0.1.1"
}
Toshi 运行后，最好查看项目根目录中的 requests.http 文件，以查看更多使用示例。
查询示例
词条查询
{ "query": {"term": {"test_text": "document" } }, "limit": 10 }
模糊词条查询
{ "query": {"fuzzy": {"test_text": {"value": "document", "distance": 0, "transposition": false } } }, "limit": 10 }
短语查询
{ "query": {"phrase": {"test_text": {"terms": ["test","document"] } } }, "limit": 10 }
范围查询
{ "query": {"range": { "test_i64": { "gte": 2012, "lte": 2015 } } }, "limit": 10 }
正则表达式查询
{ "query": {"regex": { "test_text": "d[ou]{1}c[k]?ument" } }, "limit": 10 }
布尔查询
{ "query": {"bool": {"must": [ { "term": { "test_text": "document" } } ], "must_not": [ {"range": {"test_i64": { "gt": 2017 } } } ] } }, "limit": 10 }
使用方法
要尝试上述任何查询，您可以使用以下示例
curl -X POST http://localhost:8080/test_index -H 'Content-Type: application/json' -d '{ "query": {"term": {"test_text": "document" } }, "limit": 10 }'
还需注意，limit 是可选的，默认值为 10。这里包含它只是为了完整性。
运行测试
cargo test
什么是 Toshi？
Toshi 是一只三岁的柴犬。他是一只非常乖的狗狗，是这个项目的官方吉祥物。Toshi 亲自审查所有代码，然后才提交到这个仓库，他致力于只接受来自他的人类的最高质量的贡献。不过，他会接受零食来换取更轻松的代码审查。
