TextDistance

TextDistance -- 一个用于通过多种算法比较两个或多个序列之间距离的 Python 库。

特点：

• 30多种算法
• 纯 Python 实现
• 使用简单
• 可比较两个以上的序列
• 一些算法在同一个类中有多种实现
• 可选择使用 numpy 以获得最高速度

算法

基于编辑的算法

基于标记的算法

基于序列的算法

基于压缩的算法

标准化压缩距离使用不同的压缩算法。

经典压缩算法：

普通压缩算法：

正在开发中的算法，将两个字符串作为位数组进行比较：

更多关于 NCD 的详细信息，请参阅博客文章。

语音算法

简单算法

安装

稳定版

仅安装纯 Python 实现：

pip install textdistance

安装额外库以获得最高速度：

pip install "textdistance[extras]"

安装所有库（用于基准测试和测试）：

pip install "textdistance[benchmark]"

安装特定算法的额外库：

pip install "textdistance[Hamming]"

可用额外库的算法：DamerauLevenshtein，Hamming，Jaro，JaroWinkler，Levenshtein。

开发版

通过 pip 安装：

pip install -e git+https://github.com/life4/textdistance.git#egg=textdistance

或克隆仓库并安装一些额外库：

git clone https://github.com/life4/textdistance.git
pip install -e ".[benchmark]"

使用方法

所有算法都有两种接口：

1. 带有算法特定参数的类，用于自定义。
2. 带有默认参数的类实例，用于快速简单使用。

所有算法都有一些共同的方法：

1. .distance(*sequences) -- 计算序列之间的距离。
2. .similarity(*sequences) -- 计算序列的相似度。
3. .maximum(*sequences) -- 距离和相似度的最大可能值。对于任何序列：distance + similarity == maximum。
4. .normalized_distance(*sequences) -- 序列之间的标准化距离。返回值是 0 到 1 之间的浮点数，其中 0 表示相等，1 表示完全不同。
5. .normalized_similarity(*sequences) -- 序列的标准化相似度。返回值是 0 到 1 之间的浮点数，其中 0 表示完全不同，1 表示相等。

最常用的初始化参数：

1. qval -- 用于将序列分割成 q-gram 的 q 值。可能的值：
   • 1（默认）-- 按字符比较序列。
   • 2 或更多 -- 将序列转换为 q-gram。
   • None -- 按单词分割序列。
2. as_set -- 用于基于标记的算法：
   • True -- t 和 ttt 被视为相等。
   • False（默认）-- t 和 ttt 被视为不同。

示例

以汉明距离为例：

import textdistance

textdistance.hamming('test', 'text')
# 1

textdistance.hamming.distance('test', 'text')
# 1

textdistance.hamming.similarity('test', 'text')
# 3
textdistance.hamming.normalized_distance('test', 'text')
# 0.25

textdistance.hamming.normalized_similarity('test', 'text')
# 0.75

textdistance.Hamming(qval=2).distance('test', 'text')
# 2

所有其他算法都有相同的接口。

文章

一些介绍如何在实际中使用textdistance的文章:

• Python模糊匹配指南
• 字符串相似度 — 基本算法知识指南!
• 归一化压缩距离

额外库

对于主要算法，如果可用(安装在你的系统中)且可能(该实现可以比较这种类型的序列)，textdistance会尝试调用已知的外部库(按速度从快到慢排序)。安装带有extras的textdistance以使用此功能。

你可以通过在初始化时传递external=False参数来禁用此功能:

import textdistance
hamming = textdistance.Hamming(external=False)
hamming('text', 'testit')
# 3

支持的库:

1. Distance
2. jellyfish
3. py_stringmatching
4. pylev
5. Levenshtein
6. pyxDamerauLevenshtein

算法:

1. DamerauLevenshtein
2. Hamming
3. Jaro
4. JaroWinkler
5. Levenshtein

基准测试

不安装extras:

总计: 24个库。

是的，速度很慢。在生产环境中使用TextDistance时只安装extras。

Textdistance使用基准测试结果来优化算法，并尝试首先调用最快的外部库(如果可能的话)。

你可以在自己的系统上手动运行基准测试:

pip install textdistance[benchmark]
python3 -m textdistance.benchmark

TextDistance会显示你系统的基准测试结果表，并将库优先级保存到TextDistance文件夹中的libraries.json文件中。textdistance将使用此文件来调用最快的算法实现。默认的libraries.json已包含在包中。

运行测试

你只需要task。查看Taskfile.yml以获取可用命令列表。例如，要运行包括第三方库使用在内的测试，执行task pytest-external:run。

贡献

欢迎提交PR!

• 发现bug? 修复它!
• 想添加更多算法? 当然可以! 只需使用与库中其他算法相同的接口实现，并添加一些测试。
• 能让某些东西更快? 太棒了! 只需避免外部依赖，并记住一切不仅应该适用于字符串。
• 其他你认为不错的东西? 去做吧! 只要确保CI通过，并且README中的所有内容仍然适用(接口、功能等)。
• 没时间编码? 告诉你的朋友和订阅者关于textdistance的事。更多用户，更多贡献，更多惊人的功能。

谢谢 :heart: