PolyFuzz: 全面的模糊字符串匹配、分组和评估框架

PolyFuzz简介

PolyFuzz是一个功能强大的Python库,专门用于模糊字符串匹配、分组和评估。它集成了多种先进的字符串匹配算法,为用户提供了一个统一的框架来处理各种字符串相似性问题。无论是在数据清洗、实体链接还是文本分析等领域,PolyFuzz都能发挥重要作用。

PolyFuzz Logo

主要特性

多种匹配算法: PolyFuzz支持多种字符串匹配算法,包括编辑距离、TF-IDF、词嵌入(如FastText和GloVe)以及Transformer模型等。
灵活的分组功能: 提供了强大的字符串分组功能,可以将相似的字符串聚类在一起。
全面的评估工具: 内置了多种评估指标和可视化工具,方便用户评估和比较不同模型的性能。
易于使用: 提供了简洁明了的API,使用户能够快速上手并应用到实际项目中。
可扩展性: 支持自定义模型,允许用户根据特定需求开发和集成新的匹配算法。

安装和快速入门

安装

PolyFuzz可以通过pip轻松安装:

pip install polyfuzz

根据需要,您可能还想安装一些额外的依赖:

pip install polyfuzz[sbert]
pip install polyfuzz[flair]
pip install polyfuzz[gensim]
pip install polyfuzz[spacy]
pip install polyfuzz[use]

如果希望加速余弦相似度计算并减少内存使用,可以安装sparse_dot_topn:

pip install polyfuzz[fast]

快速入门

让我们通过一个简单的例子来了解PolyFuzz的基本用法:

from polyfuzz import PolyFuzz

# 定义两个字符串列表
from_list = ["apple", "apples", "appl", "recal", "house", "similarity"]
to_list = ["apple", "apples", "mouse"]

# 使用TF-IDF模型进行匹配
model = PolyFuzz("TF-IDF")
model.match(from_list, to_list)

# 获取匹配结果
results = model.get_matches()
print(results)

输出结果:

         From      To    Similarity
0       apple   apple    1.000000
1      apples  apples    1.000000
2        appl   apple    0.783751
3       recal    None    0.000000
4       house   mouse    0.587927
5  similarity    None    0.000000

这个例子展示了如何使用PolyFuzz的TF-IDF模型来匹配两个字符串列表。结果显示了每个源字符串(From)与目标列表中最相似的字符串(To)及其相似度得分。

核心功能详解

1. 多种匹配算法

PolyFuzz提供了多种字符串匹配算法,每种算法都有其特点和适用场景:

TF-IDF: 基于字符级n-gram的TF-IDF算法,适用于处理拼写错误和短文本。
编辑距离: 包括Levenshtein、Jaro-Winkler等多种距离度量,适用于处理拼写错误和简单的文本变体。
词嵌入: 支持FastText和GloVe等预训练词向量,适用于捕捉语义相似性。
Transformer模型: 集成了🤗 Transformers库,可以使用BERT等先进的预训练模型进行匹配。

使用不同的算法非常简单:

# 使用编辑距离
model_edit = PolyFuzz("EditDistance")

# 使用FastText
model_fasttext = PolyFuzz("Embeddings")

2. 字符串分组

PolyFuzz不仅可以进行字符串匹配,还能对相似的字符串进行分组:

model = PolyFuzz("TF-IDF")
model.match(from_list, to_list)
model.group(link_min_similarity=0.75)

grouped_results = model.get_matches()
print(grouped_results)

输出结果:

      From    To    Similarity    Group
0     apple   apple   1.000000    apples
1    apples   apples  1.000000    apples
2      appl   apple   0.783751    apples
3     recal   None    0.000000    None
4     house   mouse   0.587927    mouse
5 similarity  None    0.000000    None

这个功能对于数据清洗和实体解析特别有用,可以自动将相似的字符串归类到同一组。

3. 评估和可视化

PolyFuzz提供了丰富的评估和可视化工具,帮助用户理解和比较不同模型的性能:

model.visualize_precision_recall()

Precision-Recall Curve

这个精确率-召回率曲线可以帮助用户选择最佳的相似度阈值,平衡匹配的精确度和覆盖率。

4. 生产环境应用

PolyFuzz还提供了fit、transform和fit_transform方法,使其能够轻松集成到生产环境中:

# 训练模型
train_words = ["apple", "apples", "appl", "recal", "house", "similarity"]
model = PolyFuzz("TF-IDF")
model.fit(train_words)

# 应用模型
unseen_words = ["apple", "apples", "mouse"]
results = model.transform(unseen_words)

# 保存和加载模型
model.save("my_model")
loaded_model = PolyFuzz.load("my_model")

这种方式允许用户在大规模数据集上训练模型,然后快速应用于新的数据。

高级功能和自定义

自定义分组器

PolyFuzz允许用户使用自定义的分组器:

from polyfuzz.models import EditDistance

model = PolyFuzz("TF-IDF")
model.match(from_list, to_list)

edit_grouper = EditDistance(n_jobs=1)
model.group(edit_grouper)

这为用户提供了更大的灵活性,可以根据特定需求选择最适合的分组方法。

自定义模型

对于有特殊需求的用户,PolyFuzz支持创建和集成自定义模型:

import numpy as np
import pandas as pd
from rapidfuzz import fuzz
from polyfuzz.models import BaseMatcher

class MyModel(BaseMatcher):
    def match(self, from_list, to_list, **kwargs):
        # 计算距离
        matches = [[fuzz.ratio(from_string, to_string) / 100 for to_string in to_list] 
                    for from_string in from_list]
        
        # 获取最佳匹配
        mappings = [to_list[index] for index in np.argmax(matches, axis=1)]
        scores = np.max(matches, axis=1)
        
        # 准备数据框
        matches = pd.DataFrame({'From': from_list,'To': mappings, 'Similarity': scores})
        return matches

custom_model = MyModel()
model = PolyFuzz(custom_model)

这种自定义能力使PolyFuzz能够适应各种复杂的字符串匹配场景。