Presidio Research: 开发和评估PII检测模型的强大工具箱

presidio-research

Presidio Research: 隐私保护利器

在当今数字时代,个人隐私信息的保护变得越来越重要。微软开源的Presidio Research项目为此提供了一个强大的工具箱,用于开发和评估个人身份信息(PII)检测模型。本文将深入介绍Presidio Research的功能特性、使用方法以及它在隐私保护领域的重要价值。

Presidio Research 简介

Presidio Research是Presidio项目的一个重要组成部分,专注于与数据科学相关的任务,用于开发新的识别器和评估整个系统。它不仅可以评估特定的PII识别器或PII检测模型,还包含了一个假数据生成器,能够基于模板和假PII创建合成句子。

Presidio Research Logo

主要功能

Presidio Research包含以下几个核心功能模块:

假数据生成器: 用于PII识别器和NER模型的数据生成
数据表示层: 用于数据生成、建模和分析
多种模型/识别器评估: 支持评估Spacy、Flair、CRF、Presidio API等多种模型
多模型训练和建模代码: 提供了多种模型的训练方法
结果分析辅助功能: 帮助分析评估结果

谁应该使用Presidio Research?

Presidio Research主要面向以下两类用户:

对开发或评估PII检测模型感兴趣的研究人员和开发者,包括评估现有Presidio实例或Presidio PII识别器。
希望基于现有数据集或句子模板生成新数据的用户,例如为命名实体识别(NER)模型增加实体值覆盖范围。

快速入门

要开始使用Presidio Research,你需要Python 3.9或更高版本。安装方式有两种:

从PyPI安装

conda create --name presidio python=3.9
conda activate presidio
pip install presidio-evaluator

# 下载presidio-analyzer使用的spaCy模型
python -m spacy download en_core_web_lg

从源码安装

克隆仓库
安装依赖(推荐使用虚拟环境):

pip install poetry
poetry install --with=dev

# 安装所有额外的NER依赖(如Flair、Stanza、CRF),运行:
# poetry install --with='ner,dev'

# 下载presidio-analyzer使用的spaCy模型
python -m spacy download en_core_web_lg

# 验证安装
pytest

注意:一些依赖(如Flair和Stanza)不会自动安装,以减少安装复杂性。

数据生成

Presidio Research的数据生成过程非常灵活。它接收一个包含模板的文件,例如My name is {{name}}。然后,通过对模板和PII值进行采样,创建新的合成句子。此外,它还会对数据进行标记化,为新创建的样本创建标签(IO/BIO/BILUO)和跨度。

Data Generation Process

要了解更多关于数据生成/增强的信息,可以查看数据生成器README。对于运行生成过程的示例,可以参考这个notebook。

数据表示

为了标准化处理过程,Presidio Research使用特定的数据对象来保存生成、分析、建模和评估数据和模型所需的所有信息。这些对象定义在data_objects.py中。

标准化的结构List[InputSample]可以转换为不同的格式,包括CONLL、spaCy v3、Flair和JSON。这种灵活性使得数据可以轻松地用于不同的工具和模型。

PII模型评估

Presidio Research框架允许你评估Presidio作为一个系统、NER模型或特定PII识别器的精确度和召回率,并进行错误分析。以下是一些评估示例:

训练PII检测模型

Presidio Research还提供了训练多种PII检测模型的功能:

CRF

要在新数据集上训练vanilla CRF,可以参考这个notebook。

spaCy

要训练新的spaCy模型,首先需要将数据集保存为spaCy格式:

# dataset是一个List[InputSample]
InputSample.create_spacy_dataset(dataset, output_path="dataset.spacy")

Flair

要训练Flair模型,可以使用这个辅助类或以下代码片段:

from presidio_evaluator.models import FlairTrainer
train_samples = "data/generated_train.json"
test_samples = "data/generated_test.json"
val_samples = "data/generated_validation.json"

trainer = FlairTrainer()
trainer.create_flair_corpus(train_samples, test_samples, val_samples)

corpus = trainer.read_corpus("")
trainer.train(corpus)