Github
Huggingface
论文StarPII项目介绍
项目概述
StarPII是一个专门用于在代码数据集中检测个人身份信息(PII)的命名实体识别模型。该模型基于bigcode-encoder进行微调,能够识别包括姓名、电子邮件、密钥、密码、IP地址和用户名等6种类型的敏感信息。
技术特点
StarPII模型采用了两阶段训练方法:
- 首先在伪标注数据集上进行初步训练
- 然后在人工标注的数据集上进行精细微调
模型架构上,StarPII在编码器的基础上添加了一个线性层作为token分类头。基础编码器已在包含88种编程语言的The Stack数据集上进行了预训练,具有良好的语言理解能力。
数据集特点
训练数据包含两个重要部分:
- 人工标注数据集包含20,961个敏感信息样本,覆盖31种编程语言
- 伪标注数据集包含18,000个文件,通过集成Deberta-v3-large和stanford-deidentifier-base两个模型进行标注
性能表现
StarPII在各类敏感信息的检测上都展现出了优秀的性能:
- 电子邮件检测:准确率97.73%,召回率98.94%,F1值98.15%
- IP地址检测:准确率90.10%,召回率93.86%,F1值91.94%
- 密钥检测:准确率62.38%,召回率80.81%,F1值70.41%
- 姓名检测:准确率86.45%,召回率97.38%,F1值91.59%
- 密码检测:准确率70.94%,召回率95.96%,F1值81.57%
实用建议
为提高检测质量,建议在使用StarPII时采用以下后处理规则:
- 忽略少于4个字符的敏感信息
- 仅检测完整姓名
- 对于密钥,忽略少于9个字符或非乱码的内容
- 仅识别有效的公网IP地址,忽略私有IP地址和常见DNS服务器地址
使用注意事项
- 模型可能存在误报和漏报的情况
- 在不同类型数据和编程语言上的表现可能有所差异
- 建议在特定场景下进行验证和调优
- 使用者需遵守数据保护措施并维护道德标准
通过开放这个模型,项目组希望推动隐私保护AI技术的发展,同时也提醒使用者注意潜在的PII相关风险。
