访问官网
Github
文档
论文项目介绍：Fairness Indicators
Fairness Indicators 是一个旨在帮助团队评估、改善和比较机器学习模型公平性问题的工具，旨在与更广泛的 TensorFlow 工具包合作。它被广泛应用于多个产品的内部评估工作中，希望能够与用户合作，了解其实用性及功能扩展需求。如果有任何反馈或想法，欢迎通过 tfx@tensorflow.org 与我们联系。
Fairness Indicators 的主要特点
Fairness Indicators 是一个用于二元和多分类分类器的工具，提供了一种简便的方式来计算普遍识别的公平性指标。当前市场上的许多公平性评估工具无法有效处理大规模的数据集和模型，而 Fairness Indicators 则可以适用于任何规模的应用场景。它特别包括以下几项功能：
- 评估数据集的分布
- 评估模型在用户定义群体中的性能表现
- 提供置信区间和多重阈值评估，以提高结果的可信度
- 深入分析具体群体，探讨根本原因和改进机会
Fairness Indicators 的真实应用实例和编程练习展示了它如何在产品中持续评估公平性问题。
安装指南
用户可以通过以下命令简单地安装 Fairness Indicators 工具：
pip install fairness-indicators
这个 pip 软件包包含以下几个组件：
- Tensorflow 数据验证（TFDV） - 分析数据集的分布
- Tensorflow 模型分析（TFMA） - 分析模型性能
- Fairness Indicators - TFMA 的附加功能，添加了公平性指标和跨群体的性能比较
- What-If 工具（WIT） - 一个交互式可视化界面，帮助更好地探查模型
除此之外，Fairness Indicators 还支持在 Google 云上的 nightly 版本安装，确保用户能够获取到最新的依赖包更新。
Fairness Indicators 的应用
Fairness Indicators 与 TensorFlow 已有工具无缝集成，用户可以通过以下方式加以利用：
- 在 Tensorflow Extended 的 Evaluator 组件中使用 Fairness Indicators
- 在 TensorBoard 中评估其它实时指标时使用 Fairness Indicators
即使用户无需使用现有的 TensorFlow 工具，也可以下载 Fairness Indicators pip 包，单独使用 Tensorflow 模型分析工具。TFMA 的无模型限制功能还允许用户基于任何模型的输出计算 Fairness Indicators。
示例实例
Fairness Indicators 的库中包含多个教程和示例文件，帮助用户了解如何在真实数据集上运用 Fairness Indicators，并结合 TFMA 和 WIT 分析工具进行更深入的模型分析。
兼容性
Fairness Indicators 与 TensorFlow 各版本之间的兼容性已由测试框架验证，用户可以根据这些兼容性指南选择适当的版本。此外，该工具还支持多版本的 TensorFlow 分支，可根据需要灵活使用。
Fairness Indicators 帮助充分利用机器学习的力量，同时确保模型的公平性，在不断变化的技术环境中支持更加透明和公正的决策。
