本仓库已被弃用，取而代之的是 ZenoHub，不再积极维护。

Zeno 是一个通用的机器学习模型评估框架。 它结合了 Python API 和 交互式 UI，让用户能够在各种用例中发现、探索和分析他们的模型性能。 Zeno 可用于任何数据类型或任务，具有模块化视图，涵盖从目标检测到音频转录等各种应用。

演示

图像分类	音频转录	图像生成	数据集聊天机器人	传感器分类
Imagenette	Speech Accent Archive	DiffusionDB	LangChain + Notion	MotionSense
代码	代码	代码	代码	代码

https://user-images.githubusercontent.com/4563691/220689691-1ad7c184-02db-4615-b5ac-f52b8d5b8ea3.mp4

快速开始

从 PyPI 安装 Zeno Python 包：

pip install zenoml

命令行

要开始使用，请运行以下命令初始化 Zeno 项目。它将引导您创建 zeno.toml 配置文件：

zeno init

查看配置文档了解额外的 toml 文件选项，如添加模型函数。

使用 zeno zeno.toml 启动 Zeno。

Jupyter Notebook

您也可以直接从 Jupyter notebooks 或 lab 运行 Zeno。zeno 命令接受一个配置选项字典作为输入。完整的选项列表请参见文档。在这个例子中，我们传递了探索非表格数据集所需的最少选项：

import pandas as pd
from zeno import zeno

df = pd.read_csv("/path/to/metadata/file.csv")

zeno({
    "metadata": df, # 包含每个实例一行的 Pandas DataFrame
    "view": "audio-transcription", # 此数据/任务的视图类型
    "data_path": "/path/to/raw/data/", # 包含原始数据（图像、音频等）的文件夹
    "data_column": "id" # 元数据文件中包含 data_path 中文件相对路径的列
})

在添加模型和指标时，您可以直接将装饰过的函数引用列表传递给 Zeno。

引用

请引用我们的 CHI'23 论文

@inproceedings{cabrera23zeno,
  author = {Cabrera, Ángel Alexander and Fu, Erica and Bertucci, Donald and Holstein, Kenneth and Talwalkar, Ameet and Hong, Jason I. and Perer, Adam},
  title = {Zeno: An Interactive Framework for Behavioral Evaluation of Machine Learning},
  year = {2023},
  isbn = {978-1-4503-9421-5/23/04},
  publisher = {Association for Computing Machinery},
  address = {New York, NY, USA},
  url = {https://doi.org/10.1145/3544548.3581268},
  doi = {10.1145/3544548.3581268},
  booktitle = {CHI Conference on Human Factors in Computing Systems},
  location = {Hamburg, Germany},
  series = {CHI '23}
}

社区

如果遇到任何问题或有请求，请在我们的 Discord 频道与我们交流，或在此仓库提出问题！