py-motmetrics

py-motmetrics 库提供了用于评估多目标追踪器 (MOT) 性能的 Python 实现。

虽然评估单目标追踪器的性能相对简单,但测量多目标追踪器的性能需要谨慎设计,因为可能出现多个对应关系组合(见下图)。过去提出了各种方法,虽然没有一种方法被普遍接受,但 [1,2,3,4] 中的方法在最近几年受到了相当大的关注。py-motmetrics 实现了这些度量指标。

图片由 Bernardin, Keni 和 Rainer Stiefelhagen 提供 [1]

py-motmetrics 特别支持 CLEAR-MOT[1,2] 度量和 ID[4] 度量。这些度量都试图在真实目标和预测之间找到最小成本的分配。但是,而 CLEAR-MOT 在每个帧的基础上解决分配问题,ID-MEASURE 通过在所有帧上找到目标和预测的最小成本来解决二分图匹配。Ergys 的博客文章详细阐述了这些差异。

主要特性

多样的度量指标
提供 MOTA、MOTP、轨迹质量度量、全局 ID 度量等。结果可与流行的 [MOTChallenge][motchallenge] 基准(*1)进行比较。
不受距离影响
支持欧氏距离、交并比和其他距离度量。
完整的事件历史
跟踪所有相关的每帧事件,如对应、遗漏、虚警和切换。
灵活的求解器后端
支持切换最小分配成本求解器。内置支持 scipy、ortools、munkres。根据可用性和问题规模自动选择求解器。
易于扩展
事件和摘要使用 [pandas][pandas] 进行数据结构和分析。新的度量可重复使用已计算的依赖度量的值。

度量指标

py-motmetrics 实现了以下度量指标。这些度量指标与 [MOTChallenge][motchallenge] 基准报告的指标保持一致。

import motmetrics as mm
# 列出所有默认指标
mh = mm.metrics.create()
print(mh.list_metrics_markdown())

名称	描述
num_frames	总帧数。
num_matches	总匹配数。
num_switches	总的轨迹切换次数。
num_false_positives	总的虚警数(错误检测)。
num_misses	总的遗漏数。
num_detections	包括匹配和切换在内的总检测数。
num_objects	所有帧中唯一目标出现的总数。
num_predictions	所有帧中唯一预测出现的总数。
num_unique_objects	遇到的唯一目标 ID 的总数。
mostly_tracked	被跟踪时间超过 80% 的目标数。
partially_tracked	被跟踪时间在 20% 到 80% 之间的目标数。
mostly_lost	被跟踪时间不足 20% 的目标数。
num_fragmentations	从跟踪到未跟踪的总切换次数。
motp	多目标跟踪精度。
mota	多目标跟踪准确性。
precision	检测数除以检测和虚警之和。
recall	检测数除以目标数。
idfp	ID 度量: 全局最小成本匹配后的虚警数。
idfn	ID 度量: 全局最小成本匹配后的遗漏数。
idtp	ID 度量: 全局最小成本匹配后的真阳数。
idp	ID 度量: 全局最小成本精度。
idr	ID 度量: 全局最小成本召回率。
idf1	ID 度量: 全局最小成本 F1 分数。
obj_frequencies	`pd.Series` 各目标在所有帧中出现的总次数。
pred_frequencies	`pd.Series` 各预测在所有帧中出现的总次数。
track_ratios	`pd.Series` 各目标 ID 的分配次数占总出现次数的比率。
id_global_assignment	`dict` ID 度量: 全局最小成本分配。
deta_alpha	HOTA: 给定阈值的检测准确率(DetA)。
assa_alpha	HOTA: 给定阈值的关联准确率(AssA)。
hota_alpha	HOTA: 给定阈值的高阶跟踪准确率(HOTA)。

与 MOTChallenge 的兼容性

py-motmetrics 生成的结果与流行的 [MOTChallenge][motchallenge] 基准(*1)兼容。以下是从 MOTChallenge [Matlab 开发工具包][devkit]中获取的两个结果,它们对应于 2015 MOT 2DMark 训练集上 CEM 跟踪器的结果。


TUD-Campus
 IDF1  IDP  IDR| Rcll  Prcn   FAR| GT  MT  PT  ML|   FP    FN  IDs   FM| MOTA  MOTP MOTAL
 55.8 73.0 45.1| 58.2  94.1  0.18|  8   1   6   1|   13   150    7    7| 52.6  72.3  54.3

TUD-Stadtmitte
 IDF1  IDP  IDR| Rcll  Prcn   FAR| GT  MT  PT  ML|   FP    FN  IDs   FM| MOTA  MOTP MOTAL
 64.5 82.0 53.1| 60.9  94.0  0.25| 10   5   4   1|   45   452    7    6| 56.4  65.4  56.9

与 py-motmetrics 的比较:

                IDF1   IDP   IDR  Rcll  Prcn GT MT PT ML FP  FN IDs  FM  MOTA  MOTP
TUD-Campus     55.8% 73.0% 45.1% 58.2% 94.1%  8  1  6  1 13 150   7   7 52.6% 0.277
TUD-Stadtmitte 64.5% 82.0% 53.1% 60.9% 94.0% 10  5  4  1 45 452   7   6 56.4% 0.346

(*1) 除了命名约定之外,唯一明显的差异是:

缺少指标 FAR。此指标可隐式给出,可以通过 FalsePos / Frames * 100 计算。
指标 MOTP 似乎偏离。要转换,请计算 (1 - MOTP) * 100。[MOTChallenge][motchallenge] 基准将 MOTP 计算为百分比,而 py-motmetrics 坚持使用原始定义的分配目标平均距离[1]。

您可以通过将跟踪器结果与 MOTChallenge 格式的地面真实数据进行比较。

python -m motmetrics.apps.eval_motchallenge --help

对于 MOT16/17, 您可以运行

python -m motmetrics.apps.evaluateTracking --help

安装

要安装最新的 py-motmetrics 开发版本 (通常比 PyPi 上的更新一些)

pip install git+https://github.com/cheind/py-motmetrics.git

通过 PyPi 安装

使用 pip 安装 py-motmetrics

pip install motmetrics

需要 Python 3.5/3.6/3.9 和 numpy、pandas 以及 scipy。如果您的平台没有二进制包可用,并且从源代码构建失败,您可能想尝试使用 Conda (见下文) 来安装依赖项。

另外,对于开发,可以克隆或复刻这个仓库,并以编辑模式安装。

pip install -e <path/to/setup.py>

通过 Conda 安装

如果您使用 Conda,一个简单的运行 py-motmetrics 的方法是创建一个包含所有必要依赖项的虚拟环境

conda env create -f environment.yml
> activate motmetrics-env

然后激活 / 源 motmetrics-env 并安装 py-motmetrics 并运行测试。

activate motmetrics-env
pip install .
pytest

如果您已经有一个环境,可以在您的环境中通过以下方式安装依赖项

conda install --file requirements.txt
pip install .
pytest

使用

填充累加器

import motmetrics as mm
import numpy as np

# 创建一个将在每个帧中更新的累加器
acc = mm.MOTAccumulator(auto_id=True)

# 每帧调用一次 update。现在假设帧对象/假设之间的距离已经给出。
acc.update(
    [1, 2],                     # 该帧中的地面实况对象
    [1, 2, 3],                  # 该帧中的检测器假设
    [
        [0.1, np.nan, 0.3],     # 对象 1 到假设 1、2、3 的距离
        [0.5,  0.2,   0.3]      # 对象 2 到假设 1、2、3 的距离
    ]
)

上面的代码更新了一个事件累加器,其中包含了单个帧的数据。这里我们假设成对的对象/假设距离已经计算好了。请注意距离矩阵中的 np.nan。它表示对象 1 无法与假设 2 配对。要检查当前的事件历史,只需打印与累加器关联的事件。

print(acc.events) # 一个包含所有事件的 pandas DataFrame

"""
                Type  OId HId    D
FrameId Event
0       0        RAW    1   1  0.1
        1        RAW    1   2  NaN
        2        RAW    1   3  0.3
        3        RAW    2   1  0.5
        4        RAW    2   2  0.2
        5        RAW    2   3  0.3
        6      MATCH    1   1  0.1
        7      MATCH    2   2  0.2
        8         FP  NaN   3  NaN
"""

上面的数据帧包含 RAW 和 MOT 事件。要获取只有 MOT 事件,请输入

print(acc.mot_events) # 一个包含 MOT 事件的 pandas DataFrame

"""
                Type  OId HId    D
FrameId Event
0       6      MATCH    1   1  0.1
        7      MATCH    2   2  0.2
        8         FP  NaN   3  NaN
"""

这意味着对象 1 与假设 1 匹配,距离为 0.1。同样,对象 2 与假设 2 匹配,距离为 0.2。假设 3 无法与任何剩余对象匹配,因此产生了一个假阳性 (FP)。可能的分配是通过最小化总分配距离来计算的(Kuhn-Munkres 算法)。

继续上面的例子

frameid = acc.update(
    [1, 2],
    [1],
    [
        [0.2],
        [0.4]
    ]
)
print(acc.mot_events.loc[frameid])

"""
        Type OId  HId    D
Event
2      MATCH   1    1  0.2
3       MISS   2  NaN  NaN
"""

虽然对象 1 被匹配,但对象 2 无法匹配,因为没有剩余的假设可以与之配对。

frameid = acc.update(
    [1, 2],
    [1, 3],
    [
        [0.6, 0.2],
        [0.1, 0.6]
    ]
)
print(acc.mot_events.loc[frameid])

"""
         Type OId HId    D
Event
4       MATCH   1   1  0.6
5      SWITCH   2   3  0.6
"""

对象 2 现在由假设 3 跟踪,这导致了一次轨迹切换。请注意,虽然配对 (1, 3) 的成本小于 0.6,但算法更喜欢从过去帧继续分配跟踪,这是 MOT 指标的一个属性。

计算指标

一旦累加器填充完毕,您就可以计算并显示指标。继续上面的示例

mh = mm.metrics.create()
summary = mh.compute(acc, metrics=['num_frames', 'mota', 'motp'], name='acc')
print(summary)

"""
     num_frames  mota  motp
acc           3   0.5  0.34
"""

也可以计算多个累加器或累加器视图的指标

summary = mh.compute_many(
    [acc, acc.events.loc[0:1]],
    metrics=['num_frames', 'mota', 'motp'],
    names=['full', 'part'])
print(summary)

"""
      num_frames  mota      motp
full           3   0.5  0.340000
part           2   0.5  0.166667
"""

最后,您可能想要重新格式化列名和列值的显示方式。

strsummary = mm.io.render_summary(
    summary,
    formatters={'mota' : '{:.2%}'.format},
    namemap={'mota': 'MOTA', 'motp' : 'MOTP'}
)
print(strsummary)

"""
      num_frames   MOTA      MOTP
full           3 50.00%  0.340000
part           2 50.00%  0.166667
"""

对于 MOTChallenge, py-motmetrics 提供了预定义的指标选择器、格式化程序和指标名称,使结果看起来与 Matlab devkit 提供的内容类似。

summary = mh.compute_many(
    [acc, acc.events.loc[0:1]],
    metrics=mm.metrics.motchallenge_metrics,
    names=['full', 'part'])

strsummary = mm.io.render_summary(
    summary,
    formatters=mh.formatters,
    namemap=mm.io.motchallenge_metric_names
)
print(strsummary)

"""
      IDF1   IDP   IDR  Rcll  Prcn GT MT PT ML FP FN IDs  FM  MOTA  MOTP
full 83.3% 83.3% 83.3% 83.3% 83.3%  2  1  1  0  1  1   1   1 50.0% 0.340
part 75.0% 75.0% 75.0% 75.0% 75.0%  2  1  1  0  1  1   0   0 50.0% 0.167
"""

要生成一个总体汇总,该汇总计算所有累加器的指标,请添加 generate_overall=True

summary = mh.compute_many(
    [acc, acc.events.loc[0:1]],
    metrics=mm.metrics.motchallenge_metrics,
    names=['full', 'part'],
    generate_overall=True
    )

strsummary = mm.io.render_summary(
    summary,
    formatters=mh.formatters,
    namemap=mm.io.motchallenge_metric_names
)
print(strsummary)

<TARGET_TEXT> 这是一个从英语到中文的翻译，以下是源文本的中文翻译:

""" IDF1 IDP IDR Rcll Prcn GT MT PT ML FP FN IDs FM MOTA MOTP full 83.3% 83.3% 83.3% 83.3% 83.3% 2 1 1 0 1 1 1 1 50.0% 0.340 part 75.0% 75.0% 75.0% 75.0% 75.0% 2 1 1 0 1 1 0 0 50.0% 0.167 OVERALL 80.0% 80.0% 80.0% 80.0% 80.0% 4 2 2 0 2 2 1 1 50.0% 0.275 """ </TARGET_TEXT>

选择当前帧的id、x、y、宽度和高度

计算距离所需的格式为X、Y、宽度、高度 \

我们已经有了这种格式

gt_dets = gt[gt[:,0]==frame,1:6] # 选择gt中的所有检测 t_dets = t[t[:,0]==frame,1:6] # 选择t中的所有检测

C = mm.distances.iou_matrix(gt_dets[:,1:], t_dets[:,1:],
max_iou=0.5) # 格式：gt, t

每帧调用一次update。

格式：gt对象id、t对象id、距离

acc.update(gt_dets[:,0].astype('int').tolist(),
t_dets[:,0].astype('int').tolist(), C)

mh = mm.metrics.create()

summary = mh.compute(acc, metrics=['num_frames', 'idf1', 'idp', 'idr',
'recall', 'precision', 'num_objects',
'mostly_tracked', 'partially_tracked',
'mostly_lost', 'num_false_positives',
'num_misses', 'num_switches',
'num_fragmentations', 'mota', 'motp'
],
name='acc')

strsummary = mm.io.render_summary( summary, #formatters={'mota' : '{:.2%}'.format}, namemap={'idf1': 'IDF1', 'idp': 'IDP', 'idr': 'IDR', 'recall': 'Rcll',
'precision': 'Prcn', 'num_objects': 'GT',
'mostly_tracked' : 'MT', 'partially_tracked': 'PT',
'mostly_lost' : 'ML', 'num_false_positives': 'FP',
'num_misses': 'FN', 'num_switches' : 'IDsw',
'num_fragmentations' : 'FM', 'mota': 'MOTA', 'motp' : 'MOTP',
} ) print(strsummary)