在机器人操作过程中,对物体6D姿态的准确跟踪至关重要。然而,这项任务面临着多重挑战:机器人操作过程中存在大量遮挡;6D姿态数据和标注的采集困难且耗时;长期跟踪中累积误差导致需要重新初始化物体姿态。为了解决这些问题,Rutgers大学的研究人员提出了一种名为se(3)-TrackNet的创新方法,用于长期、稳定的6D姿态跟踪。
se(3)-TrackNet的核心思想是通过一个数据驱动的优化方法来识别最优的相对姿态。具体来说,该方法结合了当前的RGB-D观测以及基于先前最佳估计和物体模型生成的合成图像。这种方法的关键创新点包括:
这些创新使得即使网络仅使用合成数据训练,也能在真实图像上有效工作。研究人员对现有基准数据集以及一个新的包含大量遮挡的物体操作数据集进行了全面实验,结果表明se(3)-TrackNet能够持续获得稳健的估计,并优于其他方法,即使那些使用真实图像训练的方法。此外,se(3)-TrackNet在计算效率方面也表现出色,能够达到90.9Hz的跟踪频率。
se(3)-TrackNet的潜在应用场景广泛,包括但不限于:
值得注意的是,se(3)-TrackNet需要目标物体的CAD模型。对于没有CAD模型的未知物体,研究团队还开发了另一个名为BundleTrack的项目,可以 即时用于6D姿态跟踪。
se(3)-TrackNet的工作流程如下:
这种方法的优势在于:
研究人员在多个数据集上进行了广泛的实验,包括YCB-Video数据集和新开发的YCBInEOAT数据集。实验结果显示:
为了更好地评估6D姿态跟踪算法在实际机器人操作中的性能,研究团队开发了YCBInEOAT数据集。该数据集具有以下特点:
这个数据集为研究人员提供了一个更加贴近实际应用场景的测试平台。