git clone https://github.com/brjathu/PHALP.git
cd PHALP
conda create -n phalp python=3.10
conda activate phalp
conda install pytorch torchvision torchaudio pytorch-cuda=11.7 -c pytorch -c nvidia
pip install -e .[all]

除了这些选项，您还可以将图像和边界框作为输入提供，这样模型将只使用给定的边界框进行跟踪。要实现这一点，您需要将video.source指定为一个.pkl文件，其中每个键是帧名称，图像的绝对路径通过os.path.join(video.base_path, frame_name)计算得出。每个键的值是一个包含以下键的字典：gt_bbox、gt_class、gt_track_id。请参见以下示例。gt_boxes是一个形状为(N, 4)的np.ndarray，其中每行是格式为[x1, y1, x2, y2]的边界框。您还可以提供gt_class和gt_track_id以存储在最终输出中。

gt_data[frame_id] = {
                    "gt_bbox": gt_boxes,
                    "extra_data": {
                        "gt_class": [],
                        "gt_track_id": [],
                    }
                }

但是，如果视频太长，提取帧太耗时，您可以设置video.extract_video=False。这将使用torchvision后端，并且只会在内存中保留视频的时间戳。如果启用此选项，您可以以秒为单位给出视频的开始时间和结束时间。

python scripts/demo.py video.source=assets/videos/vid.mp4 video.extract_video=False video.start_time=1s video.end_time=2s

# 用于渲染检测到的和被遮挡的人
python scripts/demo.py video.source=assets/videos/vid.mp4 render.head_mask=True

您还可以通过设置 render.show_keypoints=True 来可视化2D投影关键点[待完成]。

• 出于调试目的，您可以设置 debug=True 来禁用富进度条。

import joblib
results = joblib.load(<video.output_dir>/results/<video_name>.pkl)
results = {
  # 每帧的字典。
  'vid_frame0.jpg': {
    '2d_joints':       List[np.array(90,)],   # 每个检测的45个2D关节
    '3d_joints':       List[np.array(45,3)],  # 每个检测的45个3D关节
    'annotations':     List[Any],             # 每个检测的自定义注释
    'appe':            List[np.array(4096,)], # 每个检测的外观特征
    'bbox':            List[[x0 y0 w h]],     # 每个轨迹（检测+幽灵）的2D边界框（左上角和尺寸）
    'camera':          List[[tx ty tz]],      # 每个检测的相机平移（相对于图像）
    'camera_bbox':     List[[tx ty tz]],      # 每个检测的相机平移（相对于边界框）
    'center':          List[[cx cy]],         # 每个检测的边界框2D中心
    'class_name':      List[int],             # 每个检测的类别ID（人类为0）
    'conf':            List[float],           # 每个检测的置信度分数
    'frame_path':      'vid_frame0.jpg',      # 帧标识符
    'loca':            List[np.array(99,)],   # 每个检测的位置特征
    'mask':            List[mask],            # 每个检测的RLE压缩掩码
    'pose':            List[np.array(229,)],  # 每个检测的姿势特征（连接的SMPL参数）
    'scale':           List[float],           # 每个检测的max(宽度, 高度)
    'shot':            int,                   # 镜头编号
    'size':            List[[imgw imgh]],     # 每个检测的图像尺寸
    'smpl':            List[Dict_SMPL],       # 每个检测的SMPL参数：betas (10), body_pose (23x3x3), global_orient (3x3)
    'tid':             List[int],             # 每个检测的轨迹ID
    'time':            int,                   # 帧号
    'tracked_bbox':    List[[x0 y0 w h]],     # 每个检测的2D边界框（左上角和尺寸）
    'tracked_ids':     List[int],             # 每个检测的轨迹ID
    'tracked_time':    List[int],             # 每个检测上次被看到的时间
  },
  'vid_frame1.jpg': {
    ...
  },
  ...
}