nn-Meter
nn-Meter是一个用于预测深度神经网络模型在边缘设备上推理延迟的系统。其核心是将模型推理分解为内核级别进行预测。系统在26000个模型的数据集上评估了4个主流平台,在移动CPU、GPU和VPU上达到较高预测精度。无需部署即可预测延迟,可用于硬件感知的神经架构搜索,并支持构建自定义设备的延迟预测器。
