热门
导航
快讯
推荐文章
热门
导航
快讯
推荐文章
#nn-Meter
nn-Meter: 准确预测深度学习模型在多种边缘设备上的推理延迟
2 个月前
nn-Meter是一个创新高效的系统,可以准确预测深度神经网络模型在多种边缘设备上的推理延迟。它的核心思想是将整个模型推理过程分解为内核级别,即设备上融合算子的执行单元,并进行内核级预测。
nn-Meter
深度学习
边缘计算
神经网络
延迟预测
Github
开源项目
2 个月前
相关项目
nn-Meter
nn-Meter是一个用于预测深度神经网络模型在边缘设备上推理延迟的系统。其核心是将模型推理分解为内核级别进行预测。系统在26000个模型的数据集上评估了4个主流平台,在移动CPU、GPU和VPU上达到较高预测精度。无需部署即可预测延迟,可用于硬件感知的神经架构搜索,并支持构建自定义设备的延迟预测器。
查看
使用协议
隐私政策
广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI
·
鲁ICP备2024100362号-6
·
鲁公网安备37021002001498号