跳到正文
热点事件历史事件

RK3588逐算子查CPU回退方法与实测

1 篇报道1 个报道来源10 天前更新

先了解这件事

AI 综述

作者anguoyang分享了在RK3588上排查模型算子静默回退到CPU的完整方法:直接调用librknnrt的PERF接口读取硬件侧逐算子账本,再按CPU时间占比判断哪些算子跑在CPU上。作者称,rknn_init时必须带RKNN_FLAG_COLLECT_PERF_MASK(值8),否则PERF_DETAIL返回空字符串且不报错。 测量方面,作者称板子闲置一段时间后,第一个进程的推理整体会慢约15%,因此其做法是进程级多轮重复、取中位数,并把测量时的系统负载一并记入报告。作者邀请在自定义模型上查出MIXED或CPU_HEAVY报告的人到仓库提issue。

AI 根据报道生成 · 10 天前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月5日
  1. 掘金精选
    RK3588 上模型能跑但很慢:逐算子查 CPU 回退的完整方法与实测

    作者给出在 RK3588 上排查模型算子静默回退到 CPU 的完整方法:rknn_init 必须带 RKNN_FLAG_COLLECT_PERF_MASK(值 8)。