RK3588逐算子查CPU回退方法与实测
热点事件历史事件
RK3588逐算子查CPU回退方法与实测
1 篇报道1 个报道来源10 天前更新
先了解这件事
AI 综述
作者anguoyang分享了在RK3588上排查模型算子静默回退到CPU的完整方法:直接调用librknnrt的PERF接口读取硬件侧逐算子账本,再按CPU时间占比判断哪些算子跑在CPU上。作者称,rknn_init时必须带RKNN_FLAG_COLLECT_PERF_MASK(值8),否则PERF_DETAIL返回空字符串且不报错。 测量方面,作者称板子闲置一段时间后,第一个进程的推理整体会慢约15%,因此其做法是进程级多轮重复、取中位数,并把测量时的系统负载一并记入报告。作者邀请在自定义模型上查出MIXED或CPU_HEAVY报告的人到仓库提issue。
AI 根据报道生成 · 10 天前更新
最新进展11月5日 16:52
RK3588 上模型能跑但很慢:逐算子查 CPU 回退的完整方法与实测报道时间线
沿着报道,了解事件的不同侧面。
11月5日
- 掘金精选RK3588 上模型能跑但很慢:逐算子查 CPU 回退的完整方法与实测
作者给出在 RK3588 上排查模型算子静默回退到 CPU 的完整方法:rknn_init 必须带 RKNN_FLAG_COLLECT_PERF_MASK(值 8)。