跳到正文
掘金· anguoyang·· 10 天前精选AI 评分71

RK3588 上模型能跑但很慢:逐算子查 CPU 回退的完整方法与实测

RK3588 上模型「能跑但很慢」:逐算子查 CPU 回退的完整方法与实测

AI 导读

作者给出在 RK3588 上排查模型算子静默回退到 CPU 的完整方法:rknn_init 必须带 RKNN_FLAG_COLLECT_PERF_MASK(值 8)。

借鉴点

能拿走 RKNN_FLAG_COLLECT_PERF_MASK 加 rknn_query 读逐算子账本、按 CPU 时间占比判回退的口径,落到本地模型部署线;代价是 init 漏标志会静默返回空,单次延迟还会虚高约 15%。

来源:掘金 · juejin.cn