跳到正文
掘金· lucas_AI·· 24 天前AI 评分63

弗赖堡大学论文剖析单用户长上下文推理:注意力占 90% 时间,GPU 带宽仅用 21%

百万 token 塞进一张卡:论文测出你的 GPU 其实闲得慌

AI 导读

弗赖堡大学与 Computing Flows 的论文《Local Inference of LLMs on Long Contexts: A Data Systems Perspective》用 Nsight Compute 逐内核剖析 GPT 家族与 Qwen3 在三代 NVIDIA 显卡上的单用户长上下文推理。

来源:掘金 · juejin.cn