Hugging Face Blog·· 27 天前AI 评分46
PyTorch 2.15 的 MPS 后端更新:FP8 支持与 LLM 解码提速
MPS in PyTorch 2.15
AI 导读
PyTorch 2.15 为 MPS 后端带来 FP8 支持,float8_e4m3fn 张量占用仅为 BF16 一半,并可通过 F.scaled_mm 在 GPU 上直接相乘。
来源:Hugging Face Blog · huggingface.co
MPS in PyTorch 2.15
PyTorch 2.15 为 MPS 后端带来 FP8 支持,float8_e4m3fn 张量占用仅为 BF16 一半,并可通过 F.scaled_mm 在 GPU 上直接相乘。
来源:Hugging Face Blog · huggingface.co