跳到正文
AWS Machine Learning Blog· Mijanur Palash·· 26 天前精选AI 评分58

AWS 在 SageMaker HyperPod 上微调 GPT-OSS-20B 多语言推理,SFT 加 GRPO 把答案语言正确率提到 70%

Fine-tuning GPT-OSS-20B for multilingual reasoning on Amazon SageMaker HyperPod

AI 导读

AWS 在 Amazon SageMaker HyperPod 上用 LoRA 微调 GPT-OSS-20B,SFT 把推理语言正确率从 22% 提到 100%,再叠加 GRPO 把答案语言正确率从 62% 提到 70%。

借鉴点

能拿走 SFT 与 GRPO 的分工判据和 LoRA r=8/α=16 配置,落到本地模型部署与训练流水线;前提是先测出 pass@k 与 pass@1 的差距,没有余量时 GRPO 白烧 GPU。

来源:AWS Machine Learning Blog · aws.amazon.com