掘金· lucas_AI·· 25 天前AI 评分34
不训扩散模型也能生成文本:BERT 加外置解码器即可迭代去噪生成
不训扩散模型也能生成文本?BERT 本来就是半个去噪生成器,加个外置解码器就够
AI 导读
论文 arXiv 2610.26601 删去扩散语言模型的时间步、噪声调度与反向过程,只保留“反复跑 BERT 预测掩码位、按置信度逐步提交”的最简解码器。冻结 BERT-base 在 15% 掩码下可迭代还原 61.0% 文本;普通 MLM 微调后 QQP 释义生成 ROUGE-L 0.583,与 DiffusionBERT 已发表值 0.585 同档。结论仅限条件生成与 BERT 级小模型。
来源:掘金 · juejin.cn