重新思考扩散与解码的角色：用于并行语言生成的预测状态流

英文标题：Rethinking the Roles of Diffusion and Decoding: Predictive-State Flows for Parallel Language Generation

该论文提出“预测状态流”（Predictive-State Flows），重新审视连续扩散语言模型（DLM）中扩散与解码模块的分工。论文指出，DLM 的扩散先验生成的潜变量通常会通过解码器或词元嵌入矩阵近乎确定性地映射为词元。作者强调，这一机制不同于图像生成：图像中的视觉细节可以存在变化，而语言词元映射具有更强的确定性。该研究或将为并行语言生成模型的架构设计及扩散式语言模型的训练与推理方式带来新的思路。

2.1 KB 640 B 612 B 380 B 9.1 KB 32.7 KB 22.8 KB 24.2 KB 34.7 KB