用于扩散语言模型有界状态推理的寄存器 Token

英文标题：Register Tokens for Bounded-State Reasoning in Diffusion Language Models

该论文发表于 arXiv（arXiv:2609.16372v1），研究 Masked Diffusion Language Models（dLLMs）中的跨片段推理问题。dLLM 通过双向注意力迭代去噪被掩码的 Token 来生成文本，而跨生成片段延续推理通常需要在上下文中保留此前生成的文本。论文探讨能否利用寄存器 Token 实现有界状态推理，从而减少对完整历史上下文的依赖。这一方向可能为需要长程推理的 dLLM 开发者带来更可控的上下文与状态管理方案。

2.1 KB 640 B 612 B 380 B 9.1 KB 32.7 KB 22.8 KB 24.2 KB 34.7 KB