SimpleOPD：面向长上下文推理的简单、Tokenizer 无关的 On-Policy 蒸馏方法

英文标题：SimpleOPD: Simple Tokenizer-Agnostic On-Policy Distillation for Long-Context Reasoning

论文《SimpleOPD》提出了一种面向长上下文推理的、Tokenizer 无关的 On-Policy Distillation（OPD）方法。该研究旨在将更强教师模型的推理能力迁移给上下文窗口较短的学生模型。论文指出，当长上下文教师模型与短上下文学生模型之间存在 tokenizer 不匹配时，实际蒸馏会面临挑战。该工作以 arXiv:2608.14277v1 的新论文形式发布。

2.1 KB 640 B 612 B 380 B 9.1 KB 32.7 KB 22.8 KB 24.2 KB 34.7 KB