重构草稿而非单纯蒸馏：面向持续 VLLM 后训练的参考驱动修订机制 ReDraft

英文标题：ReDraft, Don't Just Distill: Reference-Driven Revision for Continual VLLM Post-Training

大型多模态模型（VLLM）的持续后训练面临在注入新能力的同时保留预训练已有知识的双重挑战，这两大目标往往相互冲突。监督微调（SFT）能够提供明确的目标监督，帮助模型从极低准确率快速习得新任务，但也容易导致灾难性遗忘。为此，该研究提出了名为 ReDraft 的参考驱动修订机制，探索在后训练过程中更有效地平衡新知识获取与旧能力保留。该方法为多模态大模型开发者在持续微调、领域适配和模型能力演进方面提供了新的技术路线参考。

2.1 KB 612 B 380 B 9.1 KB 32.7 KB 22.8 KB 24.2 KB 34.7 KB