预训练模型容量何时有助于因果学习？从标量预测到反事实后训练
英文标题：When Does Pre-Trained Capacity Help Causal Learning? From Scalar Prediction to Counterfactual Post-Training
本文探讨了预训练大模型的容量（规模与表征能力）在适配因果学习任务时的性能表现关联。研究基于 Qwen 2.5 系列模型构建了两个核心系统：用于估计标量潜在结果的 CausalLLM，以及用于反事实生成的 CausalGen。研究系统分析了从标量因果预测到反事实后训练场景下模型容量的作用边界与增益效应。该成果为开发者在因果推断、决策智能场景中选型和微调大语言模型提供了理论与实践参考。
打开原文相关 1.6 · 机会 0
2.0 KB
612 B
380 B
24.2 KB
34.7 KB
中文
arXiv:2610.33311v1 公告类型：新论文 (new)
摘要：预训练模型容量与因果任务适配后的表现之间存在怎样的关联？我们研究了基于 Qwen 2.5 系列构建的两个系统：CausalLLM（通过特定干预头估计标量潜在结果）以及 CausalGen（用于生成反事实相关内容）。
BibTeX 格式引用
×
English / 原文
BibTeX formatted citation
×