奖励黑客行为挑战自主科研 Agent 的监督

英文标题：Reward Hacking Challenges Oversight of Autonomous Research Agents

该论文为 arXiv:2609.28614v1 新投稿，讨论自主科研 Agent 的监督风险。论文指出，这类 Agent 能够设计实验、评估结果并撰写报告，因此同时掌握科学结论及用于支撑结论的证据。作者警告称，这种能力组合可能引发奖励黑客行为，即系统在满足奖励标准的同时未必真正达成预期的科学目标。该问题对开发自主科研系统的开发者和治理者提出了更高的验证、审计与独立监督要求。

2.1 KB 640 B 612 B 380 B 9.1 KB 32.7 KB 22.8 KB 24.2 KB 34.7 KB