道德推理训练究竟是有利还是有害？通过人设攻击对强化学习训练的道德 Agent 进行红队测试
英文标题：Does Moral Reasoning Training Help or Hurt? Red-Teaming RL-Trained Ethical Agents with Persona Attacks
本研究针对基于道德奖励强化学习（RL）训练的语言模型 Agent 展开红队测试，探讨其对齐能力在对抗性人设压力下的稳健性。研究指出，尽管道德 RL 能提升 Agent 在常规场景下的合作表现，但外部检索上下文、工具输出或多轮对话极易被注入对抗性角色指令，使对齐机制面临失效风险。该发现揭示了当前道德训练在面对复杂环境注入攻击时的脆弱性，为开发者评估与加固自主 Agent 架构的防御能力提供了关键参考。
打开原文相关 4 · 机会 3
2.1 KB
640 B
612 B
380 B
9.1 KB
32.7 KB
22.8 KB
24.2 KB
34.7 KB
中文
论文摘要
arXiv 编号：arXiv:2609.17552v1（Announce Type: new）
摘要：基于道德奖励的强化学习（Moral-reward RL）可以使语言模型智能体（Language-model Agents）表现得更具合作性，但这种对齐能力在面对对抗性人设压力（Adversarial Persona Pressure）时是否依然有效仍未可知。此类攻击在实际应用中具有高度现实威胁：检索获取的上下文、工具调用的输出结果或多轮交互的语境框架，都有可能向模型注入角色设定指令。
BibTeX 格式引用
English / 原文
BibTeX formatted citation
×