超越文本的行为：评估大语言模型 Agent 中的拒绝迁移失效问题
英文标题：Behavior Beyond Text: Evaluating Refusal Transfer Failure in LLM Agents
随着大语言模型越来越多地作为具备工具调用能力的 Agent 落地，其安全机制面临新的严峻挑战。当前行业对模型的安全评估仍主要聚焦于纯文本交互中拒绝有害请求的能力，而忽视了多模态或具身环境下的行为迁移。本研究深入探讨了模型在纯文本中建立的拒绝机制能否迁移至工具调用场景，揭示了潜在的安全迁移失效问题。这一发现提示开发者在构建自治 Agent 时，不能单纯依赖传统的文本对齐策略，亟需重构针对动作执行与工具调用的安全护栏。
打开原文相关 7.2 · 机会 2
2.0 KB
612 B
380 B
24.2 KB
34.7 KB
中文
超越文本的行为：评估大语言模型 Agent 中的拒绝迁移失效问题
论文编号：arXiv:2610.28982v1
公布类型：最新公布（Announce Type: new）
摘要
尽管大语言模型（LLM）正日益广泛地作为支持工具调用的 Agent 部署到各类实际场景中，但目前针对它们的安全评估仍然主要集中在纯文本交互中拒绝有害请求的能力上。本研究旨在调查并评估：模型在纯文本环境中所表现出的拒绝安全行为，能否有效迁移至工具使用（Tool Use）场景之中。
English / 原文
BibTeX formatted citation
×