CUEing 用户模拟器：面向多轮交互评测的校准用户嵌入技术

英文标题：CUEing User Simulators: Calibrated User Embeddings for Multi-Turn Benchmarking

针对当前多轮交互中 AI Agent 的评估难题，该研究探讨了基于用户模拟器（User Simulators）的基准测试方法。尽管现有模拟技术在人类语言风格和交互行为的表象上表现出一定保真度，但生态有效（Ecologically Valid）的交互评测仍亟需模拟器与人类的实际偏好及行为分布深度对齐。为此，研究提出了校准用户嵌入（Calibrated User Embeddings, CUE），旨在提升用户模拟的真实度与一致性。该技术对于构建低成本、高可靠性的多轮 Agent 自动化评测体系具有重要的行业参考价值。

打开原文相关 2.4 · 机会 1

中文

CUEing 用户模拟器：面向多轮交互评测的校准用户嵌入

arXiv 标识：arXiv:2610.02460v1
发布类型：最新论文（Announce Type: new）

摘要

近期的基准测试主要依赖用户模拟器（User Simulators）来评估 AI Agent 在多轮交互中的表现。尽管现有的模拟技术在人类表层风格和行为保真度上展现出良好效果，但要实现具备生态有效性（Ecologically Valid）的交互式基准评测，还要求模拟器与真实人类的偏好、能力及行为分布保持严格对齐。

为此，本研究提出了校准用户嵌入（Calibrated User Embeddings, CUE），旨在通过对模拟器嵌入表征进行系统校准，提高多轮 Agent 评估的真实性与可信度。

CUEing 用户模拟器：面向多轮交互评测的校准用户嵌入技术

中文

CUEing 用户模拟器：面向多轮交互评测的校准用户嵌入

摘要

BibTeX 格式引用

English / 原文

BibTeX formatted citation