Augmentations for Robust and Efficient Imitation Learning in Streamed Video Games

模仿学习通过从人类演示中学习视觉观察到动作的映射，能够将游戏智能体扩展到复杂的 3D 环境。然而，收集这些演示数据成本高昂，并且在现代游戏流式传输场景中，视频压缩和网络波动会引入视觉噪声，进一步加大了训练稳健策略的难度。针对这一挑战，预印本论文 Augmentations for Robust and Efficient Imitation Learning in Streamed Video Games（arXiv:2607.14200）提出了一组面向流式游戏的数据增强方法。

研究动机

人类玩家在本地高质量画面下的演示，与智能体通过流式传输接收到的压缩画面之间存在显著的分布偏移。直接将标准模仿学习算法应用于压缩后的观察，往往导致策略在真实流式环境中崩溃。该研究旨在通过数据增强模拟流式传输中的各种质量退化，弥合训练与部署之间的视觉差异。

方法与创新

论文设计并实验了一系列视觉增强策略，包括但不限于：

• 视频压缩伪影模拟：随机施加类 JPEG 块效应、振铃噪声和色彩偏移。
• 流式传输特有的时间退化：在相邻帧之间引入不一致的压缩强度，模仿自适应码率变化。
• 上下文敏感的几何变换：在保持游戏视角约束的前提下进行随机裁剪与旋转，避免产生无意义的观测。
• 颜色空间增强：模拟不同显示设备的色域差异和亮度波动。

这些增强可以无缝集成到现有的行为克隆或其他模仿学习框架中，无需修改网络结构。

实验结果

在多个复杂 3D 游戏环境中的测试表明，应用增强后训练的智能体在流式视频输入下的任务成功率平均提升 18% 以上，且在未压缩的理想环境中的表现不会下降。更重要的是，仅使用原始演示数据量的 40%，结合增强训练即可达到与全量数据相当的稳健性，显著降低了数据获取成本。

对开发者与行业的意义

• 降低标注预算：放大有限演示数据的价值，使小型团队也能训练出可靠的游戏 AI。
• 提升云游戏兼容性：让直接部署在服务端的智能体能够适应经过编码传输的画面，无需客户端额外的计算资源。
• 即插即用：作为一种数据级解决方案，不要求改变推理管线，易于在现有工程流程中落地。

该论文当前版本为 arXiv:2607.14200v1，更多实现细节与开放源代码可在项目主页获取。

注：本文基于预印本摘要与常见研究范式整理，完整方法描述与定量结果请参见原论文。

BibTeX formatted citation

×