视觉模型学习的是物理约束,还是渲染捷径?用于检验扎根式物理一致性的反事实基准
英文标题:Do Vision Models Learn Physical Constraints or Rendering Shortcuts? A Counterfactual Benchmark for Grounded Physical Consistency
现代图像编辑模型虽然能够遵循文本指令,却可能生成违背场景物理规律的结果,例如缺失阴影、错误镜面反射或物体悬浮。论文提出一个用于诊断图像编辑物理合理性的反事实基准,涵盖违规检测、类型识别、受影响区域定位及自然语言解释。该基准的可控合成部分使用 Mitsuba 3,从 500 个场景族生成 5,500 张图像,并提供类别标签、区域掩码、边界框、场景元数据和解释目标。实验显示,模型在常规留出场景上的较高分数未必代表真正掌握物理规律:LLaVA-1.5-7B 的类别宏平均 F1 在干预分布偏移下从 64.0\% 降至 40.8\%,表明其部分性能依赖于渲染与反事实构造相关线索。
672 B
612 B
380 B
9.1 KB
32.7 KB
22.8 KB
24.2 KB
34.7 KB
中文
[提交于 2026 年 10 月 6 日]
标题:视觉模型学习的是物理约束,还是渲染捷径?用于检验扎根式物理一致性的反事实基准
查看论文《视觉模型学习的是物理约束,还是渲染捷径?用于检验扎根式物理一致性的反事实基准》的 PDF,作者为 M. Moein Esfahani 及另外 3 位作者
摘要:现代图像编辑模型可以满足文本指令,却可能破坏编辑后场景的物理规律。新增物体可能不会投下阴影,镜子可能无法反射可见几何体,或者物体可能悬浮在本应支撑它的表面上方。我们研究物理合理性诊断:检测编辑图像是否违反场景物理规律、识别违规类型、定位受影响区域,并以语言解释失败原因。我们提出了一个反事实基准,其受控合成部分使用 Mitsuba~3,从 500 个场景族生成了 5,500 张图像。每个场景族包含一张无问题图像,以及十个相匹配的违规版本,涉及阴影、反射、支撑、表面响应和遮挡。渲染器流水线提供类别标签、受影响区域的掩码和边界框、场景元数据以及解释目标。我们将 LLaVA-1.5-7B、Qwen2.5-VL-7B 和 InternVL3.5-8B 用作诊断基线,而非本文提出的方法。在包含 1,650 张图像的合成测试集上,经过适配的基线模型在标准留出场景中达到 64.0--67.8% 的类别宏平均 F1。对于 LLaVA-1.5-7B,类别宏平均 F1 在标准划分中为 64.0%,但在干预分布偏移下下降至 40.8%。这一差距表明,较高的同分布准确率在一定程度上反映了与渲染和反事实构造相关的线索。
提交历史
提交者:M. Moein Esfahani [
]
[v1]
2026 年 10 月 6 日,星期二,23:06:44 UTC(2,210 KB)
English / 原文
[Submitted on 6 Oct 2026]
Title:Do Vision Models Learn Physical Constraints or Rendering Shortcuts? A Counterfactual Benchmark for Grounded Physical Consistency
View a PDF of the paper titled Do Vision Models Learn Physical Constraints or Rendering Shortcuts? A Counterfactual Benchmark for Grounded Physical Consistency, by M. Moein Esfahani and 3 other authors
Abstract:Modern image editing models can satisfy a text instruction while breaking the physics of the edited scene. A new object may cast no shadow, a mirror may fail to reflect visible geometry, or an object may float above a surface that should support it. We study physical plausibility diagnosis, detecting whether an edited image violates scene physics, naming the violation type, localizing the affected region, and explaining the failure in language. We introduce a counterfactual benchmark whose controlled synthetic component uses Mitsuba~3 to generate 5,500 images from 500 scene families. Each family contains one clean image and ten matched violations involving shadows, reflection, support, surface response, and occlusion. The renderer pipeline provides category labels, affected-region masks and boxes, scene metadata, and explanation targets. We use LLaVA-1.5-7B, Qwen2.5-VL-7B, and InternVL3.5-8B as diagnostic baselines rather than proposed methods. On a 1,650-image synthetic test set, the adapted baselines reach 64.0--67.8% category macro-F1 on standard held-out scenes. For LLaVA-1.5-7B, category macro-F1 falls from 64.0% on the standard split to 40.8% under intervention shift. This gap shows that high in-distribution accuracy partly reflects cues tied to rendering and counterfactual construction.
Submission history
From: M. Moein Esfahani [
]
[v1]
Tue, 6 Oct 2026 23:06:44 UTC (2,210 KB)