Gen4U：通过扩散统一视频生成与理解
英文标题：Gen4U: Unifying Video Generation and Understanding via Diffusion
本文证明最先进的视频扩散模型能够克服以往扩散表示仅捕捉低级几何信息、难以应对高级语义的局限。作者通过系统探测中间激活，揭示了随网络深度和噪声水平演化的高度结构化潜在空间。在此基础上，他们提出 Gen4U 框架，只需单次前向传播即可将冻结的大规模视频扩散模型用作视频编码器，在视频分类、深度估计、姿态估计和描述生成等多种任务上取得强竞争力。这一框架无需微调，统一了生成与理解范式，对开发者意味着可以复用高质量生成模型直接获得强大的感知能力。
2.6 KB
2.1 KB
640 B
612 B
380 B
9.1 KB
22.8 KB
24.2 KB
34.7 KB
中文
[2026年7月7日提交]
标题：Gen4U：通过扩散统一视频生成与理解
查看论文 PDF：Gen4U: Unifying Video Generation and Understanding via Diffusion，作者 Michael King 等 7 位作者
摘要：以往研究表明扩散表示能捕捉低级几何信息，但在高级语义上存在困难。我们证明最先进的视频扩散模型克服了这一局限。通过使用最新的互 k 近邻对齐指标系统探测其中间激活，我们揭示了一个高度结构化的潜在空间，其中视觉表示随网络深度和噪声水平而演变。我们表明，中等噪声水平产生线性可分的全局语义，而精细细节在低噪声水平下持续存在但变得空间分散，需要注意力机制解码。基于这些见解，我们引入 Gen4U（Generation for Understanding），该框架通过单次前向传递重新利用这些生成表示。我们的实验证明，冻结的大规模视频扩散模型在广泛的任务中可作为极具竞争力的视频编码器，涵盖语义和非语义目标（视频分类、深度估计、相机姿态估计、图像和视频字幕）。绕过微调，Gen4U 统一了生成与理解范式，在完全保留模型生成高质量视频能力的同时，实现了强大的感知性能。
提交历史
来自：Viorica Patraucean 博士 查看邮件
[v1] 2026年7月7日周二 23:17:26 UTC（7,905 KB）
English / 原文
[Submitted on 7 Jul 2026]
Title:Gen4U: Unifying Video Generation and Understanding via Diffusion
View a PDF of the paper titled Gen4U: Unifying Video Generation and Understanding via Diffusion, by Michael King and 7 other authors
Abstract:Prior work suggests that diffusion representations capture low-level geometry but struggle with high-level semantics. We demonstrate that state-of-the-art video diffusion models overcome this limitation. By systematically probing their intermediate activations using recent mutual-kNN alignment metrics, we reveal a highly structured latent space where visual representations evolve across both network depth and noise levels. We show that while moderate noise levels yield linearly separable global semantics, fine-grained details persist at lower noise levels but become spatially scattered, requiring attention mechanisms to decode. Building on these insights, we introduce Gen4U (Generation for Understanding), a framework that repurposes these generative representations with a single forward pass. Our experiments establish that frozen, large-scale video diffusion models function as highly competitive video encoders across a wide spectrum of tasks, spanning semantic and non-semantic objectives (video classification, depth estimation, camera pose estimation, image and video captioning). Bypassing fine-tuning, Gen4U unifies the generation and understanding paradigms, achieving strong perception performance while fully preserving the model's ability to generate high-quality video.
Submission history
From: Viorica Patraucean Dr [
]
[v1]
Tue, 7 Jul 2026 23:17:26 UTC (7,905 KB)