在原始视频上对语言模型进行中期训练

英文标题：Mid-Training Language Models on Raw Video

该论文探讨能否利用未经字幕标注的原始网络视频，对已有语言模型进行中期训练。当前多模态大语言模型主要依赖图文配对数据或带标注视频进行学习，而原始视频较少被用于进一步训练语言模型。研究关注在没有字幕、也不使用文本损失的条件下，原始视频是否能够发挥训练价值。这一方向或可为开发者利用规模庞大的未标注视频数据训练多模态模型提供新的路径。

2.1 KB 612 B 380 B 9.1 KB 32.7 KB 22.8 KB 24.2 KB 34.7 KB