NepOOC-M:用于 OOC 检测的尼泊尔语-英语双语基准与多模态架构比较分析
英文标题:NepOOC-M: Bilingual Nepali-English Benchmark and Comparative Analysis of Multimodal Architectures for OOC Detection
研究者发布了 NepOOC,这是首个公开可用、以尼泊尔语为主的多语言语境脱离(OOC)虚假信息基准,包含 1,090 个图文对,其中真实样本与 OOC 样本各 545 个。数据集覆盖捏造、错误配文、时间不匹配、地理位置不匹配和身份不匹配五类 OOC 情形,标注者一致性 κ 值为 0.84。对五种多模态架构及文本、图像单模态基线的评估显示,在当前数据规模下,标题文本语义已足以取得强劲表现:仅文本的 mBERT Macro-F1 达到 94.65±0.20%,与最佳多模态系统 ResNet-50+mBERT 持平。图像单模态模型表现接近随机水平,研究认为对开发者而言,扩大数据集规模可能比增加架构复杂度或进行区域专门化更能直接推动进展。
640 B
612 B
380 B
9.1 KB
32.7 KB
22.8 KB
24.2 KB
34.7 KB
中文
[提交于 2026 年 6 月 18 日]
标题:NepOOC-M:用于 OOC 检测的尼泊尔语-英语双语基准与多模态架构比较分析
查看 Sanjeev Khatiwada 撰写的论文《NepOOC-M:用于 OOC 检测的尼泊尔语-英语双语基准与多模态架构比较分析》的 PDF。
摘要:语境脱离(Out-of-context,OOC)虚假信息将真实图像与具有误导性的标题或说明文字配对,在不篡改图像的情况下构建虚假叙事。因此,其检测问题属于多模态对齐,而非图像取证。尽管 OOC 虚假信息在尼泊尔较为普遍且后果严重,目前尚不存在公开的尼泊尔语基准。我们推出 NepOOC,这是首个公开可用、以尼泊尔语为主的多语言 OOC 基准,包含 1,090 个图文对(545 个原始样本、545 个 OOC 样本),并标注为五种类型:捏造、错误配文、时间不匹配、地理位置不匹配和身份不匹配;标注者间一致性为 kappa = 0.84。我们系统评估了五种多模态架构,以及仅文本和仅图像基线模型。结果显示,在当前数据集规模下,标题文本的语义信息似乎已足以实现强劲性能。仅文本的 mBERT 模型取得 94.65+/-0.20% 的 Macro-F1,与最佳多模态系统 ResNet-50+mBERT(94.65+/-0.20%;McNemar 中位数 p = 1.000;5 个随机种子中 0 个在 alpha = 0.05 下显著)在统计上等效。仅图像模型的表现接近随机水平(33-50%),而训练规模扩展分析表明,扩充数据集是比提升架构复杂度或区域专门化更直接的进步路径。
提交历史
来自:Sanjeev Khatiwada [
]
[v1]
2026 年 6 月 18 日,周四,12:04:49 UTC(6,454 KB)
English / 原文
[Submitted on 18 Jun 2026]
Title:NepOOC-M: Bilingual Nepali-English Benchmark and Comparative Analysis of Multimodal Architectures for OOC Detection
View a PDF of the paper titled NepOOC-M: Bilingual Nepali-English Benchmark and Comparative Analysis of Multimodal Architectures for OOC Detection, by Sanjeev Khatiwada
Abstract:Out-of-context (OOC) misinformation pairs authentic images with misleading captions to construct false narratives without image manipulation, making detection a problem of multimodal alignment rather than image forensics. Despite the prevalence and consequences of OOC misinformation in Nepal, no public benchmark exists for Nepali. We introduce NepOOC, the first publicly available Nepali-dominant multilingual OOC benchmark, comprising 1,090 image-caption pairs (545 pristine, 545 OOC) annotated across five typologies (fabricated, miscaptioned, temporal mismatch, geographic mismatch, identity mismatch) with inter-annotator agreement kappa = 0.84. Systematic evaluation of five multimodal architectures alongside text-only and image-only baselines reveals that caption semantics appear sufficient for strong performance at the current dataset scale. A text-only mBERT model achieves 94.65+/-0.20% Macro-F1, statistically equivalent to the best multimodal system (ResNet-50+mBERT, 94.65+/-0.20%; McNemar median p = 1.000, 0/5 seeds significant at alpha = 0.05). Image-only models perform near chance (33-50%), while training-size scaling suggests that dataset expansion is a more direct path to progress than architectural sophistication or regional specialisation.
Submission history
From: Sanjeev Khatiwada [
]
[v1]
Thu, 18 Jun 2026 12:04:49 UTC (6,454 KB)