论文研究 arXiv cs.CL Wed, 19 Aug 2026 正文 ok 267 words

利用多模态语言模型审计 TikTok 有害内容暴露:一项跨国、分年龄分层研究

英文标题:Auditing Exposure to Harmful Content on TikTok using Multimodal Language Models: A Cross-National, Age-Stratified Study

研究人员使用代表 13、16、19 和 40 岁用户的模拟账户,对法国、意大利和瑞典的 TikTok 内容推荐与搜索结果进行了审计,共采集 36,971 条视频。研究验证了 4 种多模态大语言模型,其中 Gemini 2.5 Flash 在结合 8 个采样视频帧和文本时表现最佳,综合 Kappa 系数为 0.42,并以约 50 美元 API 成本完成双模态 10% 样本标注。关键词搜索返回的有害内容比例达到 35% 至 56%,在 12 个国家—年龄组合中的 10 个组合里,较滚动浏览基线高出 1.5 至 7.5 倍;被动浏览下,意大利各年龄层的有害内容比例均最高,19 岁组达到 48.6%。研究表明,多模态语言模型可为跨国青少年网络安全审计提供可扩展方案,但模型提供商的安全过滤会以 1.1% 的拒答率漏计最明确的有害内容。
打开原文相关 2.4 · 机会 0
media2.1 KB media640 B media612 B media380 B media9.1 KB media32.7 KB media22.8 KB media24.2 KB media34.7 KB

中文

[提交于 2026 年 8 月 18 日]

标题:利用多模态语言模型审计 TikTok 有害内容暴露:一项跨国、分年龄分层研究

查看 Hamidreza Saffari 与另外 1 位作者撰写的论文《利用多模态语言模型审计 TikTok 有害内容暴露:一项跨国、分年龄分层研究》的 PDF。

查看 PDF HTML(实验性)

摘要:在线视频平台可能使年轻用户接触有害内容,但由于视频标注成本高昂,且不同语言下的审核判断存在差异,独立审计仍然十分困难。我们使用代表四种年龄角色(13 岁、16 岁、19 岁、40 岁)的模拟账户,对法国、意大利和瑞典的 TikTok 进行了审计;通过被动滚动 For You 页面,以及主动会话——滚动浏览、搜索有害内容关键词、再继续滚动——共采集 36,971 条视频。为扩大标注规模,我们在一个包含 300 条视频的参考集上,根据母语使用者标注验证了 4 种多模态 LLM。Gemini 2.5 Flash 在结合 8 个采样视频帧和文本时表现最佳(综合 Kappa = 0.42),其单次调用成本仅为原生视频上传方式的一半;我们将其应用于 10% 的样本,两个模态的 API 总支出约为 50 美元。关键词搜索返回的有害内容比例为 35% 至 56%,在 12 个国家—年龄组合中的 10 个组合里,这一比例较滚动浏览基线提升 1.5 至 7.5 倍;这种激增是暂时的,并削弱了法国和瑞典观察到的年龄差异。在被动滚动浏览条件下,意大利在每个年龄层的有害内容比例均为最高,其中意大利 19 岁组达到 48.6%。总体而言,基于 MLLM 的审计为跨国青少年安全审计提供了一种可扩展的方法;但模型提供商的安全过滤机制(拒答率为 1.1%)会低估最露骨的有害内容。

提交历史

来自:Hamidreza Saffari [

查看邮箱

]

[v1]

2026 年 8 月 18 日,星期二,09:49:02 UTC(2,248 KB)

English / 原文

[Submitted on 18 Aug 2026]

Title:Auditing Exposure to Harmful Content on TikTok using Multimodal Language Models: A Cross-National, Age-Stratified Study

View a PDF of the paper titled Auditing Exposure to Harmful Content on TikTok using Multimodal Language Models: A Cross-National, Age-Stratified Study, by Hamidreza Saffari and 1 other authors

View PDF HTML (experimental)

Abstract:Online video platforms can expose young users to harmful content, but independent audits remain difficult because video annotation is costly and moderation judgments vary across languages. We audit TikTok in France, Italy, and Sweden with sockpuppet accounts representing four age personas (13, 16, 19, 40), collecting 36,971 videos from passive For-You-page scrolling and active sessions that scroll, search for harm keywords, and scroll again. To scale annotation, we validate four multimodal LLMs against native-speaker labels on a 300-video reference set. Gemini 2.5 Flash with eight sampled frames plus text performs best (aggregate kappa = 0.42), at half the per-call cost of native-video upload, and we apply it to a 10% sample for approximately $50 in total API spend across both modalities. Keyword search returns 35-56% harmful content, a 1.5-7.5x increase over the scrolling baseline in ten of twelve country-age combinations; the spike is temporary and flattens the age differences observed in France and Sweden. Under passive scrolling, Italy has the highest harm rate at every age, with Italian age-19 reaching 48.6%. Overall, MLLM-based auditing offers a scalable approach for cross-national youth-safety audits, while provider safety filters (1.1% refusal rate) under-count the most explicit harms.

Submission history

From: Hamidreza Saffari [

view email

]

[v1]

Tue, 18 Aug 2026 09:49:02 UTC (2,248 KB)