ArGuard 共享任务:阿拉伯语迷因与 LLM 提示词中的有害内容检测
英文标题:ArGuard Shared Task: Harmful Content Detection in Arabic Memes and LLM Prompts
ArGuard 是一项面向阿拉伯语有害内容检测的共享任务,覆盖迷因中的多模态仇恨内容识别,以及面向 LLM 安全评估的有害提示词检测。任务共有 58 支团队注册,35 支团队参与最终评测,27 支团队提交了系统描述论文。最佳系统在 A1、A2、B1 和 B2 子任务上的宏平均 F1 分数分别为 0.823、0.419、0.984 和 0.790。细粒度迷因分类任务 A2 难度最高,原因部分在于标签稀疏以及训练集与测试集之间的分布偏移。
612 B
380 B
9.1 KB
32.7 KB
22.8 KB
24.2 KB
34.7 KB
中文
[提交于 2026 年 9 月 24 日]
标题:ArGuard 共享任务:阿拉伯语迷因与 LLM 提示词中的有害内容检测
查看论文《ArGuard 共享任务:阿拉伯语迷因与 LLM 提示词中的有害内容检测》的 PDF,作者为 Firoj Alam 及其他 7 位作者。
摘要:ArGuard 是一项关于阿拉伯语迷因和 LLM 提示词中有害内容检测的共享任务。该任务包含两条赛道:赛道 A 聚焦阿拉伯语迷因中的多模态仇恨检测,赛道 B 则针对阿拉伯语 LLM 安全评估中的有害提示词检测。共有 58 支团队注册,35 支团队参与最终评测,27 支团队提交了系统描述论文。参赛团队探索了 AraBERT、Jais 和 Qwen3-VL 等模型。最佳系统在 A1、A2、B1 和 B2 上分别取得了 0.823、0.419、0.984 和 0.790 的宏平均 F1 分数。A2 中的细粒度迷因分类是最具挑战性的设置,部分原因是标签稀疏,以及训练集与测试集之间存在分布偏移。
提交历史
提交者:Ali Shahroor Ezzat [
]
[v1]
2026 年 9 月 24 日,星期四,10:22:59 UTC(1,438 KB)
English / 原文
[Submitted on 24 Sep 2026]
Title:ArGuard Shared Task: Harmful Content Detection in Arabic Memes and LLM Prompts
View a PDF of the paper titled ArGuard Shared Task: Harmful Content Detection in Arabic Memes and LLM Prompts, by Firoj Alam and 7 other authors
Abstract:ArGuard is a shared task on harmful content detection in Arabic memes and LLM prompts. It includes two tracks: Track A focuses on multimodal hate detection in Arabic memes, while Track B addresses harmful prompt detection for Arabic LLM safety evaluation. In total, 58 teams registered, 35 participated in the final evaluation, and 27 submitted system-description papers. Participating teams explored models such as AraBERT, Jais, and Qwen3-VL. The best systems achieved macro-F1 scores of 0.823 on A1, 0.419 on A2, 0.984 on B1, and 0.790 on B2. Fine-grained meme classification in A2 was the most challenging setting, partly due to sparse labels and train-test distribution shifts.
Submission history
From: Ali Shahroor Ezzat [
]
[v1]
Thu, 24 Sep 2026 10:22:59 UTC (1,438 KB)