BanglaVeilGuard:面向孟加拉语大语言模型的跨文字安全基准与轻量级防护机制
英文标题:BanglaVeilGuard: Cross-Script Safety Benchmarking and Lightweight Guardrails for Bangla Large Language Models
论文提出 BanglaVeilGuard,一个面向孟加拉语 LLM 的紧凑型安全基准与轻量级提示词防护机制,覆盖标准孟加拉语、罗马化孟加拉语、Banglish、孟英代码混合、噪声文本及方言等六种语言形式。该基准包含 2,366 条经质量筛选的提示词,以及一个含 354 条提示词的独立评测集,涵盖不安全、安全和安全敏感请求。实验显示,该防护机制可将 Claude Opus 4.8、BanglaLLama 和 TituLLM 的攻击成功率从 93.8--100.0\% 降至 6.3\%;搭载 BanglaVeilGuard 的 TigerLLM-1B 达到 78.2\% 准确率和 8.8\% 攻击成功率。该研究表明,无需修改目标模型权重的提示词前置筛查可提升孟加拉语模型安全性,但对方言和噪声形式的良性请求仍存在过度拒答问题。
612 B
380 B
9.1 KB
32.7 KB
22.8 KB
24.2 KB
34.7 KB
中文
[提交于 2026 年 8 月 22 日]
标题:BanglaVeilGuard:面向孟加拉语大语言模型的跨文字安全基准与轻量级防护机制
查看 Md. Rakibul Hassan 和 Muhammad Iqbal Hossain 撰写的论文《BanglaVeilGuard:面向孟加拉语大语言模型的跨文字安全基准与轻量级防护机制》PDF。
摘要:由于孟加拉语用户经常使用不同文字、拼写、代码混合形式和地区语体书写,采用以英语为中心或标准文字的基准,难以评估孟加拉语大语言模型(LLM)的安全性。本文提出 BanglaVeilGuard:一个紧凑型、孟加拉语优先的安全基准和轻量级提示词防护机制,覆盖六种语言形式:标准孟加拉语、罗马化孟加拉语、Banglish、孟加拉语--英语代码混合、噪声孟加拉语和方言孟加拉语。该基准包含 2,366 条经质量筛选的提示词,以及一个含 354 条提示词的独立评测划分,涵盖不安全、安全及安全敏感请求。BanglaVeilGuard 采用非破坏性的多视图规范化,并结合提示词风险分类器和生成前阈值门控机制,能够在不改变异构目标模型权重的情况下筛查提示词。在不同目标模型系列中,在确定性响应评分下,启用防护后的运行将 Claude Opus 4.8、BanglaLLama 和 TituLLM 的攻击成功率从 93.8--100.0% 降至 6.3%;搭载 BanglaVeilGuard 的 TigerLLM-1B 达到 78.2% 准确率和 8.8% 攻击成功率。该提示词防护机制还实现了 88.5% 的不安全请求召回率,显著高于所评估的仅提示词防护基线。其主要剩余代价是对方言和噪声形式的良性提示词过度拒答,这揭示了孟加拉语 LLM 部署中一项明确的安全性--有用性权衡边界。
提交历史
来自:Md. Rakibul Hassan [
]
[v1]
2026 年 8 月 22 日,周六,09:46:03 UTC(1,417 KB)
English / 原文
[Submitted on 22 Aug 2026]
Title:BanglaVeilGuard: Cross-Script Safety Benchmarking and Lightweight Guardrails for Bangla Large Language Models
View a PDF of the paper titled BanglaVeilGuard: Cross-Script Safety Benchmarking and Lightweight Guardrails for Bangla Large Language Models, by Md. Rakibul Hassan and Muhammad Iqbal Hossain
Abstract:Bangla large language model (LLM) safety is difficult to evaluate with English-centric or standard-script benchmarks because Bangla users routinely write across scripts, spellings, code-mixed forms, and regional registers. This paper presents BanglaVeilGuard, a compact Bangla-first safety benchmark and lightweight prompt guard for six language forms: standard Bangla, Romanized Bangla, Banglish, code-mixed Bangla--English, noisy Bangla, and dialectal Bangla. The benchmark contains 2,366 quality-filtered prompts and a held-out 354-prompt evaluation split spanning unsafe, safe, and safe-sensitive requests. BanglaVeilGuard uses non-destructive multi-view normalization with a prompt-risk classifier and thresholded pre-generation gate, allowing it to screen prompts for heterogeneous target models without changing their weights. Across target-model families, guarded runs reduce attack success under deterministic response scoring from 93.8--100.0% to 6.3% for Claude Opus 4.8, BanglaLLama, and TituLLM; TigerLLM-1B with BanglaVeilGuard achieves 78.2% accuracy with 8.8% ASR. The prompt guard also attains 88.5% unsafe recall, substantially above the evaluated prompt-only guard baselines. The main remaining cost is over-refusal on dialectal and noisy benign prompts, revealing a concrete safety-helpfulness frontier for Bangla LLM deployment.
Submission history
From: Md. Rakibul Hassan [
]
[v1]
Sat, 22 Aug 2026 09:46:03 UTC (1,417 KB)