论文研究 arXiv cs.CL Fri, 31 Jul 2026 正文 ok 279 words

极简 RAG 模型:B1ade 3.35 亿参数嵌入模型与 10 亿参数小语言模型

英文标题:Models for minimalist RAG: B1ade 335M Embedding and 1B Parameter Small Language Models

论文提出 B1ade 高效 RAG 架构,由 3.35 亿参数的 B1ade-embed 检索模型和 10 亿参数的 B1ade-1B 小语言模型(SLM)组成。B1ade-embed 通过无参数融合五个预训练编码器构建,无需额外训练即在 5 亿参数以下模型中取得领先的 MTEB 成绩;B1ade-1B 则基于 7.23 亿 token、220 万条精选上下文—问题样本进行 GRPO 训练。尽管未接受显式来源引用监督,B1ade-1B 在 42.4% 的回答中会引用检索段落,比训练数据中的归因比例高 5.5 个百分点,表明归因行为可在以准确性为目标的强化学习中涌现。该结果意味着,开发者可通过模型组合与奖励设计构建资源更节省的 RAG 系统,而不必依赖大规模预训练或专门的引用奖励工程。
打开原文相关 2.4 · 机会 1
media2.1 KB media612 B media380 B media9.1 KB media32.7 KB media22.8 KB media24.2 KB media34.7 KB

中文

[提交于 2026 年 7 月 29 日]

标题:极简 RAG 模型:B1ade 3.35 亿参数嵌入模型与 10 亿参数小语言模型

查看 Shreyas Subramanian 及另外 2 位作者撰写的论文《极简 RAG 模型:B1ade 3.35 亿参数嵌入模型与 10 亿参数小语言模型》的 PDF

查看 PDF HTML(实验性)

摘要:RAG 系统中使用的语言模型和嵌入模型,通常被认为需要大规模预训练以及显式的事实归因监督。我们提出 B1ade,这是一种高效 RAG 架构,由两个专门构建的组件组成:紧凑型嵌入模型和专用 SLM。B1ade-embed 是一个拥有 3.35 亿参数的检索模型,通过对五个预训练编码器进行无参数融合构建而成,无需任何额外训练,便在参数量低于 5 亿的模型中取得领先的 MTEB 分数。B1ade-1B 是一个 SLM,使用低成本 GPU,基于 7.23 亿 token(220 万个样本)的精选上下文—问题对,通过 Group Relative Policy Optimization(GRPO)训练;其奖励仅优化答案相似度。我们的核心发现是归因行为的涌现:尽管没有接受针对来源引用的显式监督,B1ade-1B 仍会在 42.4% 的回答中引用检索到的段落,较其训练数据分布中的归因率高出 5.5 个百分点。这表明,在 RL 训练中,事实落地行为可作为一种最大化准确率的策略自然涌现,而无需显式的奖励工程。在标准问答基准上,B1ade-1B 在 PopQA 上达到 81.82%,在 PubMedQA 上达到 65.8%,在 FEVER 上达到 51.09%。在端到端 RAG 评估中,B1ade-1B 在正确性、完整性、连贯性和忠实性维度上的平均得分达到 0.654,较 SFT 提升 10.8%,并缩小了与其参数量 1.5 倍模型之间的差距。这些结果表明,无需大规模预训练,战略性的模型组合与奖励设计便足以实现资源高效的 RAG。

提交历史

来自:Abdulmecit Gungor [

查看邮箱

]

[v1]

2026 年 7 月 29 日,周三,22:41:25 UTC(1,048 KB)

English / 原文

[Submitted on 29 Jul 2026]

Title:Models for minimalist RAG: B1ade 335M Embedding and 1B Parameter Small Language Models

View a PDF of the paper titled Models for minimalist RAG: B1ade 335M Embedding and 1B Parameter Small Language Models, by Shreyas Subramanian and 2 other authors

View PDF HTML (experimental)

Abstract:Language and embedding models used in RAG systems are conventionally assumed to require large-scale pretraining and explicit grounding supervision. We present B1ade, an efficient RAG architecture comprising two purpose-built components: a compact embedding model and a purpose-built SLM. B1ade-embed, a 335M parameter retrieval model constructed via parameter-free fusion of five pretrained encoders achieves top MTEB scores among sub-500M models with zero additional training, and B1ade-1B, an SLM trained on low-cost GPUs using Group Relative Policy Optimization (GRPO) on 723M tokens (2.2M examples) of curated context-question pairs with rewards that optimize only answer similarity. Our central finding is emergent attribution: despite receiving no explicit supervision for source citation, B1ade-1B cites retrieved passages in 42.4% of responses, exceeding the attribution rate of its training distribution by 5.5 percentage points. This demonstrates that grounding behavior can emerge as an accuracy-maximizing strategy under RL training, without explicit reward engineering. On standard QA benchmarks, B1ade-1B achieves 81.82% on PopQA, 65.8% on PubMedQA, and 51.09% on FEVER. In end-to-end RAG evaluation, B1ade-1B achieves an average score of 0.654 across correctness, completeness, coherence, and faithfulness, a 10.8% improvement over the SFT, while closing the gap with models 1.5x its size. These results show that strategic model composition and reward design suffice for resource-efficient RAG, without large-scale pretraining.

Submission history

From: Abdulmecit Gungor [

view email

]

[v1]

Wed, 29 Jul 2026 22:41:25 UTC (1,048 KB)