FusionEval:面向大语言模型融合的全新评估基准
英文标题:FusionEval: Benchmarking Model Fusion for Large Language Models
FusionEval 是一项旨在全面评估大语言模型(LLM)“模型融合”(Model Fusion)能力的新基准。模型融合的目标是将多个专家模型的能力整合至单一模型中,但现有评测体系在长思维链(Long CoT)推理以及工具调用(Tool Use)等复杂场景上的覆盖仍显不足。研究指出,融合模型看似强劲的整体平均表现往往掩盖了局部关键能力的显著损失。该研究为开发者衡量模型合并质量、避免能力退化提供了更具针对性的评测视角。
打开原文相关 4 · 机会 1
640 B
612 B
380 B
24.2 KB
34.7 KB
中文
FusionEval: 大语言模型融合评估基准
arXiv 编号:arXiv:2610.30162v1
发布类型:最新公布(New)
摘要
模型融合(Model Fusion)旨在将多个专家模型(Multi-expert Models)的多样化能力整合进单个模型中。然而,现有的评估基准在长思维链(Long Chains of Thought)复杂推理与工具调用(Tool Use)方面的覆盖非常有限;同时,看似优异的平均性能指标往往掩盖了模型在特定关键能力上的严重退化与损失。
BibTeX 引用格式
×
English / 原文
BibTeX formatted citation
×