基准测试并非验证：金融 LLM 应用的系统级视角

英文标题：Benchmarks Are Not Validation: A System-Level View of Financial LLM Applications

论文指出，大语言模型正 increasingly 被部署于金融应用中，这类系统通常结合检索、专有数据、工具调用、编排逻辑、监控与人工升级机制。作者认为，当前评估仍普遍以模型为中心，侧重基准测试分数和任务准确率。论文强调，基准测试结果并不等同于对金融 LLM 应用在真实系统环境中可靠性与有效性的验证。该观点提示开发者和金融行业应采用覆盖端到端系统行为的评估与验证方法。

2.1 KB 612 B 380 B 9.1 KB 32.7 KB 22.8 KB 24.2 KB 34.7 KB