RVL-CDIP 数据质量的系统性审计：基准数据集存在约 10.5% 标注错误
英文标题：Data Quality in RVL-CDIP: A Systematic Audit
RVL-CDIP 是文档分类领域的事实标准基准，目前业界在其上汇报的准确率已高达 98.8%。最新研究对 RVL-CDIP 进行了系统性数据质量审计，发现其 40 万份文档中约有 10.5% 存在错误标注。这一发现揭示了高准确率评测背后的数据质量隐患，对开发者和学术界重新审视文档智能模型评估基准的可靠性具有重要参考价值。
打开原文相关 1.6 · 机会 0
2.0 KB
640 B
612 B
380 B
24.2 KB
34.7 KB
中文
arXiv:2610.32126v1 Announce Type: new
摘要
RVL-CDIP 是文档分类领域的事实标准基准（de facto standard benchmark），目前在该数据集上汇报的准确率已达到 98.8%。在本篇论文中，我们对 RVL-CDIP 进行了数据质量问题审查，发现其全部 400,000 份文档中约有 10.5% 存在错误标签。
BibTeX 格式引用
×
English / 原文
BibTeX formatted citation
×