ICLHerd：以上下文学习为代理的基于 Herding 的大语言模型数据选择方法

英文标题：ICLHerd: Herding-Based Data Selection for LLMs with In-Context Learning as a Proxy

本文提出了名为 ICLHerd 的大语言模型数据选择方法。研究指出，数据选择在现代大语言模型训练中处于核心地位，训练数据的质量直接决定了模型的下游性能。针对传统方法依赖构建包含目标技能（如推理能力）的验证集这一路径，该工作探索利用上下文学习（In-Context Learning）作为代理评估信号，并结合 Herding 算法进行高效数据筛选。该研究为开发者优化大模型训练数据质量、降低数据筛选计算开销提供了全新思路。

2.0 KB 612 B 380 B 9.1 KB 18.2 KB 22.8 KB 24.2 KB 34.7 KB