基于专家指导生成有效特定上下文 LLM 基准的框架

英文标题：A Framework for Generating Valid Context-Specific Benchmarks through Expert Guidance

该研究提出了一种结合领域专家输入与合成数据生成的端到端方法，用于构建面向特定上下文的大语言模型（LLM）基准测试数据集。现有基准构建往往在评测有效性（真实准确度）与规模化扩展性（成本与效率）之间面临权衡取舍，而该框架通过专家引导机制弥合了二者的冲突。该方法为垂直行业及特定应用场景定制 LLM 评测体系提供了可靠路径，大幅降低了构建高质量专业基准的门槛。

2.1 KB 640 B 612 B 380 B 9.1 KB 32.7 KB 22.8 KB 24.2 KB 34.7 KB