语言模型是否清楚自身的行为约束？
英文标题：Do Language Models Know Their Own Constraints?
本研究探讨了大语言模型通过后训练（Post-training）所习得的行为约束是否能够被自身显式报告。研究以受限食谱生成为测试基准，在 Llama 3.1 8B Instruct 模型上通过 LoRA 微调强制实施针对 5 种违禁成分的约束规则，并对监督微调等方案的效果展开了对比分析。该工作对探究大模型的自我认知机制、提升 AI 系统的安全对齐与可解释性具有重要参考价值。
打开原文相关 1.6 · 机会 0
2.1 KB
640 B
612 B
380 B
9.1 KB
32.7 KB
22.8 KB
24.2 KB
34.7 KB
中文
摘要
arXiv 编号：arXiv:2609.22151v1（最新发布）
我们探讨了模型通过后训练（Post-training）获得的行为约束是否仍能被显式报告。本研究以受限食谱生成作为实验平台，通过对 Llama 3.1 8B Instruct 进行 LoRA 微调以强制执行针对 5 种禁用成分的限制规则，并对监督微调（supervised fine-tuning）等方法进行了对比研究。
BibTeX 格式引用
English / 原文
BibTeX formatted citation
×