OPTScientist：面向 Transformer 预训练的类型化优化器程序多智能体发现

英文标题：OPTScientist: Multi-Agent Discovery of Typed Optimizer Programs for Transformer Pretraining

这篇新发布的 arXiv 论文介绍了 OPTScientist，旨在通过多智能体方法发现适用于 Transformer 预训练的类型化优化器程序。论文指出，为现代深度学习设计优化器仍是一项复杂的科学问题，需要同时考虑优化几何、状态动态、数值稳定性、实现约束和经验泛化能力。该研究关注将优化器设计过程系统化和自动化，可能为开发者探索新的训练算法与优化策略提供工具化思路。

2.1 KB 640 B 612 B 380 B 9.1 KB 32.7 KB 22.8 KB 24.2 KB 34.7 KB