混合嵌套搜索框架在 LLM 驱动的优化中分离结构与参数
研究人员提出一种混合优化框架，将 LLM 负责的结构决策与连续参数调优分开。外层循环由 LLM 生成带有数值空缺的结构草图，内层数值优化器再对这些数值进行调节。该框架支持组合不同的文本优化器和数值优化器，包括 CMA-ES、基于梯度的方法和 MCMC 采样器。在元优化、系统研究和社会困境中的代码策略，以及近似贝叶斯推断任务上，作者报告称该方法优于单独使用 LLM 的搜索和纯数值优化基线。代码已在 GitHub 开源。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。