利用图笛卡斯积的组合贝叶斯优化

利用图笛卡斯积的组合贝叶斯优化

Combinatorial Bayesian Optimization using the Graph Cartesian Product

1.摘要

通常来说，在贝叶斯优化中的改进有三方面：1.代理模型（高斯过程，神经网络集） 2.获取函数 3.获取函数的优化（尤其是在离散问题中）。 本文的创新的地方在第1步。

本文主要研究了由有序变量或分类变量组成的组合搜索空间上的目标的贝叶斯优化(BO)。介绍了一种新的使用高斯过程(GP)的贝叶斯优化COMBO。它利用组合图来量化组合搜索空间上的目标函数的“平滑性”。组合图的顶点集由变量的所有可能的组合组成，而边是使用代表单个变量的子图的图笛卡尔积构造的。在这个组合图上，提出了一个ARD扩散核，其中GP能够建模变量之间的高阶交互作用，从而获得更好的性能。此外，利用Horseshoe先验在ARD扩散核中的尺度参数，得到了一个有效的变量选择过程，使组合适用于高维问题。 总结本文的贡献如下： 1.提出了COMBO,该算法利用组合图来衡量待优化函数的光滑性,组合图的顶点集由所有可能的变量的联合赋值组成,而边是使用代表单个变量的子图的图的笛卡尔积来构造的. 2.基于该图,提出了ARD扩散核函数,这使得GP能够建模变量之间的高阶相互作用 3.时间复杂度上,该算法可以通过Horseshoe prior线性增加,避免时间指数增加.

2.介绍

3.算法

作者认为：为了在组合结构上设计一种有效的基于GP的BO算法，需要一个由GP定义的光滑函数空间。

算法的总体框架如下：

未完待续

4.总结

据我们所知，COMBO是第一个使用适合于变量之间高阶复杂的交互问题的高斯过程作为代理模型的贝叶斯优化算法。COMBO是一个统计和计算可扩展的组合空间贝叶斯优化工具，这是一个尚未被广泛探索的领域。

​​返回贝叶斯优化优秀论文总结目录​​

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。