江苏龙网

  1. 首页 > 生活 > >

机器之心Pro|用简单术语让你看到贝叶斯优化之美( 三 )


使用贝叶斯优化的主要动机是：在有些场景中 ， 评估输出的成本非常高 。 首先 ， 需要使用这些参数构建一整个集成树；其次 ， 它们需要运行并完成几次预测 ， 这对于集成方法来说成本高昂 。
可以这样说 ， 在给定一组参数的条件下 ， 使用神经网络来评估损失函数的速度更快：只是重复执行矩阵乘法 ， 这是非常快的 ， 尤其是使用专用计算硬件时 。 这是使用梯度下降的原因之一 ， 也就是反复查询以找到前进的方向 。
总结

  • 代理优化是使用一个代理函数或近似函数来通过采样估计目标函数 。
  • 贝叶斯优化是通过将代理函数表示成概率分布而将代理优化放入一个概率框架中 ， 然后再使用新信息更新这个分布 。
  • 获取函数则是用于基于已知的先验 ， 评估利用空间中的某个特定点得到「好」结果的概率 。 其关键在于探索与利用的平衡 。
  • 贝叶斯优化的主要使用场景是目标函数评估成本高的任务 ， 比如超参数调节 。 有一些用于该任务的软件库 ， 比如 HyperOpt 。
原文链接：https://towardsdatascience.com/the-beauty-of-bayesian-optimization-explained-in-simple-terms-81f3ee13b10f
转载请联系本公众号获得授权


推荐阅读


上一篇：光明网|山西：美了生态 红了日子

下一篇：汽车知识|标配胎压显示、定速巡航！不吹不黑，来说说博越值不值得买打的就是同级别精锐！