当我们遇到的一个最优化问题，但是目标函数不知道，或者说目标函数是类似于黑盒子，很难用数学公式/程序写出来时，此时想要求得目标函数的极值，可以使用贝叶斯优化，其主要的适用的情景是维数不超过20维，目标是一个具体的数值时。

这样的情景有很多，比如：我们想知道神经网络多少层、每层多少个节点时误差最小；支持向量机的数据集如何划分时交叉验证损失最小……这些就是超参数优化问题了。

贝叶斯优化的包在python、matlab(2016a之后)、c++都已经具备了。Python是比较好懂的，案例相对来说多一些，但是matlab的例子很少，这里主要针对matlab版本的贝叶斯优化来介绍。本篇针对使用方法来介绍，数学原理有机会再说吧。

在matlab中，贝叶斯优化函数是bayesopt。句法：

Results = bayesopt(fun, vars)

Results = bayesopt(fun, vars, Name, Value)

fun—目标函数

fun返回具有可调超参数来控制其训练的机器学习模型的损失度量，简单地说，其需要返回一个具体的值，不管其有没有数学形式。

vars—定义要调整的超参数的对象的变量描述

在matlab中使用optimizableVariable对象来构建变量向量。

Name-Value—可选参数对，Name是字符串，需用‘’来表示

1. 'AcquisitionFunctionName' — 选择下一次估计点的函数

其值有：'expected-improvement-per-second-plus' (默认)

当我们遇到的一个最优化问题，但是目标函数不知道，或者说目标函数是类似于黑盒子，很难用数学公式/程序写出来时，此时想要求得目标函数的极值，可以使用贝叶斯优化，其主要的适用的情景是维数不超过20维，目标是一个具体的数值时。这样的情景有很多，比如：我们想知道神经网络多少层、每层多少个节点时误差最小；支持向量机的数据集如何划分时交叉验证损失最小……这些就是超参数优化问题了。贝叶斯优化的包在python、m... 除其他功能外，还可以使用BayesOptMat 优化 物理实验并调整机器学习算法的参数。 该代码具有以下附加功能： 采集函数 优化 的 优化 方法的其他选项，包括粒子群 优化 （PSO），CMAES，DIRECT， 贝叶斯 优化 诊断和测井工具，以测试 优化 速度和效率； 可视化和动画实用程序，用于低维数据和测试目标函数，以及性能指标的图表。 根文件夹包含文件start.m ，该文件将相关依赖项添加到当前路径。 执行任何操作之前，请确保运行此文件。 根文件夹还包含有关如何使用各种功能的演示文件，并且这些方法具有有关其输入和输出的注释。 本示例说明如何使用分位数误差实现 贝叶斯 优化 以调整回归树的随机森林的超参数。 如果计划使用模型来预测条件分位数而不是条件均值，则使用分位数误差而不是均方误差来调整模型是合适的。查找关于树复杂性和要使用 贝叶斯 优化 在每个节点上采样的预测变量数量，实现最小，受罚的袋外分位数误差的模型。 将期望的改进加功能指定为获取功能。 加载和预处理数据 加载carsmall数据集。 假设一个模型，该模型根据加速度...