---

可下载资源

要训​​练深度神经网络，必须指定神经网络架构以及训练算法的选项。选择和调整这些超参数可能很困难并且需要时间。贝叶斯优化是一种非常适合用于优化分类和回归模型的超参数的算法。 

准备数据

下载CIFAR-10数据集[1]。该数据集包含60,000张图像，每个图像的大小为32 x 32和三个颜色通道（RGB）。整个数据集的大小为175 MB。 

加载CIFAR-10数据集作为训练图像和标签，并测试图像和标签。 

figure;
idx = randperm(numel(YTrain),20);
for i = 1:numel(idx)
    subplot(4,5,i);
    imshow(XTrain(:,:,:,idx(i)));
end

选择要优化的变量

选择要使用贝叶斯优化进行优化的变量，并指定要搜索的范围。此外，指定变量是否为整数以及是否在对数空间中搜索区间。优化以下变量：

执行贝叶斯优化

使用训练和验证数据作为输入，为贝叶斯优化器创建目标函数。目标函数训练卷积神经网络，并在验证集上返回分类误差。 

|   21 | Accept |      0.1904 |      2184.7 |      0.1882 |     0.18498 |            3 |     0.017697 |      0.95057 |   0.00022247 |
|   22 | Accept |      0.1928 |      2184.4 |      0.1882 |     0.18527 |            3 |      0.06813 |       0.9027 |   1.3521e-09 |
|   23 | Accept |      0.1934 |      2183.6 |      0.1882 |      0.1882 |            3 |     0.018269 |      0.90432 |    0.0003573 |
|   24 | Accept |       0.303 |      1707.9 |      0.1882 |     0.18809 |            1 |     0.010157 |      0.88226 |   0.00088737 |
|   25 | Accept |       0.194 |      2189.1 |      0.1882 |     0.18808 |            3 |     0.019354 |      0.94156 |   9.6197e-07 |
|   26 | Accept |      0.2192 |      1752.2 |      0.1882 |     0.18809 |            1 |      0.99324 |      0.91165 |   1.1521e-08 |
|   27 | Accept |      0.1918 |        2185 |      0.1882 |     0.18813 |            3 |      0.05292 |       0.8689 |   1.2449e-05 |

---

---

Optimization completed.
MaxTime of 50400 seconds reached.
Total function evaluations: 27
Total elapsed time: 51962.3666 seconds.
Total objective function evaluation time: 51942.8833
 
Best observed feasible point:
    SectionDepth    InitialLearnRate    Momentum    L2Regularization
    ____________    ________________    ________    ________________
 
         3               0.1722          0.8019        4.2149e-06   
 
Observed objective function value = 0.1882
Estimated objective function value = 0.18813
Function evaluation time = 2257.4627
 
Best estimated feasible point (according to models):
    SectionDepth    InitialLearnRate    Momentum    L2Regularization
    ____________    ________________    ________    ________________
 
         3               0.1722          0.8019        4.2149e-06   
 
Estimated objective function value = 0.18813
Estimated function evaluation time = 2166.2402

评估最终网络

加载优化中发现的最佳网络及其验证准确性。

valError = 0.1882

预测测试集的标签并计算测试误差。将测试集中每个图像的分类视为具有一定成功概率的独立事件，这意味着错误分类的图像数量遵循二项式分布。使用它来计算标准误差（testErrorSE）和testError95CI广义误差率的大约95％置信区间（）。这种方法通常称为Wald方法。 

testError = 0.1864

testError95CI = 1×2
 
    0.1756    0.1972

绘制混淆矩阵以获取测试数据。通过使用列和行摘要显示每个类的精度和召回率。

​

您可以使用以下代码显示测试图像及其预测的类以及这些类的概率。

优化目标函数

定义用于优化的目标函数。 

定义卷积神经网络架构。

• 在卷积层上填充，以便空间输出大小始终与输入大小相同。
• 每次使用最大池化层对空间维度进行2倍的下采样时，将过滤器的数量增加2倍。这样做可确保每个卷积层所需的计算量大致相同。
• 选择与成正比的滤波器数量，以1/sqrt(SectionDepth)使不同深度的网络具有大致相同数量的参数，并且每次迭代所需的计算量大致相同。要增加网络参数的数量和整体网络灵活性，请增加numF。要训​​练更深的网络，请更改SectionDepth变量的范围。
• 使用convBlock(filterSize,numFilters,numConvLayers)创建的块numConvLayers卷积层，每个具有指定filterSize和numFilters过滤器，并且每个随后分批正常化层和RELU层。该convBlock函数在本示例的末尾定义。

 指定验证数据，然后选择一个'ValidationFrequency'值，以便trainNetwork每个时期对网络进行一次验证。训练固定的时期数，并在最后一个时期将学习率降低10倍。这减少了参数更新的噪音，并使网络参数的沉降更接近损耗函数的最小值。

使用数据增强可沿垂直轴随机翻转训练图像，并将它们随机水平和垂直转换为四个像素。

训练网络并在训练过程中绘制训练进度。

​

​

在验证集上评估经过训练的网络，计算预测的图像标签，并在验证数据上计算错误率。

创建一个包含验证错误的文件名，然后将网络，验证错误和训练选项保存到磁盘。目标函数fileName作为输出参数bayesopt返回，并返回中的所有文件名BayesObject.UserDataTrace。

该convBlock函数创建一个numConvLayers卷积层块，每个卷积层都有一个指定的filterSize和numFilters过滤器，每个卷积层后面都有一个批处理归一化层和一个ReLU层。

参考文献

[1]克里热夫斯基，亚历克斯。“从微小的图像中学习多层功能。” （2009）。https://www.cs.toronto.edu/~kriz/learning-features-2009-TR.pdf