图1. MNIST图片示例
图1. MNIST图片示例
+
| 分类器 | +预处理 | +测试误差 | +参考文献 | +
|---|---|---|---|
| linear classifier (1-layer NN) | +none | +12.0 | +[LeCun et al. 1998] (http://yann.lecun.com/exdb/publis/index.html#lecun-98) | +
| linear classifier (1-layer NN) | +deskewing | +8.4 | +[LeCun et al. 1998] (http://yann.lecun.com/exdb/publis/index.html#lecun-98) | +
| 2-layer NN, 300 hidden units, mean square error | +none | +4.7 | +[LeCun et al. 1998] (http://yann.lecun.com/exdb/publis/index.html#lecun-98) | +
| 2-layer NN, 300 HU | +deskewing | +1.6 | +[LeCun et al. 1998] (http://yann.lecun.com/exdb/publis/index.html#lecun-98) | +
| 2-layer NN, 800 HU, Cross-Entropy Loss | +none | +1.6 | +[Simard et al., ICDAR 2003] (https://www.microsoft.com/en-us/research/publication/best-practices-for-convolutional-neural-networks-applied-to-visual-document-analysis/) | +
| Convolutional net LeNet-1 | +subsampling to 16x16 pixels | +1.7 | +[LeCun et al. 1998] (http://yann.lecun.com/exdb/publis/index.html#lecun-98) | +
| Convolutional net LeNet-4 | +none | +1.1 | +[LeCun et al. 1998] (http://yann.lecun.com/exdb/publis/index.html#lecun-98) | +
| Convolutional net LeNet-5, [no distortions] | +none | +0.95 | +[LeCun et al. 1998] (http://yann.lecun.com/exdb/publis/index.html#lecun-98) | +
@@ -54,19 +130,38 @@ $$ y_i = \frac{e^{net_i}}{\sum_j e^{net_j}} $$ 注：图中权重用黑线表示，偏置用红线表示，+1代表偏置参数的系数为1
+神经网络模型的构建包括网络配置在内，通常有以下几个步骤: + +1. 网络结构配置 +2. 初始化参数，其中包括训练参数权重W和偏置b，以及超参数训练速度 $\eta$、 `batchSize` 和训练轮次 `Pass` 等等，训练参数随着网络的迭代不断更新，而超参数一般是在网络初始化的时候给定好的。 +3. 前向传播计算网络输出和代价损失函数。 +4. 根据代价损失函数进行反向误差传播，更新训练参数。 +5. 重复3~4步骤，直至网络训练误差达到规定的程度或训练轮次达到设定值。 + +对于以上步骤4，神经网络的训练采用 `backpropagation` 的形式，其一般会定义一个损失函数（也称目标函数），训练的目的是为了减小目标函数的 +值。在分类问题中，我们一般采用交叉熵代价损失函数(cross entropy)，其形式如下： + + ### 多层感知器(Multilayer Perceptron, MLP) -#### 原理介绍： -在softmax回归中，我们采用了最简单的两层神经网络，分别为输入的datalayer层和输出的softmax层，模型比较简单，意味着 + +在softmax回归中，我们采用了最简单的两层神经网络，分别为输入的datalayer层和输出的 `softmax` 层，模型比较简单，意味着 其拟合能力有限。因此，为了达到更好的识别效果，我们可以考虑在输入层和输出层中间加上若干个隐藏层。 + 在该网络层中，我们有输入X($x_i(i=0,1,2,...,n-1)$)，输出标签Y($y_i(i=0,1,2,..9)$)，为了表示方便，以下我们都直接 用向量计算来表示。经过第一层网络，我们可以得到： + $$ H_1 = activation(W_1X + b_1) $$ -上面，activation代表激活函数，其常见的为sigmoid，tanh或ReLU等函数。 + +上面，`activation` 代表激活函数，其常见的为 `sigmoid` ，`tanh` 或 `ReLU` 等函数。 经过第二层网络，可以得到： + $$ H_2 = activation(W_2H_1 + b_2) $$ + 最后，再经过输出层： + $$ Y = softmax(W_3H_2 + b_3) $$ + 得到的P即为最后的预测结果向量。
@@ -74,144 +169,101 @@ $$ Y = softmax(W_3H_2 + b_3) $$
注：图中权重用黑线表示，偏置用红线表示，+1代表偏置参数的系数为1
图4. 卷积层图片
图5. 池化层图片
图6. 卷积神经网络结构
-
-
+
| t10k-images-idx3-ubyte | +测试数据图片，10,000条数据 | +
| t10k-labels-idx1-ubyte | +测试数据标签，10,000条数据 | +
| train-images-idx3-ubyte | +训练数据图片，60,000条数据 | +
| train-labels-idx1-ubyte | +训练数据标签，60,000条数据 | +
+
+
图8. softmax回归训练误差图
图9. 多层感知器训练误差图
+
+图10. 卷积神经网络训练误差图
+