上一篇文章学习矩阵求导的方法，这篇文章以上一篇文章为基础，推导一个三层的MLP的反向传播算法并给出它的代码实现。

前言

进行推导前需要先列出几个后面需要使用的函数

首先是大名的鼎鼎的交叉熵（Cross Entropy）函数，它的定义如下，其中 $y$ 是独热码编码后的类别，$softmax$的函数输出可以衡量输出是每个类别的概率大小。

$$\begin{gathered} L=-y^{T}log(softmax(x)) \\ softmax(\overrightarrow{x})=\frac{e^{x_i}}{\sum _{j=1}^K{e}^{x_j}} \\ {L}^{{}^{\prime }}(x)=softmax(\overrightarrow{x})-\overrightarrow{y} \end{gathered}$$

我们后面的激活函数采用比较常见的$\sigma$函数，它的定义和导数是

$$\begin{array}{rl}\sigma (x)& =\frac{1}{1+exp(x)}\\ \\ \sigma (x{)}^{{}^{\prime }}& =\sigma (x)(1-\sigma (x))\end{array}$$

当然，后面的推导也不会使用$\sigma$函数求导的完整结果（因为太长了），而是用${\sigma }^{{}^{\prime }}$表示，如果要更换$ReLu$或者别的激活函数，如只需要将求导结果带进去就可以了。

符号定义

假设我们的网络有 $n$层，$w_i$和$b_i$分别表示第$i$层的参数(wight)和偏置(bias)，使用$a_i$表示第$i$层还没有经过激活函数的结果，使用 $h_i$表示第$i$层的输出同时也是第$i+1$层的输入，也就是相当于$h_i=\sigma (a_i)$， $\sigma$函数作为激活函数。整个网络的前向传播的$Loss$表达式可以写成下面的这种形式。

$$\begin{array}{rl}L& =-y^{T}log(softmax(h_3))\\ \\ h_3& =h_2{w}_3+b_3\\ \\ a_2& =h_1{w}_2+b_2{h}_2=\sigma (a_2)\\ \\ a_1& =h_0{w}_1+b_1{h}_1=\sigma (a_1)\\ \\ h_0& =x\end{array}$$

这里假设输入的向量$x$和输出向量$y$都是列向量

当然，如果不定义符号进行替换的话就可以写成下面的这种比较长的形式。

$$L=-y^{T}log(softmax(\sigma (\sigma (x{w}_1+b_1)w_2+b_2)w_3+b_3))$$

可以看到，MLP的本质其实就是我们最常见的复合函数的形式，只是我们的输入的变量$x$是一个向量或者矩阵的形式。我们的任务就是借助上一篇文章中所提到的矩阵求导的手段求出 $L$ 对每个$w_i$和$b_i$的偏导表达式。

第三层推导

根据前言部分$log(softmax(x))$函数的求导，可以直接求得$h_3$的偏导数

$$\frac{\partial L}{\partial h_3}=softmax(h_3)-y$$

将 $dL$ 写成迹的形式

$$\begin{array}{rl}tr(dL)& =tr((\frac{\partial L}{\partial h_3}{)}^{T}d{h}_3)\\ & =tr((\frac{\partial L}{\partial h_3}{)}^{T}d(h_2{w}_3+b_3))\\ & =tr((\frac{\partial L}{\partial h_3}{)}^{T}d(h_2{w}_3))+tr((\frac{\partial L}{\partial h_3}{)}^{T}d(b_3))\end{array}$$

通过红色的部分就得到了我们可以看到$L$关于$b_3$的微分形式，通过这个式子就可以写出$L$关于$b_3$的偏导数：

$$\frac{\partial L}{\partial b_3}=((\frac{\partial L}{\partial h_3}{)}^T{)}^T=\frac{\partial L}{\partial h_3}$$

将前面蓝色的部分单独写下来，继续经过变形

$$\begin{array}{rl}& tr((\frac{\partial L}{\partial h_3}{)}^{T}d(h_2{w}_3))\\ & =tr((\frac{\partial L}{\partial h_3}{)}^{T}d(h_2)w_3)+tr((\frac{\partial L}{\partial h_3}{)}^T{h}_{2}d(w_3))\\ & =tr(w_3(\frac{\partial L}{\partial h_3}{)}^{T}d(h_2))+tr((\frac{\partial L}{\partial h_3}{)}^T{h}_{2}d(w_3))\end{array}$$

同样的由红色部分，我们可以得到$L$关于$w_3$的偏导，蓝色的部分我们后续的推导需要用。

$$\frac{\partial L}{\partial w_3}=(\frac{\partial L}{\partial h_3}{)}^T{h}_2{)}^T=h_2^T\frac{\partial L}{\partial h_3}$$

到这里，我们第三层的所有参数 $w_3$和$b_3$的梯度我们都算出来了。

第二层推导

接着把第三层推导剩下的蓝色部分单独提出来

$$\begin{array}{rl}& tr(w_3(\frac{\partial L}{\partial h_3}{)}^{T}d(h_2))\\ & =tr(w_3(\frac{\partial L}{\partial h_3}{)}^{T}d(\sigma (a_2)))\\ & =tr(w_3(\frac{\partial L}{\partial h_3}{)}^T{\sigma }^{{}^{\prime }}(a_2)\odot d(a_2))\end{array}$$

根据上篇文章提到的$tr(A^T(B\odot C))=tr((A\odot B{)}^{T}C)$可以化简为

$$\begin{array}{rl}& tr(w_3(\frac{\partial L}{\partial h_3}{)}^T{\sigma }^{{}^{\prime }}(a_2)\odot d(a_2))\\ & =tr((\frac{\partial L}{\partial h_3}{w}_3^T{)}^T{\sigma }^{{}^{\prime }}(a_2)\odot d(a_2))\\ & =tr((\frac{\partial L}{\partial h_3}{w}_3^T\odot {\sigma }^{{}^{\prime }}(a_2){)}^{T}d(a_2))\\ & =tr((\frac{\partial L}{\partial h_3}{w}_3^T\odot {\sigma }^{{}^{\prime }}(a_2){)}^{T}d(h_1{w}_2+b_2))\\ & =tr((\frac{\partial L}{\partial h_3}{w}_3^T\odot {\sigma }^{{}^{\prime }}(a_2){)}^{T}d(h_1{w}_2))+tr((\frac{\partial L}{\partial h_3}{w}_3^T\odot {\sigma }^{{}^{\prime }}(a_2){)}^{T}d(b_2))\\ & =tr((\frac{\partial L}{\partial h_3}{w}_3^T\odot {\sigma }^{{}^{\prime }}(a_2){)}^{T}d(h_1)w_2)\\ & +tr((\frac{\partial L}{\partial h_3}{w}_3^T\odot {\sigma }^{{}^{\prime }}(a_2){)}^T{h}_{1}d(w_2))+tr((\frac{\partial L}{\partial h_3}{w}_3^T\odot {\sigma }^{{}^{\prime }}(a_2){)}^{T}d(b_2))\end{array}$$

可以得到

$$\frac{\partial L}{\partial w_2}=((\frac{\partial L}{\partial h_3}{w}_3^T\odot {\sigma }^{{}^{\prime }}(a_2){)}^T{h}_1{)}^T=h_1^T(\frac{\partial L}{\partial h_3}{w}_3^T\odot {\sigma }^{{}^{\prime }}(a_2))$$$$\frac{\partial L}{\partial b_2}=\frac{\partial L}{\partial h_3}{w}_3^T\odot {\sigma }^{{}^{\prime }}(a_2)$$

第一层推导

经过前两节的推导，我们得到了第二和第三层的表达式，但是他们的规律还不是非常的明显，我们继续推导第一层的偏导数。

$$\begin{array}{rl}& tr((\frac{\partial L}{\partial h_3}{w}_3^T\odot {\sigma }^{{}^{\prime }}(a_2){)}^{T}d(h_1)w_2)\\ & =tr(w_2(\frac{\partial L}{\partial h_3}{w}_3^T\odot {\sigma }^{{}^{\prime }}(a_2){)}^{T}d(\sigma (a1))\\ & =tr(w_2(\frac{\partial L}{\partial h_3}{w}_3^T\odot {\sigma }^{{}^{\prime }}(a_2){)}^T{\sigma }^{{}^{\prime }}(a1)\odot d(a1))\\ & =tr((\frac{\partial L}{\partial h_3}{w}_3^T\odot {\sigma }^{{}^{\prime }}(a_2)w_2^T{)}^T{\sigma }^{{}^{\prime }}(a1)\odot d(a1))\\ & =tr((\frac{\partial L}{\partial h_3}{w}_3^T\odot {\sigma }^{{}^{\prime }}(a_2)w_2^T\odot {\sigma }^{{}^{\prime }}(a1){)}^{T}d(h_0{w}_1+b_1))\\ & =tr((\frac{\partial L}{\partial h_3}{w}_3^T\odot {\sigma }^{{}^{\prime }}(a_2)w_2^T\odot {\sigma }^{{}^{\prime }}(a1){)}^{T}d(h_0{w}_1))+tr((\frac{\partial L}{\partial h_3}{w}_3^T\odot {\sigma }^{{}^{\prime }}(a_2)w_2^T\odot {\sigma }^{{}^{\prime }}(a1){)}^{T}d(b_1))\\ & =tr((\frac{\partial L}{\partial h_3}{w}_3^T\odot {\sigma }^{{}^{\prime }}(a_2)w_2^T\odot {\sigma }^{{}^{\prime }}(a1){)}^T{h}_{0}d(w_1))+tr((\frac{\partial L}{\partial h_3}{w}_3^T\odot {\sigma }^{{}^{\prime }}(a_2)w_2^T\odot {\sigma }^{{}^{\prime }}(a1){)}^{T}d(b_1))\\ & +tr((\frac{\partial L}{\partial h_3}{w}_3^T\odot {\sigma }^{{}^{\prime }}(a_2)w_2^T\odot {\sigma }^{{}^{\prime }}(a1){)}^{T}d(h_0)w_1)\end{array}$$

可以得出

$$\begin{array}{rl}\frac{\partial L}{\partial w_1}& =(\frac{\partial L}{\partial h_3}{w}_3^T\odot {\sigma }^{{}^{\prime }}(a_2)w_2^T\odot {\sigma }^{{}^{\prime }}(a1){)}^T{h}_0{)}^T\\ & =h_0^T(\frac{\partial L}{\partial h_3}{w}_3^T\odot {\sigma }^{{}^{\prime }}(a_2)w_2^T\odot {\sigma }^{{}^{\prime }}(a1))\end{array}$$$$\frac{\partial L}{\partial b_2}=\frac{\partial L}{\partial h_3}{w}_3^T\odot {\sigma }^{{}^{\prime }}(a_2)w_2^T\odot {\sigma }^{{}^{\prime }}(a1)$$

总结规律

将分别将 $w_1,w_2,w_3$的偏导表达式写出来

$$\begin{array}{rl}\frac{\partial L}{\partial w_1}& =h_0^T(\frac{\partial L}{\partial h_3}{w}_3^T\odot {\sigma }^{{}^{\prime }}(a_2)w_2^T\odot {\sigma }^{{}^{\prime }}(a1))\\ \\ \frac{\partial L}{\partial w_2}& =h_1^T(\frac{\partial L}{\partial h_3}{w}_3^T\odot {\sigma }^{{}^{\prime }}(a_2))\\ \\ \frac{\partial L}{\partial w_3}& =h_2^T\frac{\partial L}{\partial h_3}\end{array}$$

假设网络有 $n$层，编号依次为 1, 2 ...，损失函数关于网络最终输出的偏导为$\frac{\partial L}{\partial out}$，可以比较明显地发现以下规律：

$$\frac{\partial L}{\partial w_i}=h_{i-1}^T[\frac{\partial L}{\partial out}\prod _{k=n}^{k=i+1}(w_k^T\odot {\sigma }^{{}^{\prime }}(a_{k-1}))]$$

注意:这里的连乘是倒序的

$b_1,b_2,b_3$的表达式为

$$\begin{array}{rl}\frac{\partial L}{\partial b_1}& =\frac{\partial L}{\partial h_3}{w}_3^T\odot {\sigma }^{{}^{\prime }}(a_2)w_2^T\odot {\sigma }^{{}^{\prime }}(a1)\\ \\ \frac{\partial L}{\partial b_2}& =\frac{\partial L}{\partial h_3}{w}_3^T\odot {\sigma }^{{}^{\prime }}(a_2)\\ \\ \frac{\partial L}{\partial b_3}& =\frac{\partial L}{\partial h_3}\end{array}$$

跟$w_i$类似，写出关于$b_i$的偏导数，其实就是$w_i$的偏导数去掉前面的$h_{i-1}$

$$\frac{\partial L}{\partial w_i}=\frac{\partial L}{\partial out}\prod _{k=n}^{k=i+1}(w_k^T\odot {\sigma }^{{}^{\prime }}(a_{k-1}))$$

注意:这里的连乘是倒序的

代码实现

有了前面的推导过程，接下来就是代码的实现，代码将包含3个部分。

• 数据准备
• 模型类实现
• 全连接层实现

测试和训练数据生成

在开始实现之前，我们需要先准备一些数据用于验证我们的模型工作是否正常。这里就直接实用sklearn库所提供的make_classification函数生成测试用的数据

N_CLASS = 3
from sklearn.datasets import make_classification
x, y = make_classification(n_samples=2000, n_features=5, n_classes=N_CLASS,
                           n_informative=5, n_repeated=0, n_redundant=0, n_clusters_per_class=1)
sns.scatterplot(x=x[:,0], y=x[:,1], hue=y)

测试用的数据将包含5个特征，也就是说输入的向量维度是5，总共有 3个类别