内容包括梯度下降基本原理，矩阵求导基础。

前置知识

在推导之前先复习一下一些基础知识。

一阶导数定义

$$f{}^{\prime }(x)={\displaystyle \underset{\mathrm{\Delta }x\to 0}{lim}\frac{\mathrm{\Delta }y}{\mathrm{\Delta }x}=\frac{f(\mathrm{\Delta }x+x)-f(x)}{\mathrm{\Delta }x}}$$

多元函数偏导数定义

$$f_{x1}(x1,x2,...)=\underset{\mathrm{\Delta }x\to 0}{lim}\frac{f(x1+\mathrm{\Delta }x,x2,x3,...)-f(x1,x2,x3,...)}{\mathrm{\Delta }x}$$

方向导数的定义

偏导数定义只是沿着某个坐标轴方向的导数，多元函数的自变量在某点可以沿无数个方向运动，多元函数沿着某个方向上的变换率称为 ==方向导数== ,它的推导过程如图所示（2个变元的情况）

$$\begin{array}{l}\underset{t\to 0^{+}}{lim}\frac{f(x_0+t\cos \alpha ,y_0+t\sin \alpha )-f(x_0,y_0)}{t}\\ \\ =\underset{t\to 0^{+}}{lim}[\frac{f(x_0+t\cos \alpha ,y_0+t\sin \alpha )-f(x_0,y_0+t\sin \alpha )}{t}+\frac{f(x_0,y_0+t\sin \alpha )-f(x_0,y_0)}{t}]\\ \\ =\underset{t\to 0}{lim}[\frac{f_x({\xi }_x,y_0+t\sin \alpha )t\cos \alpha }{t}+\frac{f_y(x_0,{\xi }_y)t\sin \alpha }{t}],{\xi }_x\in (x_0,x_0+t\cos \alpha ),{\xi }_y\in (y_0,y_0+t\sin \alpha )\\ \\ =f_x(x_0,y_0)cos\alpha +f_y(x_0,y_0)sin\alpha \end{array}$$

梯度的定义

多元函数在某一点的梯度是一个非常特殊的向量，其由多元函数对每个变量的偏导数组成,（这即是为什么求梯度的时候需要对各个变量求偏导的原因），其方向为函数在该点增加最快的方向，大小（向量的模长）为函数在该点的最大变化率。

将上面的方向导数写成两个向量相乘的格式，就得到了：

$$f_x(x_0,y_0)cos\alpha +f_y(x_0,y_0)sin\alpha =\left(\begin{array}{cc}{f}_x(x_0,y_0)& f_y(x_0,y_0)\end{array}\right)\left(\begin{array}{c}cos\alpha \\ sin\alpha \end{array}\right)$$

设有两个变量 $g=(f_x(x_0,y_0)f_y(x_0,y_0))$和$e_l=(cos\alpha sin\alpha )$

$$g\cdot e_l=|g||e_l|cos\theta =|g|cos\theta$$

$\theta$ 为两个向量之间的夹角，所以该向量点乘结果（也就是方向导数）

• 在$\theta =0$的情况下。此时函数的变化率最大，函数呈上升趋势

• 在$\theta =\pi$的情况下函数的变化率最大，函数呈下降趋势

梯度下降原理

因为梯度指示了函数变化率最大的地方，因此只要每次沿着梯度指示方向的反方向更新当前网络的参数并一直迭代，就可以将$loss$函数优化到最低点。

$$w=w_j-\alpha \mathrm{\nabla }J(W_j)$$

矩阵求导

由于在机器学习中，我们使用最多的数据一般都是向量或者矩阵形式的，很少有标量的情况，因此我们还需要学习矩阵求导的相关知识。

矩阵求导和函数求导还是不太一样的，具体学习可以参考下面这两个链接。矩阵求导的本质就是 一个函数 $function$的每一个$f$对变元中的每个元素逐个求偏导。但是在神经网络中一般涉及到的形式一般是输入一组矩阵或者向量，最后输出的$loss$值一般为一个标量用于衡量网络的性能。所这里就只考虑$f$是一个矩阵变元的实值标量函数，我们需要使用梯度下降优化这个函数的参数，使该函数的输出值最小。

这里推荐两篇文章，这里只是对这两篇文章的一些总结，更详细的内容可以直接看原文。

矩阵求导术

矩阵求导

矩阵求导布局

1. 分子布局：求导的 $f$ 是列向量的形式，分子$X$是行向量的形式
2. 分母布局：求导的 $f$是行向量的形式，分子$X$是列向量的形式

分子布局和分母布局互为转置。

矩阵求导常用的四个法则以及公式

矩阵求导的四个法则跟一元函数求导的法则是一致的，可以直接借鉴过来

$$\begin{array}{rl}& \frac{\partial C}{\partial X}=0\\ \\ & \frac{\partial [c_{1}f(x)+c_{2}g(x)]}{\partial z}=c_1\frac{\partial f(x)}{\partial z}+c_2\frac{\partial g(x)}{\partial z}\\ \\ & \frac{\partial [f(x)g(x)]}{\partial z}=\frac{\partial f(x)}{\partial z}g(x)+f(z)\frac{\partial g(z)}{\partial z}\\ \\ & \frac{\partial \left[\frac{f(x)}{g(x)}\right]}{\partial z}=\frac{1}{g^2(x)}[\frac{\partial f(x)}{\partial x}g(z)-f(z)\frac{\partial g(x)}{\partial x}]\end{array}$$

一些补充公式

$$\begin{array}{rl}& \frac{\partial \left(x^{T}a\right)}{\partial x}=\frac{\partial \left(a^{T}x\right)}{\partial x}=a\\ \\ & \frac{\partial \left(x^{T}x\right)}{\partial z}=2x\\ \\ & \frac{\partial \left(x^{T}Ax\right)}{\partial x}=Ax+A^{T}x\\ \end{array}$$

矩阵求导的进阶技巧

上面写都是矩阵求导的基本法则，类似于使用定义法求一元函数的导数，使用的场合不多，更为常用的方法是使用迹技巧去求解。

首先来看迹的定义：

$$tr(A)=a_{11}+a_{22}+\cdots +a_{nn}=\sum _{i=1}^n{a}_i$$

一些常见的迹的公式

$$\begin{array}{rl}& tr(c)=c\\ & tr(c_{1}A+c_{2}B)=c_{1}tr(A)+c_{2}tr(B)\\ & tr(A)=tr(A^T)\\ & \underset{―}{tr(ABC)=tr(CAB)=tr(BCA)},A_{m\times n},B_{n\times p},C_{p\times m}\\ & tr(A{B}^T)=tr(B^{T}A)=tr(A^{T}B)=tr(B{A}^T)\\ & tr(|A|)=|A|tr(A^{-1}dA)=tr(|A|A^{-1}dA)\\ & tr(A^T(B\odot C))=tr((A\odot B{)}^{T}C)\end{array}$$

注意上面画横线的那个公式的意思是两个矩阵相乘的迹，可以将后 一个的矩阵提到前面去，结果不改变。

矩阵乘积的迹，（注意这里迹的表示，这对理解为什么可以利用迹来求导至关重要）

设有两个矩阵，$A_{2\times 3}$和$B_{3\times 2}$

$$A=\left(\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\end{array}\right)B=\left(\begin{array}{cc}{b}_{11}& b_{12}\\ b_{21}& b_{22}\\ b_{31}& b_{32}\end{array}\right)$$$$\begin{gathered} AB=\left(\begin{array}{cc}{a}_{11}{b}_{11}+a_{12}{b}_{21}+a_{13}{b}_{31}& a_{11}{b}_{12}+a_{12}{b}_{22}+a_{13}{b}_{32}\\ a_{21}{b}_{11}+a_{22}{b}_{21}+a_{23}{b}_{31}& a_{21}{b}_{12}+a_{22}{b}_{22}+a_{23}{b}_{32}\end{array}\right) \\ tr(AB)=a_{11}{b}_{11}+a_{12}{b}_{21}+a_{13}{b}_{31}+a_{21}{b}_{12}+a_{22}{b}_{22}+a_{23}{b}_{32} \end{gathered}$$

如果有$A=B^T$，则两个矩阵相乘的迹等于对应位置的元素相乘并相加，可以理解为向量的点积在矩阵上的推广。

设有标量函数 $f(X),X_{m\times n}$，求$df(X)$

$$\begin{array}{rl}\mathrm{d}f(\mathit{X})& =\frac{\partial f}{\partial x_{11}}\mathrm{d}{x}_{11}+\frac{\partial f}{\partial x_{12}}\mathrm{d}{x}_{12}+\cdots +\frac{\partial f}{\partial x_{1n}}\mathrm{d}{x}_{1n}\\ & +\frac{\partial f}{\partial x_{21}}\mathrm{d}{x}_{21}+\frac{\partial f}{\partial x_{22}}\mathrm{d}{x}_{22}+\cdots +\frac{\partial f}{\partial x_{2n}}\mathrm{d}{x}_{2n}\\ & +\cdots \\ & +\frac{\partial f}{\partial x_{m1}}\mathrm{d}{x}_{m1}+\frac{\partial f}{\partial x_{m2}}\mathrm{d}{x}_{m2}+\cdots +\frac{\partial f}{\partial x_{mn}}\mathrm{d}{x}_{mn}\end{array}$$

可以发现，$df(X)$的结果其实就是两个矩阵$(\frac{\partial f}{\partial X_{ij}}{)}_{i=1,j=1}^{m,n}$和$(d{X}_{ij}{)}_{i=1,j=1}^{m,n}$对应位置相乘并相加，所以该式就可以写为迹的形式：

$$\begin{array}{rl}\mathrm{d}f(\mathit{X})& =\frac{\partial f}{\partial x_{11}}\mathrm{d}{x}_{11}+\frac{\partial f}{\partial x_{12}}\mathrm{d}{x}_{12}+\cdots +\frac{\partial f}{\partial x_{1n}}\mathrm{d}{x}_{1n}\\ & +\frac{\partial f}{\partial x_{21}}\mathrm{d}{x}_{21}+\frac{\partial f}{\partial x_{22}}\mathrm{d}{x}_{22}+\cdots +\frac{\partial f}{\partial x_{2n}}\mathrm{d}{x}_{2n}\\ & +\cdots \\ & +\frac{\partial f}{\partial x_{m1}}\mathrm{d}{x}_{m1}+\frac{\partial f}{\partial x_{m2}}\mathrm{d}{x}_{m2}+\cdots +\frac{\partial f}{\partial x_{mn}}\mathrm{d}{x}_{mn}\\ & =\mathrm{tr}\left({\left[\begin{array}{cccc}\frac{\partial f}{\partial x_{11}}& \frac{\partial f}{\partial x_{21}}& \cdots & \frac{\partial f}{\partial x_{m1}}\\ \frac{\partial f}{\partial x_{12}}& \frac{\partial f}{\partial x_{22}}& \cdots & \frac{\partial f}{\partial x_{m2}}\\ ⋮& ⋮& ⋮& ⋮\\ \frac{\partial f}{\partial x_{1n}}& \frac{\partial f}{\partial x_{2n}}& \cdots & \frac{\partial f}{\partial x_{mn}}\end{array}\right]}_{n\times m}{\left[\begin{array}{cccc}\mathrm{d}{x}_{11}& \mathrm{d}{x}_{12}& \cdots & \mathrm{d}{x}_{1n}\\ \mathrm{d}{x}_{21}& \mathrm{d}{x}_{22}& \cdots & \mathrm{d}{x}_{2n}\\ ⋮& ⋮& ⋮& ⋮\\ \mathrm{d}{x}_{m1}& \mathrm{d}{x}_{m2}& \cdots & \mathrm{d}{x}_{mn}\end{array}\right]}_{m\times n}\right)\end{array}$$

所以就可以得出结论：$df(X)=tr(\frac{\partial f(X)}{\partial X^T}dX)$

如何使用矩阵微分求导

对于实值标量函数$f(X)$，$tr(f(X))=f(X)$， $df(X)=tr(df(X))$ ，所以有

$$df(X)=d(tr(f(X)))=tr(df(X))$$

上面的公式表明，迹和求微分是可以交换的

下面计算一个简单的例题：证明正面下面结论。

$$\begin{array}{rl}& \frac{\partial tr(X^{T}X)}{\partial X}=2X\\ & \Rightarrow d(tr(X^{T}X))=tr(d{X}^{T}X)\\ & =tr(d{X}^{T}X+X^{T}dX)\\ & =tr(d{X}^{T}X)+tr(X^{T}dX)\\ & =tr(Xd{X}^T)+tr(X^{T}dX)=tr(X^{T}dX)+tr(X^{T}dX)\\ & =tr(2X^{T}dX)\\ & \Rightarrow \frac{\partial tr(X^{T}X)}{\partial X}=2X\\ & \Rightarrow \frac{\partial tr(X^{T}X)}{\partial X^T}=2X^T\end{array}$$