常用的神经网络结构。

全连接(FC)

全连接层(FC层)MLP（Multilayer Perceptron）多层感知机的基本结构，本质上为权重矩阵与输入矩阵简单相乘并叠加非线性激活函数的运算形式。当前的神经网络机构的运算范式的基础。下面就是它的公式：其中$W^T$代表该层的参数，$X$表示输入，这个输入必须是2维的（加上$Batch$的话是3维）。全连接层一般会组成一个前馈网络用作最后一层。

$$y=\sigma (W^{T}X+B)$$

卷积

卷积可以可以看做是FC层在二维上的扩展。卷积层的输入是一个三维的数据$C\times H\times W$（不包括$Batch$）。相当于将全连接层权重进行了二维排布，组成一个卷积核。

且卷积神经网络拥有的权值共享的特性。也就是说对于单个通道是共用的（大白话就是使用一个卷积核卷积一整个图像）。

卷积的输出大小计算公式是：$N$表示输出的宽度，$W$表示图像的宽度，$F$表示卷积核的宽度，$P$表示填充的大小（一般为1），$S$表示卷积的步长

$$N=\lfloor x(W-F+2P)/S\rfloor +1$$

RNN

普通RNN

RNN 相比与FCN的区别在于，RNN会保存当前一次的输出状态，并将该输出状态作为下一次的输入和新的数据输入一起参与新一轮的计算。它的公式为: $H_t$表示的是当前时刻的输出，$[]$表示的是拼接运算。初始时刻的$H_{t-1}$可以为0。RNN的本质上与FCN是一样的，只不过多了将上一个时刻的输出作为一部分输入输入到了神经网络。

$$H_t=\sigma (W^T[X_{t-1},H_{t-1}]+B)$$

LSTM

普通RNN存在的缺点是当输入的时间序列信息特别长的时候由于不相关的信息太多会造成网络非常难以训练。LSTM （ Long Short-Term Memory）的提出就是为了解决这样的问题，LSTM通过引入更多的计算部件控制当前时刻的输入以及上一个时刻输入对于输出结果的影响。它的计算则相对更加复杂一点。计算分为三个门：

其中$W_f,W_i,W_o,W_c$均为可学习的参数矩阵，$B_f,B_i,B_o,B_c$为可学习的偏置参数。

遗忘门：

$$F_t=\sigma (W_f^T[H_{t-1},X_t]+B_f)$$

输入门：

$$I_t=\sigma (W_i^T[H_{t-1},X_t]+B_i)$$

输出门：

$$O_t=\sigma (W_o^T[H_{t-1},X_t]+B_o)$$

除了$H_t$需要记录，LSTM还需要维护多一个细胞状态作为下一次计算的输入：$\odot$表示Element-Wise 的相乘。

$$\begin{array}{rl}{\tilde{C}}_t& =\tanh (W_c^T[H_{t-1},X_t]+B_c)\\ C_t& =F_t\odot {\tilde{C}}_{t-1}+I_t\odot {\tilde{C}}_t\end{array}$$

$\tanh$ 的函数图像为如下图，输出的范围为$(-1,1)$

最终的输出为：

$$H_t=O_t\odot \tanh (C_t)$$

GRU

GRU（Gated Recurrent Unit）可以视为简化版的LSTM。GRU只使用了两个门控单元：

更新门:

$$Z_t=\sigma (W_z^T[H_{t-1},X_t]+B_z)$$

重置门:

$$R_t=\sigma (W_r^T[H_{t-1},X_t]+B_r)$$

最终输出：

$$\begin{gathered} {\tilde{H}}_t=\tanh (W_h^T(R_t\odot [H_{t-1},X_t])+B_h) \\ {H}_t=(1-Z_t)\odot H_{t-1}+Z_t\odot {\tilde{H}}_t \end{gathered}$$

Attention

Scaled Dot-Product Attention

注意力机制(Attention)相对于本质普通的神经网络还是有比较大的区别。它的计算过程设计得非常精细，对于长序列数据的处理能力相比RNN更加强大（主观判断）。 它的输入为一排 向量，输出也是一排向量，输出的向量是综合了序列中所有信息之后得到的表达。

首先需要先根据输入计算三个矩阵$QKV$， 分别对应Query、Key和Value，它们都是输入$X\in {\mathbb{R}}^{d\times L}$，$X$是一个由$L$个维度为$d$的向量组成的输入矩阵。计算三个矩阵的过程为：

$$\begin{array}{rl}Q& =W_{Q}X\\ K& =W_{K}X\\ V& =W_{V}X\end{array}$$

其中, $W_Q,W_K,W_V\in {\mathbb{R}}^{d\times d}$均为可学习的参数矩阵。

$K$和$V$会组合在一起运算得到注意力分数Attention Score 矩阵$A\in {\mathbb{R}}^{L\times L}$，它表示了其中第$(i,j)$个元素表示位置$i$与位置$j$之间的相关性得分，计算公式为:

$$A_{ij}=softmax(\frac{Q_i^T{K}_j}{\sqrt{d}})$$

其中 $\frac{1}{\sqrt{d}}$是为了环节是为了缓解点积得分可能较大的问题，同时可以使梯度更加稳定。$A$矩阵的每一列对应的就是输出的 $AttentionScore$ ，因为过了$softmax$所以有

$$\sum A_j=\sum _i{A}_{ij}=1$$

使用矩阵$A$对Value矩阵$V$进行加权求和j就得到了输出矩阵 $\tilde{O}\in {\mathbb{R}}^{d\times L}$。这个输出再经过一个线性变换就得到了最终的输出$O$。

$$\begin{array}{rl}\tilde{O}& =VA\\ O& =W_O\tilde{O}\end{array}$$

Multi-head self-attention

GOOGLE关于Transformer的原始论文中使用的是多头注意力机制。多头注意力机制是单头注意力机制的改良版本，可以允许模型同时关注在不同位置的表达子空间上的不同信息。

它的公式是，$h$表示头的个数：

$$MultiHead(Q,K,V)=Concat(hea{d}_1,hea{d}_2,...,hea{d}_h)$$

每个头的$QKV$计算和普通自注意力计算是一样，只是在还需要再经过没个头专属的线性映射矩阵后再进行每个头的注意力机制的计算：

$$hea{d}_i=Attention(W_Q^{i}Q,W_K^{i}K,W_V^{i}V)$$

最终的输出为

$$O=W_O\times MultiHead(Q,K,V)=W_O\times Concat(hea{d}_1,hea{d}_2,...,hea{d}_h)$$

因为 $Concat$得到的矩阵大小为$hd\times L$，$W_O$的大小为$d\times hd$。所以最终输出的$O$仍然是$d\times L$。