【Research】定点数量化

FPGA 部署中常常使用的是定点数量化推理，而之前研究的是关于整数量化推理的内容，定点数量化后的网络可以直接进行前向推理而不需要进行复杂的rescale来保证网络层和层之间运算的正确性。

定点数量化

定点数地表示：

定点数有两个参数 $W L, F L$ ， $W L$ 表示一个数所占用的总比特数， $F L$ 表示一个数小数部分所占用的比特数。例如， $W L = 8, F L = 4$ ，假设有一个无符号定点数为 $0 b 1101.1010$ ，其表示的数可以记为：

1 \times 8 + 1 \times 4 + 0 \times 2 + 1 \times 1 + 0.5 \times 1 + 0 \times 0.25 + 1 \times 0.125 + 0 \times 0.0625 = 13.625

等价于

218 \times 0.0625 = 13.625

此时一个无符号整数所能表示的范围为： $[0, 15.9425]$ ，表示精度为 $0.0625$ 。

无符号定点数量化

f i x_q u a n t = \frac{1}{2^{F L}} r o u n d (c l i p (x \cdot 2^{F L}, 0, 2^{W L} - 1))

有符号整数量化

f i x_q u a n t = \frac{1}{2^{F L}} r o u n d (c l i p (x \cdot 2^{F L}, - 2^{W L - 1} + 1, 2^{W L - 1} - 1))

Global Scale Factor

f i x_q u a n t = \frac{G_{s}}{2^{F L}} r o u n d (c l i p (\frac{x}{G_{s}} \cdot 2^{F L}, - 2^{W L - 1} + 1, 2^{W L - 1} - 1))

当每个层的 $F L$ 确定之后就可以很容易

因为采用了所有层都采用了

整数量化

常见的整数量化过程如下面的公式所示，其中 $q$ 代表量化后的值， $r$ 代表全精度的值。

q = r o u n d (\frac{r}{S}) r = S (q - Z) S = (r_{m a x} - r_{m i n}) / (2^{W L} - 1)

带0点的量化推理计算过程：

q_{c}^{(i, k)} = Z_{c} + P \sum_{j = 1}^{N} ((q_{a}^{(i, j)} - Z_{a}) (q_{b}^{(j, k)} - Z_{b})) q_{c}^{(i, k)} = Z_{c} + P (N Z_{a} Z_{b} - Z_{a} M_{b}^{(k)} - Z_{b} M_{a}^{(i)} + \sum_{j = 1}^{N} q_{a}^{(i, j)} q_{b}^{(j, k)}) P = \frac{S_{a} S_{b}}{S_{c}} M_{b}^{(k)} = \sum_{j = 1}^{N} q_{b}^{(j, k)}, M_{a}^{(i)} = \sum_{j = 1}^{N} q_{a}^{(i, j)}

如果采用对称量化，即量化后的零点和量化前的值的零点是对齐的，所有的 $Z = 0$ ，公式就可以简化为

q_{c}^{(i, k)} = P \sum_{j = 1}^{N} (q_{a}^{(i, j)} q_{b}^{(j, k)}) P = \frac{S_{a} S_{b}}{S_{c}}

可以看到，公式中的 $M_{b}, M_{a}$ 都是都是可以提前计算出来的，在推理过程中需要计算的就只有 $P \cdot \sum_{j = 1}^{N} q_{a}^{(i, j)} q_{b}^{(j, k)}$ 这一项了。该部分的相乘累加是在整数上进行的。

定点数量化 vs 整数量化：

定点数量化可以当作整数量化的特殊情况，当 $F L$ 确定之后，相当于整数量化中固定 $S = \frac{1}{2^{F L}}$ ，同时截断范围为 $c l i p (0, 2^{F L} \cdot (2^{W L} - 1)$ 。如果网络所有层采用同样的量化形式（即所有层的 $W L, F L$ 的值均相等），在这种情况下网络间的运算就可以直接跳过 $P$ 参数的计算

思路：

$S = \frac{1}{2^{F L}}$ 不是最优的，但是具有计算上的优势，可以完全避免Rescale的额外计算，其本质上就是整个网络共享一个Scale
1. 结合自适应的Scale训练方法，使整个网络共享一个Scale,这样就可以结合定点量化以及整数量化的优点
Overflow问题
1. 饱和赋值
2. 接纳溢出，并加以利用

定点数量化 ​

整数量化 ​

定点数量化 vs 整数量化： ​

定点数量化

整数量化

定点数量化 vs 整数量化：