非均匀量化

一、为什么需要非均匀量化？

tensorflow,pytorch 等框架下也有量化操作，通常是为了减少权重存储空间，有利于部署移动端。但是基于数字电路的量化只能是均匀的，那么为什么还要研究非均匀量化呢？

MNIST集CNN两层卷积和一层全连接的权重分布图

选取的量化点有一个中心思想：它们最接近原始的分布。正好，数学上有个“反变换采样定理”：

假设$U~(0,1)$均匀分布，Y为任意随机变量，$F_Y(y)$为Y的分布，$F^{-1}_Y(y)$为其反函数，则$Z=F_Y^{-1}(U)$与Y同分布。

上面的公式很抽象，直接看左图吧。首先想个问题：如果只有一个(0,1)区间均匀随机数发生器，该如何通过变换，生成高斯分布？

我们可以求出高斯分布的分布函数，如中间的曲线，然后每产生(0,1)的随机数，作为纵坐标，确定对应的横坐标，即为高斯随机数。采样5万次之后，会有左图下边的分布。这样就通过分布函数，建立了均匀分布和任意分布的一一映射关系。

接下来的问题是，对任意分布做量化，使其最接近原始分布。我们可以求出统计出分布函数，再映射到均匀分布，之后对均匀分布做量化，最后将量化的结果反映射到原分布，即可确定非均匀量化点。

网络为两层卷积，分别8、12个通道，无bias；一层全连接，无bias。

Untitled 1.png

非均匀量化

Untitled 2.png

均匀量化

Untitled 3.png

简单量化

Untitled 4.png

网络为两卷积，分别32、64个通道，无bias；一层全连接，无bias。

Untitled 5.png

非均匀量化

Untitled 6.png

均匀量化

Untitled 7.png

简单量化

Untitled 8.png

上述结果容易看出，非均匀量化在level数更低的时候有更强的鲁棒性，确实效果会好一些。

但老师说4level量化之后精度还是掉很多，二值网络都可以到95%的精度。我确实惊呆了，怎么做到的！

接下来的任务是复现BNN网络，看看二值网络到底如何训练和推理；然后学习LLoyd在脉冲调制中最小二乘法量化方案。