网络压缩

这篇论文来自作者韩松，是一篇经典的网络压缩论文，获得了ICLR2016最佳论文。它主要结合了剪枝，量化和霍夫曼编码的方法，将卷积神经网络的权重大大的压缩了，而且用于FPGA的部署。

在上一篇介绍了如何将高维度卷积核拆分成低维度小卷积核，从而降低计算量的方法。本篇介绍的也是采用了降维的思想来加速网络推理，但是数学上采用了不同的方法。而且这篇文章提出的方法可以加速深度网络，其在vgg-16上进行了实验，获得了4倍的加速效果，而在imageNet分类中top-5错误率仅有0.3%升高。

在CNN网络中卷积运算占据了最大的计算量，压缩卷积参数可以获得显著的硬件加速器的性能提升。在即将介绍的这篇论文中，作者就是通过张量的降维来降低卷积计算量的。作者通过CP分解将一个4D张量分解成多个低维度的张量，并且最后通过微调参数来提升网络精度。

知识蒸馏的方法是大名鼎鼎的Hinton提出的，这种方法实现了大网络向小网络的知识迁移，使得应用场景可以扩展到移动端。本文我们具体看看知识蒸馏的整个过程。

这篇文章介绍一种不同于针对压缩单个权重的方法：多个权重数据组合为向量，将向量视为一个整体，映射到其他向量空间，完成压缩。作者在resnet-50上做了实验，将100MB权重压缩到了5MB（实现了20倍压缩比例），同时在imageNet上测试的top-1精度保持的很好（76.1%）

网络压缩在AI加速中可以说起到“四两拨千斤”的作用，网络参数的减小不仅仅降低了存储和带宽，而且使计算逻辑简单，降低了LUT资源。从本篇开始，我们就一起挖掘一下网络压缩算法的类型，原理，实现，以及效果。写这类算法类文章，一是学习，二是希望能够令更多做FPGA的人，不再将眼光局限于RTL，仿真，调试，关心一下算法，定会发现FPGA的趣味和神通