标题：一种8位整数的硬件友好型神经网络量化方法
作者：左家豪 曹姗
作者单位：上海大学通信与信息工程学院，上海 200444
关键字：训练后量化；硬件友好；二的幂次；移位；仅整数
摘要：神经网络量化已成为一种高效的模型压缩技术，在硬件设备上实现时减少资源使用和能源消耗。然而，现有的一些量化方法由于训练的原因无法在嵌入式硬件上直接部署，而且可能带来额外的计算开销，这给神经网络的实际应用带来了巨大挑战。因此提出了一种硬件友好型神经网络训练后量化方法，无需训练并可直接在硬件设备上实现。提出的方法对硬件友好，并通过以下方式简化了推理过程中的计算：①使用二的幂次作为量化的比例因子；②仅依赖于整数的乘加运算和二进制移位。此外，还设计了一个乘法累加处理单元（PE），用于部署相应的量化神经网络。实验结果表明，所提出的方法在保持高性能的同时，有效减少了神经网络PE的资源占用。