首页 >  资讯 >  详情

世界报道:Google量化白皮书--个人向笔记

2023-05-02 22:18:25来源:哔哩哔哩

Abstract


(资料图)

本文是对卷积神经网络推理过程中权值与激活值的量化的概述。翻译自Google2018年推出的量化白皮书,概要的介绍了神经网络量化的基础知识,适合入门。本人水平有限,仅供参考哈

1. Introduction

边缘端的设备通常计算能力有限、存储空间与功耗有限。边缘设备与云端的数据传输也相对受限。因此急切需求压缩模型大小,加快推理速度及降低功耗。现有的工作(2018年)主要集中在如下方面:

构建高效的神经网络模型

通过量化,剪枝,压缩等方法减小模型大小

低精度的快速推理库: GEMMLOWP [7], Intel MKL-DNN [8] , ARM CMSIS [9], Qualcomm SNPE [10], Nvidia TensorRT [11] and custom hardware for fast inference [12], [13] and [14]

其中,量化,也即降低权重和激活的数值精度,具有如下优点:

可以广泛应用于大多数模型与用途

更小的模型尺寸(model footprint)

更小的运行时存储(working memory and cache)需求

计算速度更快

节省功耗

上述特点都可归结为更快的推理,通常推理速度可以加快2-3倍

more: https://note.youdao.com/s/VV1X4iMD

不定期补充更新。本人水平有限,如有错误敬请指正哈

关键词:

[ 相关文章 ]

[ 相关新闻 ]