端到端图像编码中的量化问题主要包括两个层面:一是模型量化,二是信号量化。模型量化主要服务于跨设备、跨平台的一致性部署,其目标是在尽量保持模型性能的前提下降低参数精度和计算开销,该部分将在后续模型量化章节中进一步讨论。本节所关注的量化,主要是信号量化,即将传统编码中的变换系数,如DCT系数,或智能编码中的潜变量,由高精度浮点数映射到有限的整数集合,以便进行后续熵编码,并参与整体率失真优化。
量化是图像与视频编码中的核心环节。一方面,量化决定了连续信号被离散化后的表示精度,直接影响重建质量;另一方面,量化后的符号分布又会影响熵编码效率,从而影响最终码率。在传统编码框架中,量化通常与变换、预测和熵编码相互配合,通过人为设计的规则完成压缩。然而,在端到端学习式编码中,量化操作需要嵌入神经网络训练过程,这使其面临更为突出的优化难题。
其主要困难在于量化函数本身具有不可微性。以四舍五入操作为例,量化函数在绝大多数位置上的梯度为零,无法直接通过反向传播更新网络参数。若简单地将硬量化操作用于训练过程,梯度传播会受到阻断,模型难以学习到有效的潜变量表示。同时,训练阶段为了实现可微优化所采用的近似方式,还需要尽可能与推理阶段的真实量化行为保持一致。若二者之间差异过大,就可能导致训练目标与实际编码效果不匹配,进而影响模型的压缩性能和重建质量。