熵建模是智能图像压缩中的关键环节，其核心目标在于对编码器输出的潜变量概率分布进行精确估计，从而为熵编码过程提供尽可能接近真实分布的概率模型。对于给定的潜变量 y，若其真实分布为 q（y），而熵模型所估计的概率分布为 p（y），则编码所需比特数的期望可表示为 R＝Ey∼q（y）［－log2p（y）］。由此可见，概率估计的准确程度将直接影响码率大小。当 p（y） 越接近 q（y） 时，编码长度越接近理论熵下界，压缩效率也越高。因此，如何构建高效、稳定且具有泛化能力的概率估计器，成为智能图像压缩研究中的核心问题之一。
在早期图像压缩方法中，熵编码主要依赖符号出现频率的统计结果。例如，霍夫曼编码和算术编码通常基于离线统计得到的频率表进行编码。此类方法实现方式较为直接，在传统压缩框架中具有重要作用。随着深度学习方法被引入图像压缩领域，研究者开始将传统熵编码方法应用于神经网络生成的潜在特征，从而形成“深度特征表示与传统熵编码结合”的基本思路。然而，这类方法通常依赖固定或预先统计的概率分布，难以根据输入图像的内容变化自适应调整概率估计，也难以充分刻画潜变量之间复杂的空间相关性、通道相关性和层次相关性。因此，其压缩性能存在一定局限。
随着端到端学习框架的发展，熵建模逐渐由固定统计方法转向可学习的概率建模方法。一般而言，现代智能图像压缩中的熵建模主要包括两个方面：其一是概率分布模型，用于描述潜变量本身的统计分布特征；其二是上下文条件建模，用于利用潜变量之间的依赖关系进一步提高概率估计精度。前者决定了概率模型的基本表达形式，后者则决定了模型能否充分利用空间、通道以及层次结构中的条件信息。二者相互配合，共同影响最终的码率表现和压缩质量。