🔥 一图看懂 LLM 8种精度的适用场景
FP32：最高精度，适合高精度训练和基准实验，但显存占用最大。
TF32：适合 NVIDIA GPU 加速 FP32 训练，基本无需修改代码。
BF16：大模型训练主流格式，数值稳定、显存占用低，适合预训练、SFT 和 RL。
FP16：适合混合精度训练和推理，更省显存，但训练时存在数值溢出风险。
FP8：适合 H100/B200 等新 GPU 上的高效大模型训练和推理，速度快、显存低。
INT8：适合模型量化部署与推理，在较小精度损失下显著降低显存。
INT4：适合低显存大模型部署与推理，压缩率高，但精度损失相对更明显。
NF4：适合 QLoRA 低显存微调，常用于量化冻结 Base Model 后进行 LoRA 训练。
大模型 fp16 int4 NF4 tf32 fp32 bf16 量化 int8