模型量化

量化是通过降低模型参数精度（如从FP16降至INT4）来减小模型大小和加速推理的技术。量化后模型可在消费级硬件上运行，是本地部署AI的关键。GGUF、AWQ、GPTQ是常用的量化格式。