推理

推理指AI模型根据输入生成输出的计算过程。与训练不同，推理的计算量远小于训练，但仍是AI服务的主要运营成本。推理速度和延迟直接影响用户体验，是AI产品的重要性能指标。