混合专家 (MoE)

MoE是一种模型架构，由多个专门的子模型（专家）组成，每次推理只激活部分专家。这种设计能大幅提升模型容量和效率——模型整体参数很多但每次推理只用一部分，DeepSeek V3、Mixtral等采用了此架构。