注意力机制

注意力机制允许模型在处理输入时动态关注不同部分的相关性，是Transformer架构的核心创新。通过计算Query、Key、Value三个矩阵，模型能够为输入的不同部分分配不同的注意力权重，从而理解复杂的上下文依赖关系。