Self-attention层与Transformer层有何不同

在Transformer模型中，self-attention层与transformer层是最核心的组件。self-attention层主要集中在当前输入序列中不同位置的交互，而transformer层则用于整合上一层的输出和当前输入的信息以进行下一步操作。两者不同之处在于self-attention层更专注于单个序列的处理，而transformer层更注重对多个序列之间的关系进行建模。需要注意的是，两者既有显著的相似之处，也有一些小差异。