在Transformer架构中解析并整合关系信息与感官信息

Transformer架构通过实现一种神经信息传递形式来处理序列，该形式包括迭代的信息检索（注意力机制）和局部处理（位置相关的多层感知机）。在这一通用计算范式下，有两种信息至关重要：“感官”信息指个体对象的特征，“关系”信息指对象之间的关系。标准的注意力机制自然编码“感官”信息，但不显式编码“关系”信息。本文提出了一种Transformer的扩展，将多头注意力增强为两种不同类型的注意力头，分别用于传递不同类型的信息。第一种是标准的Transformer注意力机制，捕获对象级特征；第二种是我们提出的用于显式捕获关系信息的新颖注意力机制。两种注意力头各自具备不同的归纳偏差，使得所得架构更高效且更具适应性。该方法的潜力通过多项任务上的实证结果得到验证。