ToSA：効率的なビジョントランスフォーマーのためのトークン選択注意機構

本論文では、新しいトークン選択型注意アプローチであるToSAを提案します。これは、注意を要するトークンとトランスフォーマーレイヤーをスキップできるトークンを識別できます。具体的には、トークンセレクターが現在の注意マップを解析し、次の層の注意マップを予測します。これらは次に注意操作に参加すべき重要なトークンを選択するために使用されます。残りのトークンは単に次の層をバイパスし、注意されたトークンと連結されて完全なトークンセットを再形成します。これにより、より少ないトークンが自己注意に参加するため二次的な計算およびメモリコストが削減されつつ、ネットワーク全体で全画像パッチの特徴を維持でき、密な予測タスクへの適用が可能となります。実験により、ToSAを適用することでImageNet分類ベンチマークにおいて計算コストを大幅に削減しつつ精度を維持できることを示しました。さらに、NYU Depth V2の単眼深度推定という密な予測タスクで評価し、ToSAを用いることではるかに軽量なバックボーンで同等の深度推定精度を達成できることを示しました。