صورة تُعادل 16×16 كلمة: المحولات للتعرف على الصور على نطاق واسع

بينما أصبحت بنية المحول هي المعيار الفعلي لمهام معالجة اللغة الطبيعية، لا تزال تطبيقاتها في رؤية الكمبيوتر محدودة. في الرؤية، يُطبق الانتباه إما بالاشتراك مع الشبكات الالتفافية، أو يستخدم لاستبدال بعض مكونات الشبكات الالتفافية مع الحفاظ على هيكلها العام. نُظهر أن هذا الاعتماد على الشبكات الالتفافية غير ضروري وأن المحول النقي المُطبق مباشرة على تسلسلات من رقع الصور يمكن أن يؤدي أداءً جيدًا جدًا في مهام تصنيف الصور. عند تدريبه مسبقًا على كميات كبيرة من البيانات ونقله إلى عدة معايير تصنيف صور متوسطة أو صغيرة الحجم (ImageNet، CIFAR-100، VTAB، إلخ)، يحقق Vision Transformer (ViT) نتائج ممتازة مقارنة بأحدث الشبكات الالتفافية مع احتياجه إلى موارد حوسبة أقل بكثير للتدريب.