التقطير المعرفي عبر الإنترنت من خلال التعلم التعاوني

يقدم هذا العمل طريقة فعالة وكفؤة للتقطير المعرفي عبر الإنترنت باستخدام التعلم التعاوني، تسمى KDCL، والتي تستطيع باستمرار تحسين قدرة التعميم لشبكات الأعصاب العميقة (DNNs) ذات القدرات التعليمية المختلفة. على عكس طرق التقطير المعرفي ذات المرحلتين التي تقوم بتدريب شبكة DNN ذات سعة كبيرة ك"معلم" ثم تنقل معرفة المعلم إلى شبكة DNN أخرى ك"طالب" باتجاه واحد، تتعامل KDCL مع جميع شبكات DNN ك"طلاب" وتدربهم بشكل تعاوني في مرحلة واحدة (تنتقل المعرفة بين الطلاب المختلفين أثناء التدريب التعاوني)، مما يتيح الحوسبة المتوازية، والحسابات السريعة، وقدرة تعميم جذابة. على وجه الخصوص، نصمم بعناية طرقًا متعددة لتوليد هدف ناعم كمعلومة إشرافية من خلال تجميع فعال لتنبؤات الطلاب وتحريف صور الإدخال. تظهر التجارب المكثفة أن KDCL يحسن جميع "الطلاب" باستمرار على مجموعات بيانات مختلفة، بما في ذلك CIFAR-100 و ImageNet. على سبيل المثال، عند التدريب معًا باستخدام KDCL، يحقق كل من ResNet-50 و MobileNetV2 دقة top-1 بنسبة 78.2% و 74.0% على ImageNet، متفوقين على النتائج الأصلية بنسبة 1.4% و 2.0% على التوالي. كما نتحقق من أن النماذج المدربة مسبقًا مع KDCL تنقل أداء جيدًا إلى مهام الكشف عن الأجسام والتقسيم الدلالي على مجموعة بيانات MS COCO. على سبيل المثال، تم تحسين كاشف FPN بنسبة 0.9% mAP.