دي بيرت: الخروج المبكر الديناميكي لتسريع استدلال بيرت

نماذج اللغة الكبيرة المدربة مسبقًا مثل بيرت قد أدت إلى تحسينات كبيرة في تطبيقات معالجة اللغة الطبيعية. ومع ذلك، فهي معروفة أيضًا بأنها بطيئة في الاستدلال، مما يجعل من الصعب نشرها في التطبيقات اللحظية. نقترح طريقة بسيطة لكنها فعالة، دي بيرت، لتسريع استدلال بيرت. تتيح طريقتنا للعينات الخروج مبكرًا دون المرور عبر النموذج بأكمله. تظهر التجارب أن دي بيرت قادر على توفير ما يصل إلى 40% من وقت الاستدلال مع تدهور طفيف جدًا في جودة النموذج. تظهر تحليلات أخرى سلوكيات مختلفة في طبقات المحول في بيرت وتكشف أيضًا عن تكرارها. يوفر عملنا أفكارًا جديدة لتطبيق النماذج العميقة المبنية على المحولات بكفاءة على المهام الثانوية.