مقارنة منهجية بين نماذج المحاذاة الإحصائية المختلفة

نقدم ونقارن طرقًا مختلفة لحساب محاذاة الكلمات باستخدام نماذج إحصائية أو حدسية. ندرس خمسة نماذج للمحاذاة وردت في Brown وDella Pietra وDella Pietra وMercer (1993)، ونموذج المحاذاة ماركوف الخفي، وتقنيات التنعيم، والتحسينات. تُقارن هذه النماذج الإحصائية مع نموذجين حدسيين يعتمد كل منهما على معامل Dice. نقدم طرقًا مختلفة لدمج محاذاة الكلمات لأداء تماثل لنماذج المحاذاة الإحصائية الموجهة. كمعيار تقييم، نستخدم جودة محاذاة Viterbi الناتجة مقارنة بمحاذاة مرجعية مُنتجة يدويًا. نقيّم النماذج على مهمة Verbmobil الألمانية-الإنجليزية ومهمة Hansards الفرنسية-الإنجليزية. نجري تحليلًا تفصيليًا لقرارات التصميم المختلفة في نظام المحاذاة الإحصائي الخاص بنا ونقيمها على مجموعات بيانات تدريبية ذات أحجام مختلفة. والنتيجة المهمة هي أن نماذج المحاذاة المحسنة ذات الاعتماد من الرتبة الأولى ونموذج الخصوبة تعطي نتائج أفضل بشكل ملحوظ مقارنة بالنماذج الحدسية البسيطة. في الملحق، نقدم خوارزمية تدريب فعالة للنماذج المحاذاة المعروضة.