تحسين السياسة الفوري باستخدام بحث مونت كارلو

نقدم خوارزمية محاكاة مونت كارلو لتحسين السياسات في الوقت الحقيقي لمتحكم تكيفي. في محاكاة مونت كارلو، يتم قياس العائد المتوقع طويل الأمد لكل إجراء ممكن إحصائياً، مع استخدام السياسة الأولية لاتخاذ القرارات في كل خطوة من المحاكاة. ثم يتم اتخاذ الإجراء الذي يُعظم العائد المتوقع المقاس، مما يؤدي إلى تحسين السياسة. خوارزميتنا سهلة التوزيع وقد تم تنفيذها على الحواسيب الفائقة المتوازية من نوع IBM SP1 و SP2 ذات معالجات RISC الموازية. لقد حصلنا على نتائج أولية واعدة عند تطبيق هذه الخوارزمية على مجال لعبة الطاولة. تم الإبلاغ عن النتائج لتنوع واسع من السياسات الأولية، تتراوح بين سياسة عشوائية إلى TD-Gammon، شبكة عصبية متعددة الطبقات قوية للغاية. في كل حالة، توفر خوارزمية مونت كارلو تقليصاً كبيراً في معدل الخطأ للاعبين الأساسيين، يصل إلى عامل 5 أو أكثر. الخوارزمية مفيدة أيضاً محتمل في العديد من تطبيقات التحكم التكيفي الأخرى التي يمكن فيها محاكاة البيئة.