فك شفرة تمثيلات الكلمات المتجهية باستخدام ميزات معنوية مستندة إلى الدماغ

تمثيلات الكلمات المتجهية هي تمثيلات معنوية متجهية تُبنى إما باستخدام تقنيات العد أو التنبؤ بهدف التقاط درجات من المعنى من تكرار تواجد الكلمات معًا. منذ تقديمها، تعرضت هذه التمثيلات للنقد بسبب افتقارها لأبعاد قابلة للتفسير. هذه الصفة للتمثيلات المتجهية للكلمات تحد من فهمنا للميزات المعنوية التي تقوم فعلاً بترميزها. علاوة على ذلك، تساهم في طبيعة “الصندوق الأسود” للمهام التي تُستخدم فيها، حيث غالبًا ما تبقى أسباب أداء تمثيلات الكلمات غير واضحة للبشر. في هذا البحث، نستكشف الخصائص المعنوية المشفرة في تمثيلات الكلمات من خلال تطويقها إلى متجهات قابلة للتفسير، تتكون من ميزات معنوية صريحة ومستوحاة من الأحياء العصبية (Binder et al. 2016). تستعرض دراستنا أنواعًا مختلفة من التمثيلات، بما في ذلك متجهات العد الموترة ونماذج التنبؤ (مثل Skip-Gram وGloVe) بالإضافة إلى التمثيلات السياقية الأحدث (أي ELMo وBERT). في تحليلنا، نقيم أولًا جودة التطويق في مهمة استرجاع، ثم نسلط الضوء على الميزات المعنوية التي يتم ترميزها بشكل أفضل في كل نوع من التمثيلات. يتم إعداد عدد كبير من مهام الاستقصاء النهائي لتقييم كيفية أداء التمثيلات الأصلية والمطوقة في تمييز الفئات المعنوية. لكل مهمة استقصاء، نحدد الميزات المعنوية الأكثر صلة ونظهر وجود ارتباط بين أداء التمثيل وكيفية ترميزها لتلك الميزات. تمثل هذه الدراسة خطوة إلى الأمام في فهم جوانب المعنى التي تلتقطها الفضاءات المتجهية، من خلال اقتراح طريقة جديدة وبسيطة لاستخلاص تمثيلات معنوية بشرية التفسير من المتجهات التوزيعية.