شات جي بي تي أم بشري؟ الكشف والشرح. شرح قرارات نموذج التعلم الآلي لاكتشاف النص القصير المُولد بواسطة شات جي بي تي

لدى شات جي بي تي القدرة على إنشاء ردود نحوية صحيحة وبدايات بشرية على ما يبدو لمختلف أنواع الأسئلة من مجالات متنوعة. يزداد عدد مستخدميه وتطبيقاته بمعدل غير مسبوق. للأسف، يأتي الاستخدام والإساءة معًا. في هذه الورقة، ندرس ما إذا كان يمكن تدريب نموذج تعلّم آلي بفعالية لتمييز النص الأصلي البشري من النص الظاهر بشريًا (أي المُولد بواسطة شات جي بي تي) بدقة، خصوصًا عندما يكون هذا النص قصيرًا. علاوة على ذلك، نستخدم إطار عمل للذكاء الاصطناعي القابل للتفسير لاكتساب فهم لأسباب قرارات النموذج المدرب على التميز بين النص المُولد بواسطة شات جي بي تي والنص البشري. الهدف هو تحليل قرارات النموذج وتحديد ما إذا كان يمكن التعرف على أنماط أو خصائص محددة. تركز دراستنا على المراجعات القصيرة على الإنترنت، ونُجري تجربتين تقارن بين النصوص التي يولدها البشر وتلك التي يولدها شات جي بي تي. التجربة الأولى تشمل نصوص شات جي بي تي المولدة من استعلامات مخصصة، في حين تشمل التجربة الثانية نصوصًا مولدة بإعادة صياغة مراجعات بشرية أصلية. نقوم بضبط نموذج قائم على المحول ونستخدمه لإجراء التوقعات، والتي تُشرح باستخدام SHAP. نقارن نموذجنا مع منهجية تعتمد على درجة التعقيد اللغوي ونجد أن التمييز بين مراجعات بشرية وتلك المولدة بشات جي بي تي يكون أكثر تحديًا للنموذج عندما يُستخدم النص المعاد صياغته. مع ذلك، تحقق منهجيتنا المقترحة دقة تصل إلى 79%. باستخدام التفسير، نلاحظ أن كتابة شات جي بي تي مهذبة، خالية من التفاصيل المحددة، تستخدم مفردات متفاخرة وغير نمطية، غير شخصية، ولا تعبر عادة عن مشاعر.