Key points are not available for this paper at this time.
تُظهر نماذج اللغة الكبيرة (LLMs) قدرات متعددة اللغات مذهلة دون أن تكون مُدربة مسبقًا على مجموعات موازية متعددة اللغات مُنقحة خصيصًا. لا يزال من التحديات تفسير الآليات التي تعالج بها نماذج اللغة الكبيرة النصوص متعددة اللغات. في هذه الورقة، نتعمق في تكوين هياكل Transformer داخل LLMs لتحديد المناطق الخاصة بكل لغة. وبشكل خاص، نقترح طريقة استكشاف جديدة، تسمى انتروبي احتمال تنشيط اللغة (LAPE)، لتحديد الخلايا العصبية الخاصة باللغة ضمن نماذج اللغة الكبيرة. استنادًا إلى LAPE، أجرينا تجارب شاملة على نموذجين تمثيليين من LLMs، وهما LLaMA-2 وBLOOM. تشير نتائجنا إلى أن كفاءة نماذج اللغة الكبيرة في معالجة لغة معينة تعود بشكل أساسي إلى مجموعة صغيرة من الخلايا العصبية، تقع أساسًا في الطبقات العليا والسفلى للنماذج. علاوة على ذلك، نُظهر إمكانية "توجيه" لغة المخرجات لنماذج اللغة الكبيرة من خلال تنشيط أو تعطيل محدد للخلايا العصبية الخاصة باللغة. توفر أبحاثنا أدلة مهمة لفهم واستكشاف القدرات متعددة اللغات لنماذج اللغة الكبيرة.
Building similarity graph...
Analyzing shared references across papers
Loading...
درس تانغ وآخرون (Mon,) هذا السؤال.
www.synapsesocial.com/papers/68e779e4b6db6435876ee86c — DOI: https://doi.org/10.48550/arxiv.2402.16438
Synapse has enriched 5 closely related papers on similar clinical questions. Consider them for comparative context:
Tianyi Tang
Wenyang Luo
Haoyang Huang
Building similarity graph...
Analyzing shared references across papers
Loading...