Key points are not available for this paper at this time.
أظهرت نماذج اللغة الكبيرة (LLMs) قدرات واعدة على التعلم ضمن السياق. ومع ذلك، غالبًا ما تعيق طرق التعلم ضمن السياق التقليدية (ICL) حدّ الطول في بنية المحول، مما يشكل تحديات عند محاولة دمج الإشراف من عدد كبير من أمثلة العرض بفعالية. في هذه الورقة، نقدم إطارًا جديدًا يسمى تمديد السياق المعتمد على بايز البسيط (NBCE)، لتمكين نماذج اللغة الكبيرة الحالية من أداء التعلم ضمن السياق مع زيادة عدد الأمثلة المعروضة من خلال توسيع حجم السياق بشكل كبير. والأهم من ذلك، أن هذا التوسع لا يتطلب تعديل النموذج أو الاعتماد على بنى نموذجية معينة، مع الحفاظ على الكفاءة الخطية. يقوم NBCE أولاً بتقسيم السياق إلى نوافذ متساوية الحجم تناسب الحد الأقصى لطول النموذج المستهدف. ثم يقدم آلية تصويت لاختيار النافذة الأكثر صلة، والتي تعتبر السياق اللاحق. وأخيرًا، يستخدم نظرية بايز لتوليد المهمة الاختبارية. تظهر نتائجنا التجريبية أن NBCE يعزز الأداء بدرجة كبيرة، خصوصًا مع زيادة عدد أمثلة العرض، متفوقًا باستمرار على الطرق البديلة. سيتم توفير كود NBCE للعامة. الكود متاح على: https://github.com/amurtadha/NBCE-master
Building similarity graph...
Analyzing shared references across papers
Loading...
Jianlin Su
Murtadha Ahmed
Wenbo
Building similarity graph...
Analyzing shared references across papers
Loading...
درس Su وآخرون (الثلاثاء) هذا السؤال.
www.synapsesocial.com/papers/68e7263ab6db64358769fa9e — DOI: https://doi.org/10.48550/arxiv.2403.17552
Synapse has enriched 5 closely related papers on similar clinical questions. Consider them for comparative context: