Auswahl von Demonstrationen für In-Context Learning mittels Einflussanalyse

Große Sprachmodelle (LLMs) haben ihre Fähigkeiten zum In-Context Learning (ICL) demonstriert, was die Möglichkeit bietet, Few-Shot-Lernen ohne jedwede Gradientenaktualisierung durchzuführen. Trotz mehrerer Vorteile ist die Generalisierungsleistung von ICL empfindlich gegenüber den ausgewählten Demonstrationen. Die Auswahl wirksamer Demonstrationen für ICL ist weiterhin eine offene Forschungsherausforderung. Um diese Herausforderung zu adressieren, schlagen wir eine Demonstrationsauswahlmethode namens InfICL vor, die die Einflüsse von Trainingsbeispielen mittels Einflussfunktionen analysiert. Die Identifizierung hoch einflussreicher Trainingsbeispiele kann potenziell dazu beitragen, die Generalisierungsleistung von ICL zu verbessern. Um die Laufzeitkosten von InfICL zu begrenzen, verwenden wir das LLM nur zur Erzeugung von Probe-Embeddings und führen keine teure Feinabstimmung durch. Wir führen empirische Studien an mehreren realen Datensätzen durch und zeigen die Vorteile von InfICL gegenüber den modernsten Vergleichsmethoden.