Bewertung großer Sprachmodelle bei biomedizinischen Data-Science-Herausforderungen durch ein Klassenzimmer-Experiment

ZUSAMMENFASSUNG Große Sprachmodelle haben bemerkenswerte Fähigkeiten im Algorithmendesign gezeigt, doch ihre Effektivität bei der Lösung von Data-Science-Herausforderungen ist bislang wenig verstanden. Wir führten ein Klassenzimmer-Experiment durch, bei dem Graduiertenstudenten große Sprachmodelle (LLMs) nutzten, um biomedizinische Data-Science-Herausforderungen auf Kaggle zu lösen. Obwohl ihre Einreichungen nicht die Bestenlisten anführten, lagen ihre Vorhersagewerte häufig nahe an denen führender menschlicher Teilnehmer. LLMs empfahlen häufig Gradient-Boosting-Methoden, die mit einer besseren Leistung verbunden waren. Unter den Prompting-Strategien war die Selbstverfeinerung, bei der das LLM seine eigene Anfangslösung verbessert, die effektivste, ein Ergebnis, das mit zusätzlichen LLMs validiert wurde. Diese Ergebnisse zeigen, dass LLMs wettbewerbsfähige maschinelle Lernlösungen entwerfen können, auch wenn sie von Nicht-Experten verwendet werden.