Open Ko-LLM Bestenliste: Bewertung großer Sprachmodelle auf Koreanisch mit dem Ko-H5 Benchmark

Dieses Papier stellt die Open Ko-LLM Bestenliste und den Ko-H5 Benchmark als wichtige Werkzeuge zur Bewertung großer Sprachmodelle (LLMs) auf Koreanisch vor. Unter Einbeziehung privater Testdatensätze und in Anlehnung an die englische Open LLM Bestenliste etablieren wir einen robusten Bewertungsrahmen, der in der koreanischen LLM-Gemeinschaft gut integriert ist. Wir führen eine Analyse von Datenlecks durch, die den Nutzen privater Testdatensätze sowie eine Korrelationsstudie innerhalb des Ko-H5 Benchmarks und zeitliche Analysen des Ko-H5-Scores zeigt. Zudem liefern wir empirische Belege für die Notwendigkeit, über festgelegte Benchmarks hinauszugehen. Wir hoffen, dass die Open Ko-LLM Bestenliste als Präzedenzfall für die Erweiterung der LLM-Bewertung zur Förderung größerer sprachlicher Vielfalt dient.