Eine Übersicht über große Sprachmodelle zur Codegenerierung

Große Sprachmodelle (Large Language Models, LLMs) haben bemerkenswerte Fortschritte bei verschiedenen codebezogenen Aufgaben erzielt, bekannt als Code-LLMs, insbesondere bei der Codegenerierung, bei der Quellcode mithilfe von LLM aus natürlichsprachlichen Beschreibungen erzeugt wird. Dieses schnell wachsende Gebiet hat erhebliches Interesse sowohl bei akademischen Forschern als auch bei Fachleuten der Industrie geweckt, aufgrund seiner praktischen Bedeutung in der Softwareentwicklung, z. B. GitHub Copilot. Trotz der aktiven Erforschung von LLMs für verschiedene Codeaufgaben, sei es aus der Perspektive der natürlichen Sprachverarbeitung (NLP) oder der Softwaretechnik (SE) oder beider Bereiche, fehlt eine umfassende und aktuelle Literaturübersicht, die sich speziell mit LLM für Codegenerierung beschäftigt. In dieser Übersicht wollen wir diese Lücke schließen, indem wir eine systematische Literaturübersicht bereitstellen, die als wertvolle Referenz für Forschende dient, die die neuesten Fortschritte bei LLMs für Codegenerierung untersuchen. Wir stellen eine Taxonomie vor, um die jüngsten Entwicklungen bei LLMs für Codegenerierung zu kategorisieren und zu diskutieren, einschließlich Aspekten wie Datenaufbereitung, neuesten Fortschritten, Leistungsbewertung und praktischen Anwendungen. Zusätzlich präsentieren wir einen historischen Überblick über die Entwicklung von LLMs für Codegenerierung und bieten einen empirischen Vergleich anhand der weithin anerkannten Benchmarks HumanEval und MBPP, um die fortschreitenden Verbesserungen der LLM-Fähigkeiten bei der Codegenerierung hervorzuheben. Wir identifizieren kritische Herausforderungen und vielversprechende Chancen bezüglich der Kluft zwischen Wissenschaft und praktischer Entwicklung. Darüber hinaus haben wir eine dedizierte Ressourcen-Webseite (https://codellm.github.io) eingerichtet, um die neuesten Fortschritte auf diesem Gebiet kontinuierlich zu dokumentieren und zu verbreiten.