Automatisierte Programmreparatur durch große Sprachmodelle

Große Sprachmodelle wie Codex haben gezeigt, dass sie Code für viele Programmieraufgaben erzeugen können. Dennoch ist die Erfolgsquote bestehender Modelle insbesondere bei komplexen Programmieraufgaben gering. Ein Grund dafür ist, dass Sprachmodelle das Bewusstsein für Programmanseman­tik fehlt, was zu falschen Programmen oder sogar zu Programmen führt, die nicht kompilieren. In dieser Arbeit untersuchen wir systematisch, ob Techniken der automatisierten Programmreparatur (APR) die von Sprachmodellen bei LeetCode-Wettbewerben erzeugten fehlerhaften Lösungen korrigieren können. Ziel ist es zu prüfen, ob APR-Techniken die Zuverlässigkeit des von großen Sprachmodellen erzeugten Codes verbessern können. Unsere Studie ergab: (1) automatisch generierter Code weist gemeinsame Programmierfehler mit menschlich erstellten Lösungen auf, was darauf hindeutet, dass APR-Techniken das Potenzial haben, automatisch generierten Code zu reparieren; (2) unter Nutzung von Fehlerlokalisierungsinformationen eines statistischen Fault-Localization-Ansatzes ist der neu veröffentlichte Codex-Editiermodus, der das Editieren von Code unterstützt, vergleichbar mit oder besser als die bestehenden Java-Reparaturtools TBar und Recoder bei der Behebung fehlerhafter Lösungen. Durch Analyse der experimentellen Ergebnisse dieser Tools geben wir mehrere Empfehlungen: (1) es ist wünschenswert, APR-Tools zu verbessern, um Einschränkungen im Patch-Raum zu überwinden (z. B. durch flexiblere Fehlerlokalisierung); (2) da große Sprachmodelle durch Training an mehr Daten mehr Fix-Muster ableiten können, könnten zukünftige APR-Tools den Schwerpunkt von der Hinzufügung weiterer Fix-Muster auf Synthese- bzw. semantikbasierte Ansätze verlagern; (3) die Kombination von Sprachmodellen mit APR zur Auswahl von Patch-Inhaltsbestandteilen ist lohnenswert für weitere Untersuchungen.