Entraînement par invite de supervision

La performance des grands modèles de langage (LLM) dépend fortement de la qualité des invites, qui sont souvent conçues manuellement et spécifiques à la tâche, ce qui les rend coûteuses et non évolutives. Nous proposons une approche novatrice, l'Entraînement par invite de supervision (SPT). Le SPT automatise la génération d'invites très efficaces à l'aide d'un système double de LLM. Dans ce système, un LLM, le générateur, effectue une tâche tandis que l'autre, le correcteur, fournit un retour et génère des invites améliorées. Contrairement aux techniques antérieures, le générateur et le correcteur améliorent collaborativement et continuellement leurs invites au fil du temps. Nous introduisons également le concept de scores d'impact pour mesurer l'efficacité des invites au niveau de la phrase. Notre méthode a été testée sur quatre bancs d'essai évaluant le niveau d'hallucinations dans les LLM. Notamment, nous avons pu augmenter la précision de GPT-4 sur GSM8K de 65,8 % à 94,1 % (augmentation de 28,3 %). Le SPT fait progresser les LLM en affinant les invites pour améliorer la performance et réduire les hallucinations, offrant une alternative efficace et évolutive à l'ajustement traditionnel des modèles.