Ajustement fin des grands modèles de langage avec des instructions séquentielles

Les grands modèles de langage (LLM) ont des difficultés à suivre une séquence d'instructions dans une seule requête car ils peuvent ignorer ou mal interpréter une partie de celle-ci. Cela affecte leurs performances sur des problèmes complexes dont la solution nécessite plusieurs étapes intermédiaires, comme les tâches multilingues (traduire puis répondre) et multimodales (légender puis répondre). Nous vérifions empiriquement cela avec des LLM open-source aussi grands que LLaMA-2 70B et Mixtral-8x7B. Face à la rareté des instructions séquentielles dans les données actuelles, nous proposons le réglage par instructions séquentielles, une stratégie simple mais efficace pour augmenter automatiquement les données d'ajustement par instructions et doter les LLM de la capacité d'exécuter plusieurs instructions séquentielles. Après avoir exploré l'entrelacement d'instructions dans des jeux de données existants, tels que Alpaca, avec une large gamme de tâches intermédiaires, nous constatons que les modèles ajustés avec des instructions séquentielles surpassent systématiquement les baselines classiques ajustées sur instructions dans des tâches aval impliquant le raisonnement, le multilingue et le multimodal. Pour mieux comprendre notre méthode, nous analysons comment des textes intermédiaires adverses, des tâches inédites, la verbalisation des prompts, le nombre de tâches et la longueur du prompt influencent le réglage par instructions séquentielles. Nous espérons que cette méthode ouvrira de nouvelles pistes de recherche sur l'ajustement par instructions pour des tâches complexes.