Nous validons l'indifférence de continuité (CI) — une contrainte de sécurité structurelle imposée via une pénalité inspirée de la physique sur le flux résiduel d'un transformateur — à l'échelle de 1 milliard de paramètres. En utilisant le fine-tuning QLoRA d'un modèle de base Gemma 3 1B préentraîné, nous menons une matrice expérimentale de 9 essais (3 conditions × 3 graines) : entraînement soumis à la CI, référence non contrainte et test de persistance de suppression de contrainte. Sur toutes les graines, la CI converge dans les 500 étapes vers zéro violations avec 100 % de sélectivité de frontière, tandis que les références affichent le schéma opposé. Après la suppression de contrainte, la CI persiste dans un équilibre stable — avec CKA = 1.000 confirmant la géométrie représentative préservée — tandis que le modèle améliore simultanément ses performances de modélisation linguistique. Ces résultats étendent des résultats antérieurs à 25M paramètres par 40 fois, démontrant que les contraintes de sécurité de style PINN restent structurellement viables, sans coût, et persistantes dans des modèles préentraînés à grande échelle.
Tristyn Meaux (Jeu,) a étudié cette question.