Sortie précoce en tant que seuil d'activation LIF : métrique de puissance pour une profondeur de calcul adaptative consciente de la difficulté

L'inférence des transformateurs exécute toutes les entrées à travers les N couches, quelle que soit la difficulté. Les méthodes de sortie précoce réduisent ce coût en insérant des classificateurs aux couches intermédiaires et en produisant un résultat lorsque la confiance est suffisante. Les méthodes existantes — seuillage d'entropie et mécanisme de patience (Zhou et al., 2020) — utilisent des signaux statiques : soit le niveau actuel de confiance, soit si la prédiction a récemment changé. Aucune ne suit si la confiance s'améliore par rapport à une trajectoire attendue adaptative. Nous proposons d'appliquer la métrique de puissance stochastique P(t) = E(t) × W(t) comme critère de sortie, où E(t) mesure la confiance réelle par rapport à la confiance attendue adaptative et W(t) est la moyenne mobile exponentielle pondérée (EWMA) indiquant si E(t) a dépassé 1.0 aux couches récentes. Cela est structurellement identique au modèle de neurone Leaky Integrate-and-Fire (Cantrell 2026) : le modèle s'active — sort — lorsque la preuve de confiance accumulée dépasse un seuil. Dans une étude de simulation calibrée sur l'architecture BERT-base (12 couches, 600 entrées réparties en quatre niveaux de difficulté), la métrique de puissance atteint 55,9 % d'économies de calcul avec une préservation de 99,7 % de l'exactitude, contre 14,6 % d'économies (seuil de confiance) et 52,6 % d'économies (patience), toutes deux à 100 % d'exactitude. De manière critique, la métrique de puissance est la seule méthode qui ajuste correctement l'allocation des couches en fonction de la difficulté des entrées : les entrées faciles sortent en moyenne à 3,6 couches, moyennes à 5,2, difficiles à 6,3. Ces résultats sont préliminaires ; la validation sur de véritables modèles BERT/GPT avec des classificateurs de sortie entraînés est l'étape suivante requise. Mots-clés : sortie précoce, calcul adaptatif, inférence transformateur, mécanisme de patience, seuil d'entropie, métrique de puissance, neurone LIF, allocation consciente de la difficulté, BERT