Die Transformer-Inferenz führt jede Eingabe durch alle N Schichten unabhängig von der Schwierigkeit aus. Frühzeitige Ausstiegsmethoden reduzieren diese Kosten, indem sie Klassifikatoren in Zwischenebenen einfügen und bei ausreichender Zuversicht ausgeben. Bestehende Methoden – Entropieschwelle und das Geduldsmechanismus (Zhou et al., 2020) – verwenden statische Signale: entweder das aktuelle Zuversichtsniveau oder ob die Vorhersage kürzlich geändert wurde. Keine verfolgt, ob die Zuversicht relativ zu einer adaptiven erwarteten Trajektorie steigt. Wir schlagen vor, die stochastische Leistungsmetrik P(t) = E(t) × W(t) als Ausstiegskriterium anzuwenden, wobei E(t) die tatsächliche Zuversicht relativ zur adaptiven erwarteten Zuversicht misst und W(t) das EWMA ist, ob E(t) kürzlich 1,0 an den Schichten überschritten hat. Dies ist strukturell identisch mit dem Leaky Integrate-and-Fire-Neuron-Modell (Cantrell 2026): Das Modell feuert – steigt aus – wenn der akkumulierte Zuversichtsnachweis eine Schwelle überschreitet. In einer Simulationsstudie, kalibriert auf die BERT-base-Architektur (12 Schichten, 600 Eingaben über vier Schwierigkeitsstufen), erreicht die Leistungsmetrik 55,9 % Rechenersparnis bei 99,7 % Genauigkeitserhalt im Vergleich zu 14,6 % Ersparnis (Zuversichtsschwelle) und 52,6 % Ersparnis (Geduld), beide bei 100 % Genauigkeit. Kritisch ist, dass die Leistungsmetrik die einzige Methode ist, die die Schichtzuteilung korrekt an die Eingabeschwierigkeit anpasst: Einfache Eingaben steigen durchschnittlich nach 3,6 Schichten aus, mittel nach 5,2, schwer nach 6,3. Diese Ergebnisse sind vorläufig; die Validierung an realen BERT/GPT-Modellen mit trainierten Ausstiegsklassifikatoren stellt den erforderlichen nächsten Schritt dar. Schlüsselwörter: früher Ausstieg, adaptive Berechnung, Transformer-Inferenz, Geduldsmechanismus, Entropieschwelle, Leistungsmetrik, LIF-Neuron, schwerigkeitsbewusste Zuteilung, BERT
Building similarity graph...
Analyzing shared references across papers
Loading...
Cole Cantrell
Building similarity graph...
Analyzing shared references across papers
Loading...
Cole Cantrell (Mon,) untersuchte diese Frage.
www.synapsesocial.com/papers/69f1545d879cb923c4944798 — DOI: https://doi.org/10.5281/zenodo.19803061
Synapse has enriched 5 closely related papers on similar clinical questions. Consider them for comparative context: