La inferencia de Transformer procesa cada entrada a través de todas las N capas independientemente de la dificultad. Los métodos de salida temprana reducen este costo insertando clasificadores en capas intermedias y produciendo salida cuando la confianza es suficiente. Los métodos existentes — umbral de entropía y el mecanismo de paciencia (Zhou et al., 2020) — usan señales estáticas: o bien el nivel actual de confianza o si la predicción ha cambiado recientemente. Ninguno rastrea si la confianza está mejorando en relación con una trayectoria esperada adaptativa. Proponemos aplicar la métrica estocástica de potencia P(t) = E(t) × W(t) como criterio de salida, donde E(t) mide la confianza real relativa a la confianza esperada adaptable y W(t) es el EWMA de si E(t) superó 1.0 en capas recientes. Esto es estructuralmente idéntico al modelo de neurona Leaky Integrate-and-Fire (Cantrell 2026): el modelo dispara — sale — cuando la evidencia acumulada de confianza cruza un umbral. En un estudio de simulación calibrado con la arquitectura BERT-base (12 capas, 600 entradas en cuatro niveles de dificultad), la métrica de potencia logra un ahorro computacional del 55.9% con preservación de precisión del 99.7%, comparado con ahorros del 14.6% (umbral de confianza) y 52.6% (paciencia) ambos al 100% de precisión. Fundamentalmente, la métrica de potencia es el único método que escala correctamente la asignación de capas con la dificultad de entrada: entradas fáciles salen en un promedio de 3.6 capas, medianas en 5.2, difíciles en 6.3. Estos hallazgos son preliminares; la validación en modelos reales BERT/GPT con clasificadores de salida entrenados es el siguiente paso requerido. Palabras clave: salida temprana, computación adaptativa, inferencia de transformer, mecanismo de paciencia, umbral de entropía, métrica de potencia, neurona LIF, asignación consciente de dificultad, BERT
Building similarity graph...
Analyzing shared references across papers
Loading...
Cole Cantrell
Building similarity graph...
Analyzing shared references across papers
Loading...
Cole Cantrell (lun,) estudió esta cuestión.
www.synapsesocial.com/papers/69f1545d879cb923c4944798 — DOI: https://doi.org/10.5281/zenodo.19803061
Synapse has enriched 5 closely related papers on similar clinical questions. Consider them for comparative context: