초기 종료를 LIF 임계 발화로: 난이도 인식 적응 계산 깊이를 위한 파워 메트릭

트랜스포머 추론은 난이도에 관계없이 모든 입력을 N개 층 전체에 통과시킨다. 초기 종료 방법은 중간 층에 분류기를 삽입하고 신뢰도가 충분할 때 출력을 하여 이 비용을 줄인다. 기존 방법들 — 엔트로피 임계값 및 인내 메커니즘(Zhou et al., 2020) — 은 정적인 신호만 사용한다: 현재 신뢰도 수준 또는 최근 예측이 변경되었는지 여부. 두 방법 모두 적응 기대 궤적 대비 신뢰도 개선 여부를 추적하지 않는다. 우리는 누적된 신뢰도 증거가 임계값을 넘을 때 모델이 발화(종료)하도록 하는, Leaky Integrate-and-Fire 뉴런 모델(Cantrell 2026)과 구조적으로 동일한, 출구 기준으로 확률적 파워 메트릭 P(t) = E(t) × W(t)를 적용할 것을 제안한다. 여기서 E(t)는 적응 기대 신뢰도 대비 실제 신뢰도를 측정하고 W(t)는 최근 층에서 E(t)가 1.0을 초과했는지에 대한 지수이동평균(EWMA)이다. BERT-base 아키텍처(12층, 4개의 난이도 구간에 걸친 600 입력)로 보정한 시뮬레이션에서, 파워 메트릭은 99.7% 정확도 보존과 함께 55.9% 계산 비용 절감을 달성하였고, 각각 100% 정확도에서 14.6% 절감(신뢰도 임계값), 52.6% 절감(인내 메커니즘)과 비교된다. 특히, 파워 메트릭만이 입력 난이도에 따라 층 할당을 올바르게 조절하는데 성공하였다: 쉬운 입력은 평균 3.6층에서 종료되고, 중간은 5.2층, 어려운 입력은 6.3층에서 종료된다. 이 결과는 예비적이며, 훈련된 종료 분류기가 포함된 실제 BERT/GPT 모델에서 검증하는 것이 필요하다. 키워드: 초기 종료, 적응 계산, 트랜스포머 추론, 인내 메커니즘, 엔트로피 임계값, 파워 메트릭, LIF 뉴런, 난이도 인식 할당, BERT