トランスフォーマー推論は難易度に関係なく全ての入力をN層全てに通します。早期退出手法は中間層に分類器を挿入し、信頼度が十分な場合に出力することでこのコストを削減します。既存の手法—エントロピー閾値法および忍耐機構(Zhou et al., 2020)は静的信号、すなわち現在の信頼度レベルか予測が最近変化したかのいずれかを用います。いずれも適応的期待軌跡に対し信頼度が改善しているかを追跡しません。我々は確率的パワーメトリックP(t) = E(t) × W(t)を退出基準として適用することを提案します。ここでE(t)は適応的期待信頼度に対する実際の信頼度を測り、W(t)は直近の層でE(t)が1.0を超えたかどうかの指数移動平均(EWMA)です。これはLeaky Integrate-and-Fireニューロンモデル(Cantrell 2026)と構造的に同一で、蓄積された信頼度証拠が閾値を超えるとモデルが発火し(退出し)ます。BERT-base構造(12層、4難易度階層にわたる600入力)に調整したシミュレーションで、パワーメトリックは99.7%の精度維持で55.9%の計算コスト削減を達成し、100%精度での14.6%削減(信頼度閾値法)および52.6%削減(忍耐法)を上回りました。重要なことに、パワーメトリックは唯一入力難易度に応じて層の割当てを正しくスケールさせます:簡単な入力は平均3.6層で退出し、中程度は5.2層、難しい入力は6.3層です。これらの結果は予備的であり、実際のBERT/GPTモデルおよび訓練された退出分類器による検証が次の必須ステップです。キーワード:早期退出,適応計算,トランスフォーマー推論,忍耐機構,エントロピー閾値,パワーメトリック,LIFニューロン,難易度認識割当,BERT
Building similarity graph...
Analyzing shared references across papers
Loading...
Cole Cantrell
Building similarity graph...
Analyzing shared references across papers
Loading...
Cole Cantrell(Mon,)がこの問題を研究しました。
www.synapsesocial.com/papers/69f1545d879cb923c4944798 — DOI: https://doi.org/10.5281/zenodo.19803061
Synapse has enriched 5 closely related papers on similar clinical questions. Consider them for comparative context: