Least-Angle-Regression

Der Zweck von Modellauswahlalgorithmen wie All Subsets, Forward Selection und Backward Elimination besteht darin, ein lineares Modell auf der Grundlage desselben Datensatzes auszuwählen, auf den das Modell angewendet wird. Typischerweise steht eine große Sammlung möglicher Kovariaten zur Verfügung, aus der wir hoffen, eine sparsame Menge für die effiziente Vorhersage einer Zielvariable auszuwählen. Least Angle Regression (LARS), ein neuer Modellauswahlalgorithmus, ist eine nützliche und weniger gierige Version traditioneller Vorwärtsauswahlmethoden. Drei Haupteigenschaften werden abgeleitet: (1) Eine einfache Modifikation des LARS-Algorithmus implementiert den Lasso, eine attraktive Variante der gewöhnlichen Kleinste-Quadrate-Methode, die die Summe der absoluten Regressionskoeffizienten beschränkt; die LARS-Modifikation berechnet alle möglichen Lasso-Schätzungen für ein gegebenes Problem und benötigt dabei um eine Größenordnung weniger Rechenzeit als vorherige Methoden. (2) Eine andere LARS-Modifikation implementiert effizient die Forward Stagewise lineare Regression, eine weitere vielversprechende neue Modellauswahlmethode; diese Verbindung erklärt die zuvor beobachteten ähnlichen numerischen Ergebnisse für Lasso und Stagewise und hilft uns, die Eigenschaften beider Methoden zu verstehen, die als eingeschränkte Versionen des einfacheren LARS-Algorithmus angesehen werden. (3) Eine einfache Approximation für die Freiheitsgrade einer LARS-Schätzung ist verfügbar, aus der wir eine Cp-Schätzung des Vorhersagefehlers ableiten; dies ermöglicht eine fundierte Wahl unter den möglichen LARS-Schätzungen. LARS und seine Varianten sind recheneffizient: Das Papier beschreibt einen öffentlich verfügbaren Algorithmus, der nur den gleichen Größenordnungsaufwand wie gewöhnliche Kleinste-Quadrate auf dem vollständigen Satz von Kovariaten benötigt.