RandomMachine: Zufällige Auswahl von Basis-Lernern für Newton Gradient Boosting Ensembles

Wir präsentieren RandomMachine, eine Open-Source-Python-Bibliothek, die das klassische Gradient Boosting zweiter Ordnung (Newton) erweitert, indem sie bei jeder Boosting-Iteration zufällig den nächsten Basislerner aus einem benutzerdefinierten Pool auswählt. Im Gegensatz zu standardmäßigen gradienten-boosted Bäumen, bei denen jede Iteration eine frische Kopie eines einzelnen festgelegten Modelltyps hinzufügt, mischt RandomMachine stochastisch mehrere Lernfamilien – LightGBM, CatBoost, XGBoost und beliebige sklearn-kompatible Schätzer – gemäß den pro Modell definierten Sampling-Wahrscheinlichkeiten. Diese zufällige Auswahl erhöht die Diversität des Ensembles, wirkt als impliziter Regularisierer und ermöglicht es dem Benutzer, komplementäre induktive Verzerrungen verschiedener Algorithmen innerhalb eines einzigen kohärenten Boosting-Verfahrens zu nutzen. Wir beschreiben den Algorithmus, seine theoretische Motivation und das Softwaredesign und berichten über empirische Ergebnisse zu synthetischen Regressions- und Klassifikationsaufgaben, die Verbesserungen von 1,55 % im R2 bei der Regression und 2,03 % in der Genauigkeit bei der binären Klassifikation im Vergleich zu drei festen Familien-Baselines bei vergleichbaren Hyperparameterbudgets zeigen.