Regressão logística aditiva: uma visão estatística do boosting (Com discussão e réplica dos autores)

Boosting é um dos desenvolvimentos mais importantes recentes na metodologia de classificação. Boosting funciona aplicando sequencialmente um algoritmo de classificação a versões reponderadas dos dados de treinamento e, em seguida, realizando uma votação majoritária ponderada da sequência de classificadores assim produzida. Para muitos algoritmos de classificação, essa estratégia simples resulta em melhorias dramáticas no desempenho. Mostramos que esse fenômeno aparentemente misterioso pode ser entendido em termos de princípios estatísticos bem conhecidos, nomeadamente modelagem aditiva e máxima verossimilhança. Para o problema de duas classes, o boosting pode ser visto como uma aproximação da modelagem aditiva na escala logística utilizando máxima verossimilhança Bernoulli como critério. Desenvolvemos aproximações mais diretas e mostramos que exibem resultados quase idênticos ao boosting. Generalizações diretas para múltiplas classes baseadas em verossimilhança multinomial são derivadas, exibindo desempenho comparável a outras generalizações multiclasses recentemente propostas para boosting na maioria das situações, e muito superior em algumas. Sugerimos uma modificação menor no boosting que pode reduzir o cálculo, frequentemente por fatores de 10 a 50. Finalmente, aplicamos essas percepções para produzir uma formulação alternativa do boosting em árvores de decisão. Essa abordagem, baseada em indução truncada de árvore do tipo best-first, frequentemente leva a melhor desempenho e pode fornecer descrições interpretáveis da regra agregada de decisão. Também é muito mais rápida computacionalmente, tornando-a mais adequada para aplicações de mineração de dados em grande escala.