A penalidade baseada em validação cruzada K-fold realiza seleção de variáveis ou leva à consistência n^1/2 no Lasso?

O operador de encolhimento absoluto mínimo e seleção, ou Lasso, introduzido por Tibshirani (1996), é um dos métodos de regularização mais amplamente utilizados em regressão. Observa-se que as propriedades do Lasso variam consideravelmente dependendo da escolha do parâmetro de penalidade. Resultados recentes de Lahiri (2021) sugerem que, dependendo da natureza do parâmetro de penalidade, o Lasso pode ser consistente na seleção de variáveis ou apresentar consistência n^1/2. Contudo, os profissionais geralmente implementam o Lasso escolhendo o parâmetro de penalidade de forma dependente dos dados, sendo a validação cruzada K-fold a mais popular. Neste artigo, exploramos a consistência na seleção de variáveis e a consistência n^1/2 do Lasso quando a penalidade é escolhida baseada na validação cruzada K-fold com K fixo. Consideramos o modelo de regressão linear heterocedástico de dimensão fixa e mostramos que o Lasso com penalidade baseada em validação cruzada K-fold é consistente em n^1/2, mas não consistente na seleção de variáveis. Também estabelecemos a consistência n^1/2 da penalidade baseada em validação cruzada K-fold como um resultado intermediário. Além disso, como consequência da consistência n^1/2, validamos a validade do Bootstrap para aproximar a distribuição do estimador Lasso baseado em validação cruzada K-fold. Validamos a aproximação Bootstrap em amostras finitas por meio de um estudo de simulação moderado. Assim, nossos resultados essencialmente justificam o uso da validação cruzada K-fold na prática para inferências baseadas em quantidades pivô escaladas por n^1/2 na regressão Lasso.