A estimativa online dos parâmetros do modelo a partir de fluxos de dados ruidosos, por meio de nós colaborativos e monitoramento em tempo real, representa um desafio fundamental na aprendizagem distribuída. Os algoritmos baseados em difusão oferecem uma solução ao permitir que redes descentralizadas acompanhem de maneira adaptativa parâmetros evolutivos por meio de trocas locais, enquanto os métodos convencionais de primeira ordem (FO) exigem gradientes explícitos e custos convexos — hipóteses raramente satisfeitas na prática. Ao mesmo tempo, a necessidade de técnicas leves e sem gradiente estimulou o interesse por estratégias de zeroth-order (ZO). Para preencher essas lacunas, esta tese introduz primeiro uma estrutura de difusão que estende os métodos FO ao problema das somas convexas de funções não convexas (CSNC) e, por meio de uma nova análise de convergência que envolve uma média de rede como variável auxiliar, demonstra que todos os nós convergem para uma vizinhança do ótimo global; validamos sua robustez e escalabilidade através de experiências de análise de componentes principais distribuída (PCA). Com base nisso, desenvolvemos em seguida um esquema de difusão ZO em mini-lotes que aproveita estimativas de gradiente por diferenças finitas e atualizações por lotes que reduzem a variância, para alcançar uma convergência quase ótima em cenários de alta dimensão ou sensíveis à privacidade. Em aplicação, reformulamos o controle ativo de ruído em domínio de onda (ANC) como um problema de difusão não convexa e derivamos dois algoritmos ANC distribuídos — combinando difusão LMS e difusão de grupo — para obter uma convergência mais rápida, mais estável e uma menor carga computacional em vastas regiões. Finalmente, ao expressar o controle de zonas sonoras pessoais (PSZ) como a soma de funções de custo locais, implementamos uma abordagem de difusão-LMS totalmente descentralizada que permite gerar simultaneamente zonas "claras" e "escuras" com comunicação mínima.
Mengfei Zhang (Qui,) estudou essa questão.