Controle Adaptativo de Movimento Baseado em Aprendizado por Reforço para Robôs Humanoides em Multi-Terrenos

Nos últimos anos, muitos países aumentaram seu investimento na área de robôs humanoides, promovendo um desenvolvimento tecnológico significativo. Este estudo tem como objetivo permitir que robôs humanoides se adaptem melhor a diversos ambientes complexos, aumentando a robustez de seus sistemas de movimento e a capacidade de generalização de suas estratégias de movimento. Utilizando algoritmos de aprendizado por reforço, o treinamento em terrenos variados é um fator crítico para o desenvolvimento de robôs humanoides adaptáveis. Este artigo utiliza o robô humanoide G1 como plataforma de pesquisa. Primeiramente, realiza o treinamento, a verificação por transferência e a implantação em máquina real de um modelo de caminhada em terreno plano. Em seguida, utilizando controle por lógica fuzzy e uma estratégia de treinamento em fases, são treinados modelos de caminhada para subir/descer escadas e atravessar rampas. Variando sistematicamente a altura dos degraus e o gradiente das rampas, analisam-se a convergência da função de recompensa e a taxa de sucesso na realização das tarefas. Ademais, a estabilidade dinâmica do robô em terrenos complexos é validada por meio de análise cinemática qualitativa. A pesquisa conclui que, conforme a altura do passo e o gradiente da rampa aumentam, o valor da recompensa inicialmente cresce com mais iterações, mas converge mais lentamente e num valor final menor. Análises estatísticas mostram que as taxas de sucesso do treinamento em fases para terrenos com escadas e rampas são superiores a 86% e 92%, respectivamente.