Abordagem Realista de Aprendizado Contínuo usando Modelos Pré-treinados

O aprendizado contínuo (CL) é crucial para avaliar a adaptabilidade em soluções de aprendizado para reter conhecimento. Nossa pesquisa aborda o desafio do esquecimento catastrófico, onde os modelos perdem a proficiência em tarefas previamente aprendidas à medida que adquirem novas. Embora diversas soluções tenham sido propostas, os arranjos experimentais existentes frequentemente se baseiam em cenários idealizados de aprendizado incremental por classe. Introduzimos o Realistic Continual Learning (RealCL), um novo paradigma de CL onde as distribuições de classes entre tarefas são aleatórias, distanciando-se dos cenários estruturados. Apresentamos também o CLARE (Continual Learning Approach with pRE-trained models for RealCL scenarios), uma solução baseada em modelos pré-treinados projetada para integrar conhecimento novo enquanto preserva o aprendizado anterior. Nossas contribuições incluem a introdução do RealCL como uma generalização dos arranjos tradicionais de CL, a proposição do CLARE como uma abordagem adaptável para tarefas RealCL e a condução de experimentos extensivos que demonstram sua eficácia em diversos cenários RealCL. Notavelmente, o CLARE supera modelos existentes nos benchmarks RealCL, destacando sua versatilidade e robustez em ambientes de aprendizado imprevisíveis.