Aprendizagem Clinica por Prompt com Modelos de Linguagem Congelados

Aprendizagem por prompt é um novo paradigma no campo de Processamento de Linguagem Natural (PLN) que tem demonstrado desempenho impressionante em várias tarefas de linguagem natural com conjuntos de dados de texto comuns em configurações de treinamento e avaliação completas, com poucos exemplos e sem exemplos. Recentemente, foi observado que grandes modelos de linguagem pré-treinados (PLMs) congelados com aprendizagem por prompt superam modelos menores, porém ajustados. Contudo, como em muitas tendências recentes de PLN, o desempenho mesmo dos maiores PLMs, como o GPT-3, não é satisfatório em domínios especializados (por exemplo, textos médicos), e a prática comum para alcançar resultados de Estado da Arte (SoTA) ainda consiste em pré-treinar e ajustar os PLMs em tarefas específicas. A dependência do ajuste fino de grandes PLMs é problemática em ambientes clínicos onde os dados frequentemente estão em ambientes sem GPU, e métodos de treinamento mais eficientes em recursos para modelos de domínios especializados são cruciais. Investigamos a viabilidade da aprendizagem por prompt em tarefas clínicas relevantes e comparamos diretamente com métodos tradicionais de ajuste fino. Os resultados estão parcialmente alinhados com a literatura sobre aprendizagem por prompt, mostrando que esta consegue igualar ou melhorar o ajuste fino tradicional com parâmetros treináveis substancialmente menores e requerendo menos dados de treinamento. Defendemos que a aprendizagem por prompt oferece menores custos computacionais aplicáveis a ambientes clínicos, podendo servir como alternativa ao ajuste fino de PLMs cada vez maiores. Código complementar para reproduzir os experimentos apresentados neste trabalho pode ser encontrado em: https://github.com/NtaylorOX/PublicClinicalPrompt.