Compressão Semântica com Grandes Modelos de Linguagem

A ascensão dos grandes modelos de linguagem (LLMs) está revolucionando tarefas de recuperação de informação, resposta a perguntas, sumarização e geração de código. No entanto, além de apresentarem informações factualmente incorretas com certa frequência (conhecidas como "alucinações"), os LLMs também são limitados pelo número de tokens de entrada e saída que podem processar de uma só vez, o que pode torná-los menos eficazes em tarefas que requerem o processamento de um grande conjunto ou fluxo contínuo de informações. Uma abordagem comum para reduzir o tamanho dos dados é através da compressão sem perdas ou com perdas. Contudo, em alguns casos, pode não ser estritamente necessário recuperar perfeitamente todos os detalhes dos dados originais, desde que um nível requerido de precisão semântica ou intenção seja transmitido. Este artigo apresenta três contribuições para a pesquisa em LLMs. Primeiro, apresentamos os resultados de experimentos explorando a viabilidade da "compressão aproximada" usando LLMs, focando especificamente no GPT-3.5 e GPT-4 via interfaces ChatGPT. Segundo, investigamos e quantificamos a capacidade dos LLMs para comprimir texto. Terceiro, apresentamos duas métricas novas – Eficácia Reconstrutiva Exata (ERE) e Eficácia da Reconstrução Semântica (SRE) – que quantificam o nível de intenção preservada entre o texto comprimido e descomprimido pelos LLMs estudados. Nossos resultados iniciais indicam que o GPT-4 pode efetivamente comprimir e reconstruir texto enquanto preserva a essência semântica do texto original, oferecendo um caminho para utilizar mais tokens do que os limites atuais permitem.