É Ruim Trabalhar o Tempo Todo? Avaliação Transcultural dos Vieses de Normas Sociais no GPT-4

LLMs demonstraram alinhar-se com os valores das culturas ocidentais ou norte-americanas. Trabalhos anteriores mostraram esse efeito principalmente por meio de pesquisas que perguntam diretamente (originalmente às pessoas e agora também às LLMs) sobre seus valores. No entanto, é difícil acreditar que as LLMs aplicariam esses valores de forma consistente em cenários do mundo real. Para abordar isso, adotamos uma abordagem de baixo para cima, pedindo às LLMs que raciocinem sobre normas culturais em narrativas de diferentes culturas. Descobrimos que o GPT-4 tende a gerar normas que, embora não necessariamente incorretas, são significativamente menos específicas culturalmente. Além disso, embora evite gerar estereótipos de forma explícita, as representações estereotipadas de certas culturas estão apenas ocultas, e não suprimidas no modelo, podendo ser facilmente recuperadas. Abordar esses desafios é um passo crucial para desenvolver LLMs que atendam de forma justa sua base diversificada de usuários.