ERNIE: Representação Aprimorada da Linguagem com Entidades Informativas

Modelos neurais de representação de linguagem, como o BERT pré-treinado em corpora em grande escala, conseguem captar padrões semânticos ricos a partir de texto simples e podem ser ajustados para melhorar consistentemente o desempenho em várias tarefas de PLN. Entretanto, os modelos de linguagem pré-treinados existentes raramente consideram a incorporação de grafos de conhecimento (KGs), que podem fornecer fatos estruturados ricos para uma melhor compreensão da linguagem. Argumentamos que entidades informativas em KGs podem aprimorar a representação da linguagem com conhecimento externo. Neste artigo, utilizamos tanto corpora textuais em grande escala quanto KGs para treinar um modelo aprimorado de representação da linguagem (ERNIE), que pode aproveitar simultaneamente informações lexicais, sintáticas e de conhecimento. Os resultados experimentais demonstraram que o ERNIE alcança melhorias significativas em várias tarefas orientadas ao conhecimento e, ao mesmo tempo, é comparável ao modelo de última geração BERT em outras tarefas comuns de PLN. O código-fonte e detalhes dos experimentos deste artigo podem ser obtidos em https:// github.com/thunlp/ERNIE.