InternLM-Law: Um Modelo de Linguagem Grande Jurídico Chinês de Código Aberto

Embora os grandes modelos de linguagem (LLMs) tenham demonstrado capacidades impressionantes, eles enfrentam dificuldades para responder a consultas jurídicas devido às complexidades intrincadas e à especialização requerida no campo jurídico. Neste artigo, apresentamos o InternLM-Law, um LLM especializado projetado para responder a diversas consultas legais relacionadas às leis chinesas, abrangendo desde respostas a perguntas jurídicas padrão (por exemplo, exercícios jurídicos em livros didáticos) até a análise de situações jurídicas complexas do mundo real. Construímos meticulosamente um conjunto de dados no domínio jurídico chinês, abrangendo mais de 1 milhão de consultas, e implementamos um pipeline de filtragem e processamento de dados para garantir sua diversidade e qualidade. Nossa abordagem de treinamento envolve um processo inovador em duas etapas: inicialmente, o ajuste fino dos LLMs em conteúdos específicos jurídicos e de uso geral para equipar os modelos com conhecimento amplo, seguido por um ajuste fino exclusivo em dados jurídicos de alta qualidade para aprimorar a geração estruturada de saídas. O InternLM-Law alcança a maior performance média no LawBench, superando modelos de ponta, incluindo GPT-4, em 13 de 20 subtarefas. Tornamos o InternLM-Law e nosso conjunto de dados publicamente disponíveis para facilitar pesquisas futuras na aplicação de LLMs no domínio jurídico.