LawGPT: Ein chinesisches, rechtliches Wissens-verbessertes großes Sprachmodell

Große Sprachmodelle (LLMs), einschließlich sowohl proprietärer als auch Open-Source-Modelle, haben bemerkenswerte Fähigkeiten bei der Bewältigung einer breiten Palette von nachgelagerten Aufgaben gezeigt. Dennoch erfüllen diese Modelle bei praktischen chinesischen Rechtsaufgaben nicht die tatsächlichen Anforderungen. Proprietäre Modelle gewährleisten keinen Datenschutz für sensible Rechtsfälle, während Open-Source-Modelle aufgrund fehlenden Rechtswissens unbefriedigende Leistungen zeigen. Um dieses Problem zu lösen, stellen wir LawGPT vor, das erste Open-Source-Modell, das speziell für chinesische Rechtsanwendungen entwickelt wurde. LawGPT besteht aus zwei Hauptkomponenten: rechtlich orientiertes Pre-Training und rechtlich überwachtes Fine-Tuning. Insbesondere verwenden wir groß angelegte chinesische Rechtsdokumente für das rechtlich orientierte Pre-Training, um juristisches Fachwissen zu integrieren. Um die Leistung des Modells bei nachgelagerten Rechtsaufgaben weiter zu verbessern, erstellen wir einen wissensbasierten Instruction-Datensatz für das rechtlich überwachte Fine-Tuning. Unsere experimentellen Ergebnisse zeigen, dass LawGPT das Open-Source-Modell LLaMA 7B übertrifft. Unser Code und die Ressourcen sind öffentlich verfügbar unter https://github.com/pengxiao-song/LaWGPT und haben auf GitHub 5,7K Sterne erhalten.