MedFrenchmark, 의료 프랑스어에서 생성형 LLM 벤치마크를 위한 소규모 세트

생성형 대형 언어 모델(LLM)은 의료 및 의학을 포함한 다양한 분야에서 널리 사용되고 있습니다. 결과적으로 의학적 응용을 위해 LLM을 활용하려는 관심이 높아지면서 매일 새로운 모델이 등장하고 있습니다. 그러나 LLM을 위한 평가 및 벤치마킹 프레임워크는 드물며, 특히 의료 프랑스어에 특화된 프레임워크는 부족합니다. 이 격차를 해소하기 위해, 우리는 프랑스어 LLM의 의료 역량을 평가하기 위해 설계된 114개의 개방형 질문으로 구성된 최소한의 벤치마크를 소개합니다. 제안된 벤치마크는 다양한 의료 분야를 포함하며, 실제 임상 시나리오의 복잡성을 반영합니다. 예비 검증에서는 70억 매개변수를 가진 7개의 널리 사용되는 LLM을 테스트하였습니다. 결과는 성능에서 상당한 변동성을 보여주었으며, 의료 환경에 LLM을 배포하기 전 철저한 평가의 중요성을 강조합니다. 결론적으로, 우리는 의료 프랑스어에서 LLM을 빠르게 평가할 수 있는 새롭고 가치 있는 자원을 제시합니다. 이 벤치마크는 책임성과 표준화를 촉진함으로써 의료 응용에서 LLM을 활용하는 신뢰성과 유용성을 향상시킬 잠재력이 있습니다.