확률적 관련성 프레임워크: BM25 및 그 이상

확률적 관련성 프레임워크(PRF)는 1970~1980년대에 수행된 연구를 기반으로 하는 문서 검색을 위한 공식적인 프레임워크로, 가장 성공적인 텍스트 검색 알고리즘 중 하나인 BM25 개발로 이어졌습니다. 최근 PRF 연구는 문서 메타데이터(특히 구조 및 링크 그래프 정보)를 고려할 수 있는 새로운 검색 모델들을 내놓았습니다. 이는 다시 가장 성공적인 웹 검색 및 기업 검색 알고리즘 중 하나인 BM25F로 이어졌습니다. 본 논문은 개념적 관점에서 PRF를 소개하며, 프레임워크 이면의 확률적 모델링 가정 및 이를 적용하여 도출된 다양한 랭킹 알고리즘(이진 독립 모델, 관련성 피드백 모델, BM25, BM25F)을 설명합니다. 또한 PRF와 다른 통계적 IR 모델 간의 관계를 논의하고, 비텍스트 특성 사용, 자유 매개변수를 가진 모델의 매개변수 최적화 등 관련 주제도 다룹니다.