MuseGraph: 일반 그래프 마이닝을 위한 대규모 언어 모델의 그래프 지향 명령 튜닝

풍부한 속성을 가진 그래프는 상호 연결된 개체를 모델링하고 다양한 실제 응용에서 예측을 향상하는 데 필수적입니다. 속성 그래프 모델링에 일반적으로 사용되는 전통적인 그래프 신경망(GNN)은 서로 다른 그래프 작업 및 데이터셋에 적용할 때마다 재학습이 필요합니다. 대규모 언어 모델(LLM)의 등장은 자연어 처리에 새로운 패러다임을 제시했지만, 그래프 마이닝에서 LLM의 생성 잠재력은 아직 충분히 탐구되지 않았습니다. 이에 본 연구에서는 GNN과 LLM의 강점을 원활하게 통합하고 다양한 작업과 데이터셋에 걸쳐 그래프 마이닝을 위한 보다 효과적이고 일반적인 접근 방식을 촉진하는 새로운 프레임워크인 MuseGraph를 제안합니다. 구체적으로, 먼저 언어 토큰 제한 조건 하에서 그래프의 핵심 정보를 캡슐화하는 제안된 적응형 입력 생성 방식을 통해 간결한 그래프 설명을 도입합니다. 다음으로, LLM(예: GPT-4)의 추론 능력을 증류하여 서로 다른 그래프 작업을 위한 작업별 Chain-of-Thought 기반 명령 패키지를 생성하는 다양한 명령 생성 메커니즘을 제안합니다. 마지막으로, 작업과 데이터셋 전반에 걸친 동적 명령 패키지 할당 전략을 포함하는 그래프 인지 명령 튜닝을 제안하여 학습 과정의 효율성과 일반화를 보장합니다. 실험 결과는 다양한 그래프 작업에서의 유의미한 성능 향상을 보여 MuseGraph가 그래프 지향 후속 작업의 정확도를 높이면서 LLM의 생성 능력을 유지하는 데 잠재력이 있음을 입증합니다.