다중 세분화 프롬프트를 통한 개인화 연합 지속 학습

개인화 연합 지속 학습 (PFCL)은 지식 공유 및 개인화에 있어 더 큰 도전을 안겨주는 새로운 실용적 시나리오입니다. PFCL은 전세계 공간-시간적 관점에서 서버 집합을 위한 지식 융합에 의존할 뿐만 아니라 각 클라이언트의 로컬 요구 사항에 따라 모델 개선도 필요합니다. 개인화 연합 학습 (PFL) 또는 연합 지속 학습 (FCL)에서 기존 방법들은 공간-시간적 재앙적 망각 (STCF)을 극복하고 일반화된 지식을 자신에게 적응시키기 위해 인간 인지 메커니즘을 조정할 수 있는 지식의 다중 세분화 표현을 간과했습니다. 더욱이, 이는 개인화된 공유 지식을 보다 효과적으로 가능하게 해주어, 그 목적을 수행하도록 합니다. 이를 위해, 우리는 일반 모델 학습 과정에서 획득된 조잡한 전역 프롬프트와 일반화된 표현을 개인화하는 데 사용되는 세분화된 로컬 프롬프트라는 새로운 개념을 제안합니다. 전자는 공간 망각 없이 공유된 전 세계 지식을 효율적으로 전송하는 데 중점을 두고, 후자는 시간적 망각을 극복하기 위해 개인화된 지역 지식의 구체적인 학습을 강조합니다. 또한, 우리는 다양한 클라이언트에서 증류된 글로벌 프롬프트의 지식을 집계하기 위한 선택적 프롬프트 융합 메커니즘을 설계합니다. 조잡한 지식의 독점적 융합을 통해 클라이언트 간의 공통 지식 전송 및 정제를 달성하여 개인화 성능을 더욱 향상시킵니다. 광범위한 실험은 STCF를 해결하고 개인화 성능을 개선하는 데 있어 제안된 방법의 효과를 입증합니다. 우리의 코드는 현재 https://github.com/SkyOfBeginning/FedMGP에서 사용할 수 있습니다.