크로스 도메인 소수 샷 학습을 위한 구별 샘플 유도 및 파라미터 효율적인 특징 공간 적응

이 논문에서는 소수의 레이블이 있는 예제만으로 보지 못한 도메인에서 새로운 클래스를 학습하는 어려운 작업인 크로스 도메인 소수 샷 분류를 다룹니다. 기존 방법들은 다소 효과적이지만 여러 가지 한계에 직면해 있어, 우리는 이 작업에서 두 가지 중요한 개선을 통해 이를 해결합니다. 첫째, 소규모 데이터셋에서 많은 수의 파라미터를 미세 조정할 때 발생하는 과적합을 줄이기 위해, 경량의 파라미터 효율 적응 전략을 도입합니다. 이 전략은 사전 훈련된 특징의 선형 변환을 사용하여 훈련 가능한 파라미터 수를 크게 줄입니다. 둘째, 전통적인 최근접 센트로이드 분류기를 분산 인식 손실 함수로 대체하여, 훈련 세트 내 클래스 간 및 클래스 내 분산에 대한 모델의 민감성을 향상시켜 특징 공간에서의 클러스터링을 개선합니다. Meta-Dataset 벤치마크에 대한 실증 평가 결과, 우리의 접근 방식은 보이던 데이터셋에서 최대 7.7% 및 보이지 않던 데이터셋에서 최대 5.3%의 정확도를 향상시키는 것뿐만 아니라, 기존 방법보다 최소 ~3배 더 파라미터 효율적인 성능을 달성하여 크로스 도메인 소수 샷 학습에서 새로운 최첨단을 수립합니다. 우리의 코드는 https://github.com/rashindrie/DIPA 에서 찾을 수 있습니다.