パラメータ効率の良いプロンプト学習による3D点群理解

本論文は、大規模なマルチモーダルモデルを3D点群理解に適応させるためのパラメータ効率の高いプロンプトチューニング手法、PPTを提案する。既存の戦略は計算およびストレージコストが非常に高く、時間のかかるプロンプトエンジニアリングに依存している。我々はこれらの問題に対し3つの側面からアプローチを行った。第一に、PromptLearnerモジュールを考案し、手作業のプロンプトを学習可能なコンテキストに置き換えることでプロンプトチューニングの自動化を図る。次に、完全なファインチューニング手法の採用ではなく、事前学習済みバックボーンを固定することでパラメータ効率を大幅に向上させる。最後に、ターゲットタスク近傍に軽量なPointAdapterモジュールを配置し、3D点群理解のためのプロンプトチューニングを強化する。包括的な実験を通じて提案手法の優れたパラメータ効率およびデータ効率を実証し、4つの公開データセットおよび複数の3Dタスク（点群認識、少数ショット学習、部分セグメンテーション）において新記録を達成した。実装はhttps://github.com/auniquesun/PPTにて公開している。