ドメイン適応型意味セグメンテーションは視覚言語監督によるドメインバイアス除去自己学習から出現する

教師なしドメイン適応意味セグメンテーションは合成データを利用してセグメンテーションモデルを訓練し、ラベルなしの実画像へ転移させる。スタイルの違いにより、転移されたモデルはドメインギャップに悩まされる。さらに悪いことに、一部のクラスは極端なドメインギャップを示し、特徴分布が二つのドメイン間で完全にシフトする。これを緩和するために、我々はCLIPを用いたドメインバイアス除去自己学習戦略を提案し、そのドメインに依存しない知識を蒸留する。具体的には、セグメンテーションモデルの特徴マップとCLIPの画像エンコーダの特徴マップ間の一貫性を強制する。同時に、各クラスのテキストエンコーダからのテキスト埋め込みがドメインに依存しない分類器として機能し、ドメインバイアス除去特徴学習条件を支援する。標準的なUDA設定下の実験結果は、提案戦略が異なるバックボーンおよび異なる大規模事前学習モデルに基づくUDAセグメンテーション性能を一貫して向上させることを示している。