RePaint：ノイズ除去拡散確率モデルを用いたインペインティング

自由形式インペインティングは、任意のバイナリマスクで指定された領域に新しい内容を画像に追加するタスクです。既存の多くの手法は特定のマスク分布で訓練されており、これが未知のマスクタイプへの一般化能力を制限しています。さらに、ピクセル単位および知覚的損失を用いた訓練は、不足している領域に対して単純なテクスチャの拡張をもたらし、意味的に意義ある生成には至りません。本研究では、極端なマスクに対しても適用可能なDenoising Diffusion Probabilistic Model（DDPM）に基づくインペインティング手法RePaintを提案します。事前学習済みの無条件DDPMを生成事前知識として使用します。生成過程を条件付けるために、与えられた画像情報を用いてマスクされていない領域をサンプリングすることで逆拡散反復のみを変更します。この手法は元のDDPMネットワーク自体を変更または条件付けないため、あらゆる形態のインペインティングに対して高品質で多様な出力画像を生成します。我々の手法は、顔画像および汎用画像インペインティングにおいて、標準的かつ極端なマスクを用いて検証しました。RePaintは、6つのマスク分布のうち少なくとも5つで、最先端の自己回帰モデルおよびGAN手法を上回りました。GitHubリポジトリ：git.io/RePaint