相互情報の推定と最大化による深層表現の学習

本研究では、入力と深層ニューラルネットワークエンコーダの出力との間の相互情報を最大化することによって、表現の教師なし学習を行います。重要なのは、構造が重要であることを示すことです：目的関数に入力の局所性に関する知識を組み込むことで、下流タスクに対する表現の適合性に大きな影響を与えられます。さらに、表現の特性を事前分布に敵対的に一致させることで制御します。我々の手法、Deep InfoMax（DIM）は、多くの一般的な教師なし学習手法を上回り、いくつかの分類タスクで完全教師あり学習と競合します。DIMは表現の教師なし学習に新しい道を開き、特定の最終目的のための表現学習目的の柔軟な定式化に向けた重要な一歩です。