楽観論理を用いたハイブリッド分類器によるマルチモーダルな皮肉検出

本研究は、前処理、特徴抽出、特徴レベル融合、分類の四段階を含む新規のマルチモーダル皮肉検出モデルを提供することを目的としています。前処理では、テキスト、ビデオ、オーディオを含むマルチモーダルデータを使用します。ここで、テキストはトークン化とステミングにより前処理され、ビデオは顔検出フェーズで前処理され、オーディオはフィルタリング技術を用いて前処理されます。特徴抽出段階では、TF-IDF、改良された視覚単語袋、n-グラム、絵文字などのテキスト特徴、および改良SLBTと制約ローカルモデル（CLM）を用いたビデオ特徴が抽出されます。同様に、MFCC、クロマ、スペクトル特徴、ジッターなどのオーディオ特徴も抽出されます。次に、抽出された特徴は特徴レベル融合段階に送られ、改善された多層カノニカル相関分析（CCA）融合手法が実施されます。分類は、双方向ゲート付き再帰ユニット（Bi-GRU）とLSTMというハイブリッド分類器（HC）を使用して行われます。Bi-GRUとLSTMの結果は平均化され、効果的な出力を得ます。検出結果をより正確にするために、LSTMの重みは提案された対立学習ベースのaquila最適化（OLAO）モデルにより最適に調整されます。MUStARDデータセットは、自動皮肉検出研究に用いられるマルチモーダルビデオコーパスです。最後に、提案アプローチの有効性は様々な指標に基づいて証明されます。