事前学習済み大規模言語モデルからの文脈に基づく人間と物体の相互作用理解

既存の人間と物体の相互作用（HOI）検出方法は、見えない相互作用を認識するためにゼロショット学習技術を導入していますが、文脈情報の理解や包括的推論に制限があります。これらの制限を克服するために、私たちは新しいHOI学習フレームワークであるContextHOIを提案します。これは、文脈理解とゼロショット推論能力を向上させるための効果的な文脈HOI検出器として機能します。提案するContextHOIの主な貢献は、新しい文脈マイニングデコーダーと強力な相互作用推論大規模言語モデル（LLM）です。文脈マイニングデコーダーは、事前学習された視覚言語モデルから言語的文脈情報を抽出することを目指しています。抽出された文脈情報に基づいて、提案する相互作用推論LLMは豊富な言語知識を活用することにより、ゼロショット推論能力をさらに強化します。広範な評価により、私たちの提案したフレームワークは、HICO-DETおよびSWIG-HOIデータセット上で既存のゼロショット方法を上回り、見えない相互作用では最大19.34%のmAPが達成できることが示されました。