SGPT: 意味検索のためのGPT文センテンス埋め込み

デコーダートランスフォーマーは数千億パラメータに達する規模で拡大し続けています。その規模により、同じデコーダーはプロンプティングやファインチューニングによって様々な言語タスクで最先端の結果を出しています。しかし、これらの大規模基盤モデルは意味検索や文センテンス埋め込みの関連分野では未だに利用できません。これにより新たな最先端の成果が阻まれ、組織は別個のモデルのトレーニングとメンテナンスを強いられています。この問題を解決するために、我々はプロンプティングやファインチューニングによって意味検索と文センテンス埋め込みにデコーダーを利用するSGPTを提案します。58億パラメータのSGPTは、BEIR検索ベンチマーク上で従来の最良文センテンス埋め込みを7%上回り、1750億パラメータの同時代手法よりも優れた性能を示します。コード、モデル、結果ファイルは https://github.com/Muennighoff/sgpt で自由に利用可能です。