フェデレーテッドGPT構築に向けて：フェデレーテッドインストラクションチューニング

「インストラクションチューンド」された生成型大規模言語モデル（LLM）は新しいタスクへの一般化能力に優れていますが、トレーニング段階では多様で高品質なインストラクションデータ（ChatGPTやGPT-4など）に大きく依存しています。ところが、高品質なデータ、特に人間が作成したデータを取得することはコストやアクセスの面で大きな課題となります。さらに、プライバシーに関する懸念が、これらのデータへのアクセスをさらに制限し、データ取得の過程を複雑かつ微妙なものにしています。この問題に対処すべく、本研究ではフェデレーテッドラーニング（FL）を学習フレームワークとして利用した「フェデレーテッドインストラクションチューニング（FedIT）」という新しい手法を紹介します。これはLLMに対するFLベースのインストラクションチューニングの初の試みです。特にテキストデータは主にエンドユーザーによって生成されるため重要です。たとえば、日常的なユーザーの会話を大量に収集することは、LLMの一般化性能を向上させ、自然で本物らしい応答を生成する上で有用です。したがって、これらのユーザーの多様なローカルデバイス上の指示を効果的に活用しつつ、データの機微性や通信コストに関する懸念を軽減するために、FLアプローチの設計と適応が必要不可欠です。本研究では、GPT-4の自動評価を含む幅広い質的分析を駆使し、FedITフレームワークがLLMの性能をどのように向上させるかを示します。クライアント側の多様なインストラクションセットを活用することで、FedITは限定的なローカル指示しか用いない中央集権型トレーニングを上回る性能を示しました。