Open-SQLフレームワーク：オープンソース大規模言語モデルにおけるText-to-SQLの強化

Text-to-SQLタスクにおける大規模言語モデル（LLM）の成功にもかかわらず、オープンソースのLLMは文脈理解と応答の一貫性に課題があります。これらの問題に対処するために、オープンソースLLM向けに特化した体系的手法を提案します。当研究の貢献は、Text-to-SQLタスクにおけるオープンソースLLMの包括的評価、効果的な質問表現の戦略、および新しい教師ありファインチューニング戦略を含みます。段階的推論におけるChain-of-Thoughtの利点を探り、強化された少数ショット学習の方法を提案します。さらに、Variable-length Open DB Schema、Target Column Truncation、Example Column Truncationなどのトークン効率的な技術を導入し、大規模データベースの課題に対処します。我々の結果は教師ありファインチューニングが文脈学習能力に与える影響のさらなる研究の必要性を強調しています。注目すべきは、本手法によりLlama2-7BがBIRD-Devデータセットで2.54%から41.04%に、Code Llama-7Bが14.54%から48.24%に大幅に改善したことです。特に、Code Llama-7Bの性能はBIRD-DevデータセットにおいてGPT-4（46.35%）を上回りました。