データの脆弱性パッチ識別の再考

攻撃は公開されていないゼロデイまたはワンデイの脆弱性を悪用する可能性があります。これらの脆弱性を検出するために、セキュリティ研究者はオープンソースリポジトリの開発活動を監視して、報告されていないセキュリティパッチを特定します。コミットの膨大な量のため、この作業を手動で実行することは不可能です。そのため、セキュリティパッチ検出器は、国家脆弱性データベース（NVD）からリンクされた脆弱性レポートに基づいてトレーニングおよび評価されることが一般的です。本研究では、野外で適用された場合のこれらの検出器の効果を評価します。我々の結果は、NVDから派生したデータでトレーニングされたモデルが大幅にパフォーマンスが低下し、野外のセキュリティパッチでテストした際にF1スコアが最大90％低下することを示しています。これは実際の使用には不適切です。野外で特定されたセキュリティパッチとNVDからリンクされたコミットを比較した分析は、これらが互いに簡単に区別できることを明らかにします。NVDに関連するセキュリティパッチは、コミットメッセージ、脆弱性の種類、変更の構成において異なる分布を持っています。これらの違いは、NVDがセキュリティパッチを検出するためのモデルをトレーニングする唯一のデータソースとして不適切である可能性を示唆しています。我々は、NVDデータからのセキュリティパッチと手動で特定したセキュリティパッチの小さなサブセットを組み合わせたデータセットを構築することで、モデルの堅牢性を向上できることを確認しました。