지속적인 불변 공간을 통한 공격 경로 발견을 위한 확장 가능하고 일반화 가능한 RL 에이전트

특정 위협 모델을 달성하기 위해 공격자가 연쇄적으로 이용할 수 있는 취약점 시퀀스인 네트워크 내 중요한 공격 경로를 식별하는 것은 방어 조치를 집중해야 할 취약 영역을 정확히 짚는 데 필수적입니다. 최근 강화 학습(RL)이 이러한 중요한 경로를 식별하는 에이전트 훈련에 주목받고 있습니다. 그러나 현재의 솔루션은 고정된 네트워크 구조와 취약점 집합으로 정의된 특정 환경에 맞춰 RL 에이전트를 훈련하므로 둘 중 하나라도 변경될 경우 비용이 많이 드는 재훈련이 필요합니다. 이러한 한계는 네트워크 노드와 취약점을 원자적 이산 요소로 간주하여 이산 입력과 출력 공간 간 매핑을 최적화하기 때문입니다. 본 논문에서는 RL 에이전트를 위한 연속적이고 불변의 입력 및 출력 공간을 구성하는 방법을 제안하여, 다양한 네트워크 구성과 취약점 집합에 걸쳐 일반화 가능한 전이 가능한 정책을 학습할 수 있게 합니다. 또한 Microsoft CyberBattleSim의 향상된 버전인 Continuous CyberBattleSim(C-CyberBattleSim)을 공개하여 새로운 연속 공간과 함께 에이전트 훈련에 사용합니다. 이 도구는 실제 취약점 데이터를 통합하고 훈련 및 테스트 환경의 현실성을 높이기 위한 새로운 시나리오 생성 파이프라인으로 확장되었습니다. 연속 공간에서 훈련된 에이전트는 크기와 829개의 실제 취약점 할당이 다양한 800개의 시나리오에서 평가되었으며, 이산 공간에서 훈련된 에이전트 대비 평균 9.3배의 확장성 향상과 단순 시나리오에서 훈련 시 복잡한 시나리오에 대한 평균 89%의 일반화 점수를 보였습니다. 마지막 연구에서는 시뮬레이션에서 훈련된 연속 에이전트가 실제 및 에뮬레이션 스캔에 적응할 수 있는지를 평가했습니다. 평균적으로 에이전트는 스캔에서 직접 훈련했을 때 달성할 수 있는 점수의 75%를 기록하여 효과적인 지식 전이를 입증했습니다.