Generative AI for pentesting: the good, the bad, the ugly
생성형 인공지능(AI)과 대규모 언어 모델(LLM)이 사이버 보안 분야, 특히 취약점 점검(펜테스팅) 과정에 혁명적 변화를 가져올 잠재력을 보이고 있다. 최근 국제정보보안학회지에 게재된 연구에 따르면, 생성형 AI는 펜테스팅의 효율성과 창의성을 높이고 맞춤형 테스트 환경 구축, 지속적인 학습과 적응을 가능케 한다. 하지만 동시에 새로운 위험과 도전 과제도 제기되고 있어 기술의 책임 있는 활용이 중요한 화두로 떠오르고 있다.
챗GPT로 실제 환경처럼 구축하고 분석 시간 줄여
연구진은 오라클 VM 버추얼박스(Oracle VM VirtualBox)에 설치된 칼리 리눅스(Kali Linux) 가상머신을 이용해 실험 환경을 구축했다. 취약점이 있는 가상머신 ‘펌킨페스티벌(PumpkinFestival)’을 대상으로 OpenAI의 챗GPT(ChatGPT)를 활용해 펜테스팅을 진행했다. 이는 실제 해킹 대회나 보안 교육에서 사용되는 환경과 유사해 실험의 현실성을 높였다.
실험 과정에서 연구진은 챗GPT를 명령줄 인터페이스(CLI)와 통합해 사용했다. 이를 통해 챗GPT가 직접 스캔 결과를 해석하고 다음 단계에 대한 조언을 즉각적으로 제공할 수 있었다. 이는 수동으로 결과를 분석하는 시간을 크게 줄이고 펜테스팅 워크플로우를 간소화하는 효과를 가져왔다.
펜테스팅의 전 과정에서 빛을 발하다
실험 결과, 챗GPT는 정찰, 스캐닝, 취약점 평가, 침투 등 펜테스팅의 전 단계에서 유용한 도구임이 입증됐다.
정찰 단계에서 챗GPT는 공개적으로 이용 가능한 정보를 수집하고 분석하는 데 탁월한 능력을 보였다. 웹사이트 소스 코드를 분석해 사용자명을 추출하고, 숨겨진 URL을 발견하는 등 초보 해커도 쉽게 놓칠 수 있는 정보를 빠르게 찾아냈다.
스캐닝 단계에서는 Nmap이나 WPScan 같은 도구를 이용한 스캔 명령어를 자동으로 생성했다. 더 나아가 스캔 결과를 즉각적으로 해석해 다음 단계로 나아갈 수 있는 실행 가능한 정보를 제공했다.
취약점 평가 단계에서 챗GPT는 발견된 취약점의 심각도를 평가하고 우선순위를 매기는 데 도움을 주었다. 이는 보안 전문가가 한정된 시간과 자원을 효율적으로 활용할 수 있게 해준다.
하지만 챗GPT가 가장 빛을 발한 것은 침투 단계였다. 연구진은 “챗GPT가 수초 만에 간단하면서도 효과적인 공격 도구를 만들어냈다”고 평가했다. 예를 들어, Base62로 인코딩된 문자열을 해독하는 파이썬 스크립트를 순식간에 작성해냈고, 이를 통해 시스템의 비밀번호를 알아내는 데 성공했다.
보고서 작성도 척척, 개인정보 무단 활용은 조심해야
펜테스팅의 마지막 단계인 보고서 작성에서도 챗GPT는 그 유용성을 입증했다. 실험 과정에서 수집된 모든 프롬프트와 응답을 바탕으로 상세한 보고서를 자동으로 생성했다. 이 보고서는 테스트 방법론, 상세 발견 사항, 권장 사항 등을 포함하고 있었으며, 그 정확성과 완성도가 높다고 평가됐다.
연구를 주도한 에릭 힐라리오(Eric Hilario) 박사는 “챗GPT가 생성한 보고서는 인간 전문가가 작성한 것과 비교해도 손색이 없었다”며 “이는 펜테스터들이 보고서 작성에 들이는 시간을 크게 줄일 수 있음을 의미한다”고 설명했다.
하지만 연구진은 생성형 AI의 활용이 양날의 검이 될 수 있다고 경고했다. AI에 대한 과도한 의존, 윤리적·법적 문제, 모델의 편향성 등이 새로운 도전 과제로 떠오를 수 있다는 것이다.
특히 악의적 행위자들이 이 기술을 악용해 더 정교한 사이버 공격을 감행할 가능성이 제기됐다. 예를 들어, 다형성 멀웨어(polymorphic malware) 제작에 생성형 AI가 활용될 수 있다는 우려가 나오고 있다. 다형성 멀웨어는 지속적으로 그 형태를 바꾸어 탐지를 어렵게 만드는 악성 프로그램이다.
또한 AI 모델이 훈련 데이터에 포함된 개인정보를 무단으로 활용할 수 있다는 프라이버시 문제도 제기됐다. 실제로 일부 기업들은 이러한 우려로 인해 직원들의 챗GPT 사용을 금지하고 있다.
AI 사용에 있어 균형 잡힌 접근법 취해야
이에 연구진은 책임 있는 AI 활용, 데이터 보안 및 개인정보 보호 강화, 조직 간 협력과 정보 공유 활성화 등을 해결책으로 제시했다.
먼저, AI 모델의 결과를 맹목적으로 신뢰하지 않고 항상 인간 전문가의 검증을 거치도록 해야 한다. 이는 AI의 ‘환각’ 현상, 즉 그럴듯하지만 사실이 아닌 정보를 생성하는 문제를 방지하는 데 도움이 된다. 데이터 보안과 개인정보 보호를 위해서는 기업 내부용 AI 모델을 개발하거나, AI와의 상호작용 과정에서 민감한 정보가 노출되지 않도록 주의해야 한다. 마이크로소프트가 개발 중인 ‘프라이버시 중심’ 챗GPT 버전은 이러한 노력의 한 예다.
아울러 정부와 기업이 생성형 AI의 부정적 활용을 제한하되 잠재력 발현을 저해하지 않는 균형 잡힌 접근법을 취해야 한다고 조언했다. 이를 위해 국제적인 규제 프레임워크 구축과 모범 사례 공유가 필요하다는 의견이다.
연구진은 후속 연구로 완전 자율 AI 도구인 Auto-GPT를 활용한 펜테스팅 자동화와, 개인정보 보호에 초점을 맞춘 privateGPT와의 통합 등을 제안했다. Auto-GPT는 사용자가 설정한 목표를 달성하기 위해 GPT-4의 하위 프로세스를 자동으로 실행하는 도구다. 이론적으로는 “대상 기계를 펜테스트하라”는 단일 프롬프트만으로도 전체 펜테스팅 과정을 자동화할 수 있을 것으로 기대된다.
privateGPT는 개인 문서와의 상호 작용을 위한 사적인 GPT 도구다. 이를 펜테스팅 과정에 통합하면 민감한 정보를 외부 서버로 전송하지 않고도 AI의 이점을 활용할 수 있을 것으로 보인다.
힐라리오 박사는 “생성형 AI는 펜테스팅의 효과를 크게 높일 수 있지만, 잠재적 위험과 의도치 않은 결과에 대한 신중한 고려가 필요하다”고 강조했다. 그는 “책임 있는 활용 방안을 채택함으로써 기술의 이점을 극대화하고 단점은 최소화할 수 있을 것”이라고 덧붙였다.
금융기관들은 이러한 리스크와 규제 동향을 주시하며 AI 기술을 안전하고 효과적으로 도입하기 위한 노력을 기울이고 있다. 앞으로 AI 기술이 은행 업무의 효율성과 고객 서비스 품질을 크게 향상시킬 것으로 기대되는 가운데, 기술 도입에 따른 부작용을 최소화하는 것이 과제로 남아있다.
기사에 설명된 논문의 전문은 링크에서 확인할 수 있다.
본 기사는 클로드 3.5 Sonnet과 챗GPT-4o를 활용해 작성되었습니다.
관련 콘텐츠 더보기
