AI가 기술 산업을 혁신하는 것처럼 사이버 범죄 생태계에서도 같은 변화가 일어나고 있다. 사이버 범죄자는 생성형 AI를 활용해 TTP(tactics, techniques, procedures)를 정교화하며, 더 빠르고 강력하고 은밀한 공격을 감행하고 있다.

그러나 새로운 AI 도구의 합법적 활용례와 마찬가지로 생성형 AI 악용도 새롭고 보이지 않는 공격 방식을 위해서라기보다는 생산성과 효율성을 높이는 데 초짐이 맞춰져 있다. 즉, 진입 장벽을 낮추고 자동화할 수 있는 작업을 AI에 맡겨 인간은 보다 고차원적인 전략을 구상하는 데 집중하도록 돕는 것이 핵심이다.

AI 보안 테스트 업체 마인드가드(Mindgard) CEO 겸 CTO이자 영국 랭커스터 대학교 교수 피터 개러건은 인터뷰에서 “AI가 반드시 새로운 유형의 사이버 범죄를 만들어내는 것은 아니다. 대신 기존에 우리가 알고 있는 범죄를 더욱 빠르게 확산시키거나 규모를 확대하는 수단이 되며, 새로운 공격 벡터를 추가할 수 있다”라고 말했다.

이어 “합법적인 사용자가 AI를 활용해 작업을 자동화하고, 복잡한 패턴을 포착하고, 기술 진입 장벽을 낮추고, 비용을 절감하고, 새로운 콘텐츠를 생성할 수 있다면, 범죄자들도 똑같이 하지 않을 이유가 없다”라고 덧붙였다.

여기서는 사이버 범죄자가 생성형 AI를 악용해 기업 시스템을 공격하는 5가지 방식을 알아본다.

더 정교한 피싱 공격

생성형 AI를 활용하면 매우 정교한 피싱 이메일을 만들어낼 수 있다. 사용자가 사기 사이트에 민감한 정보를 입력하거나 악성코들르 다운로드할 가능성이 높아진다.

과거의 피싱 이메일은 문법 오류나 형식이 어색한 경우가 많았지만, AI를 활용하면 더 정교하고 신뢰할 만한 이메일을 빠르게 작성할 수 있다. 또한 수신자 맞춤형 내용까지 포함할 수 있어 공격 성공 가능성을 더욱 높일 수 있다.

생성형 AI 도구는 범죄자가 여러 출처의 데이터를 결합해 더욱 정교한 공격을 수행하는 데 도움이 된다. 그룹 소셜 프로파일링부터 소셜 미디어에서 수집한 특정 대상의 정보 활용까지 포함한다.

개러건은 “AI는 어떤 유형의 이메일이 차단되거나 열리는지를 빠르게 학습하고, 이를 바탕으로 접근 방식을 조정해 피싱 성공률을 높일 수 있다”라고 설명했다.

피싱 공격이 더욱 다양해지는 가운데, AI로 생성된 음성 및 영상 딥페이크가 더욱 정교한 소셜 엔지니어링 공격에 활용될 수 있다. 지금까지 가장 잘 알려진 사례는 디자인 및 엔지니어링 기업 아럽(Arup)의 한 금융 담당자가 참석한 화상 회의에서 사기범들이 딥페이크 기술로 영국 본사 CFO를 사칭해 2억 홍콩달러(약 2,560만 달러) 규모의 부정 거래를 승인하도록 속인 것이다.

멀웨어 개발 촉진

AI는 더욱 정교한 멀웨어를 생성하거나, 최소한 개발 과정에서의 수고를 줄이는 데 활용될 수도 있다.

예를 들면 생성형 AI를 악성 HTML 문서 제작에 악용하는 것이다. 대표적으로 X웜(XWorm) 공격이 있다. HTML 스머글링(HTML Smuggling) 기법을 활용해 악성 코드를 포함한 문서를 배포하고 해당 코드가 실행되면서 멀웨어를 다운로드하고 실행하는 방식이다. 이 공격은 AI를 활용해 개발된 흔적이 뚜렷하게 나타난다.

HP 울프 시큐리티(HP Wolf Security)는 최신 ‘위협 인사이트 보고서(Threat Insights Report)’에서 “로더(Loader)의 세밀한 줄 단위 설명을 보면, 생성형 AI를 활용해 제작된 것으로 보인다”라고 분석했다. 또한 “X웜을 배포하는 HTML 페이지의 디자인이, LLM(GPT-4o)에 파일 다운로드 기능이 포함된 HTML 페이지 생성을 요청했을 때의 출력물과 거의 동일하다”라고 지적했다. HP에 따르면, 이전 에이싱크RAT(AsyncRAT) 캠페인에서도 유사한 기법이 사용됐다.

한편, 체크포인트 리서치(Check Point Research)에 따르면, 이중 갈취(double extortion) 전략을 사용하는 알제리 연계 RaaS 운영 그룹 펑크섹(FunkSec)도 AI 기술을 활용하기 시작했다. 연구팀은 블로그 게시글에서 “펑크섹 운영자들이 AI를 활용한 멀웨어 개발을 시도하는 것으로 보인다. 이를 통해 경험이 부족한 공격자들도 신속하게 고급 도구를 제작하고 개선할 수 있다”라고 썼다.

취약점 탐색 및 익스플로잇 가속화

전통적으로 시스템 취약점 분석 및 익스플로잇 개발 작업은 복잡하고 어려운 일이었지만 생성형 AI 기술을 활용하면 작업을 훨씬 더 단순화할 수 있다. 개러건은 “해커가 직접 시간을 들여 시스템 경계를 탐색하고 정찰하는 대신, AI 에이전트가 이를 자동으로 수행할 수 있다”라고 설명했다.

위협 인텔리전스 업체 릴리아퀘스트(ReliaQuest)의 최신 연구에 따르면, 생성형 AI는 취약점 발견부터 공격자가 이를 악용하는 데 걸리는 시간을 평균 47일에서 18일로 62% 단축할 수 있다.

릴리아퀘스트는 보고서에서 “이처럼 급격한 감소는 주요 기술적 발전, 특히 생성형 AI가 위협 행위자들이 이전에 없던 속도로 취약점을 악용할 수 있도록 돕고 있음을 강하게 시사한다”라고 경고했다.

공격자는 네트워크 스캔, 권한 상승, 페이로드 맞춤화와 같은 작업을 자동화하기 위해 생성형 AI와 침투 테스트(Pen-testing) 도구를 함께 활용하고 있다. 또한 스캔 결과를 분석하고 최적의 익스플로잇을 제안하는 데 AI를 사용함으로써 피해 시스템의 취약점을 훨씬 빠르게 식별할 수 있다.

릴리아퀘스트는 “이런 기술 발전은 킬 체인의 여러 단계를 가속화한다. 특히 초기 접근 단게에서 그 효과가 두드러진다”라고 결론지었다.

대체 플랫폼을 통한 위협 고도화

사이버 범죄자는 악성 콘텐츠 생성을 위해 챗GPT에서 중국의 새로운 AI 모델인 딥시크(DeepSeek)와 큐웬(Qwen)으로 빠르게 이동하고 있다.

체크포인트 리서치에 따르면, 위협 행위자들은 AI 모델 탈옥 방법을 공유하며 보안 통제를 우회해 최소한의 제한으로 멀웨어, 정보 탈취 도구, 스팸 캠페인을 생성하는 기술을 논의하고 있다. 일부는 AI 툴을 활용해 은행의 사기 방지 시스템을 회피하는 방법까지 연구하고 있어, 사이버 위협이 한층 더 심각해진 상황이다.

체크포인트는 기술 블로그에서 “딥시크를 이용해 은행 시스템의 사기 방지 기능을 우회하는 방법에 대한 여러 논의와 기술 공유가 발견됐으며, 이는 대규모 금융 범죄로 이어질 가능성을 시사한다”라고 경고했다.

최근 AI 시장에 등장하며 업계에 큰 충격을 준 중국 기반 AI 기업 딥시크는 서구권의 AI 모델보다 악용 방지 보호 장치가 상대적으로 취약하다. 체크포인트 리서치는 다음과 같이 설명했다.

챗GPT는 지난 2년 동안 악용 방지 기능에 상당한 투자를 해왔지만, 최신 AI 모델들은 이에 대한 방어력이 거의 없는 것으로 보인다. 이로 인해 다양한 수준의 공격자들, 특히 기술적 이해 없이 기존 스크립트나 도구를 활용하는 숙련되지 않은 공격자들의 관심이 급격히 증가하고 있다.

사이버 범죄자들은 웜GPT(WormGPT), 프로드GPT(FraudGPT), 다크버트(DarkBERT) 등 자체적인 LLM을 개발하기 시작했다. 이들 모델은 주류 생성형 AI 플랫폼에서 범죄 악용을 제한하는 보호 장치 없이 제작됐다. 주로 피싱 공격과 악성코드 생성과 같은 목적에 활용된다.

심지어 주류 LLM도 특정 목적에 맞게 맞춤형으로 활용될 수 있다. 보안 연구원 크리스 쿠벡카는 최근 인터뷰에서, 자신이 개발한 맞춤형 챗GPT 모델 ‘제로데이 GPT(Zero Day GPT)’를 이용해 불과 몇 달 만에 20개 이상의 제로데이 취약점을 발견할 수 있었다고 밝혔다.

인증을 우회한 침입

생성형 AI 툴은 캡차(CAPTCHA)나 생체 인증과 같은 보안 방어 체계를 우회하는 데도 악용될 수 있다.

사이버보안 업체 디스퍼시브(Dispersive)는 “AI는 캡차 시스템을 무력화하고 음성 생체 인증을 분석해 인증 체계를 위협할 수 있다. 보다 정교한 계층형 보안 조치를 도입해야 할 필요성을 강조한다”라고 지적했다.

선제적 대응이 필요한 때

생성형 AI 도구의 악용이 확산되면서 기술이 부족한 사이버 범죄자들도 손쉽게 범죄를 저지를 수 있는 환경이 조성되고 있다. 이런 공격 벡터에 방어하려면 공격자보다 더욱 효과적으로 AI 기술을 활용해야 할 것이다.

개러건은 “AI 기술의 범죄적 악용이 증가하면서, 이런 위협을 테스트하고 탐지하고 대응해야 할 필요성이 커지고 있다. 동시에 사이버 범죄 활동을 방어하는 데도 AI가 활용되고 있다”라고 말했다.

디스퍼시브 기술 마케팅 담당 부사장 로렌스 핑그리는 블로그 게시글에서 공격자와 방어자 간의 ‘AI 무기 경쟁(AI ARMS: Automation, Reconnaissance, and Misinformation)’에서 우위를 점하기 위해 보안 전문가들이 취할 수 있는 선제적 사이버 방어 전략을 설명하며 “전통적인 탐지 및 대응 메커니즘만으로는 더 이상 충분하지 않다”라고 경고했다.

직원 교육 및 인식 제고 프로그램과 함께, 기업은 AI를 활용해 생성형 AI 기반 위협을 실시간으로 탐지하고 무력화해야 한다. IP 주소, 시스템 구성 등을 무작위로 변경하거나 선제적으로 조정하는 방식이 공격을 방해하는 효과적인 전략이 될 수 있다.

또한 AI를 활용해 위협 시뮬레이션과 예측 분석을 통해 잠재적인 공격 시나리오를 모의 실험하고 공격자의 행동을 예측하는 것도 보안 대응력을 강화하는 효과적인 방법이다.
dl-itworldkorea@foundryco.com