생성형 AI의 가능성에 대한 고위 경영진의 인식이 CISO에게 경고음처럼 들리고 있다.

NTT 데이터(NTT Data)의 최근 설문조사에 따르면, 최고 경영진의 89%가 “차세대 AI 배포와 관련된 잠재적 보안 위험을 매우 우려하고 있다”라고 답했다. 그러나 보고서는 같은 고위 임원들이 “차세대 AI의 잠재력과 ROI가 위험을 상쇄할 만큼 크다”라고 평가하고 있어, CISO가 위험 관리의 필요성을 간과할 가능성이 있음을 지적했다.

설문조사에 따르면, 기업 CISO의 거의 절반이 생성형 AI에 대해 “압박감, 위협, 압도감”을 느끼며 “부정적인 감정을 갖고 있다”라고 응답한 만큼, 그 피해는 상당할 것으로 보인다.

이런 갈등 구조는 매우 익숙하다. 고위 경영진은 현업 부서장에게 효율성을 높이고 수익을 높이기 위해 새로운 기술을 도입하라고 압력을 가한다. 그러나 생성형 AI는 기존의 어떤 기술보다도 위험한 요소를 내포하고 있다. 환각을 유발하고 보안 조치를 우회하며, 규정 준수를 위태롭게 하고 민감한 기업 데이터를 유출할 수 있다. 이런 상황에서도 기업은 보안보다 기능을 강조하는 솔루션 업체의 영향 아래 빠르게 도입을 추진하고 있다.

무어 인사이트 앤 스트레티지(Moor Insights & Strategy)의 부사장 겸 수석 애널리스트인 윌 타운센드는 “AI 애플리케이션과 LLM이 너무 많아 무엇이 안전한지 검증하기 어려운 상황이다. 데이터 유출이나 랜섬웨어 공격을 위해 합법적으로 보이도록 마스킹된 애플리케이션도 있다. 데이터 유출 우려는 현실이며, 악성 코드를 도입하는 프롬프트 인젝션 공격도 이미 관찰되고 있다”라고 지적했다.

CISO가 직면한 주요 문제 중 하나로 타운센드는 많은 생성형 AI 업체가 모델 학습에 사용하는 데이터를 선택할 때 안일하게 대처하고 있다는 점을 꼽았다. 이는 기업에 심각한 보안 위험을 초래한다는 지적이다.

매스 뮤추얼, CVS, 애트나, KPMG, 아메리칸 익스프레스, JP 모건 체이스에서 CISO급 직책을 맡았던 베테랑 보안 전문가 짐 루스는 생성형 AI가 SaaS 솔루션에 침투하면서 이 문제가 더욱 심각해지고 있다고 말했다.

현재 보안 업체 사이안트(Saviynt)에서 최고 신뢰 책임자로 일하고 있는 루스는 “예전에는 대기업이 제공하는 파운데이션 모델을 사용하는 기업 사용자가 공격 대상이었으나 이제는 공격 표면이 바뀌었다. 오늘날 기업 전반에서 사용하는 수백 개의 SaaS 애플리케이션에 LLM이 내장돼 있다. 소프트웨어 엔지니어는 허깅페이스에서 100만 개가 넘는 오픈소스 LLM을 자유롭게 사용할 수 있다”라고 덧붙였다.

미국 댈러스에 본사를 둔 지적 재산권 로펌인 카스텐스, 앨런 앤 굴리(Carstens, Allen & Gourley)의 고문 변호사이자 AI 및 사이버보안 법률 전략을 전문으로 하는 로버트 테일러는 “규모와 관계없이 모든 기업은 자신이 무엇을 모르는지 모른다”라고 말했다.

이어 “적어도 CISO는 이미 AI로 인한 보안 위험을 알고 있지만, AI는 새로운 보안 문제를 동반하기 때문에 이에 대한 대비가 필요하다. 차세대 AI에서 발생하는 다양한 유형의 보안 위험을 평가하는 프로젝트가 이미 진행 중이다. 보한 위험의 종류는 수백에서 수천 가지가 넘는다”라고 강조했다.

타운센드는 이런 상황이 CISO에게 심리적으로 큰 부담을 준다고 지적했다. “CISO가 압도감을 느끼면 일을 멈추게 된다. 자신이 할 수 있다고 생각하는 일만 하고, 통제할 수 없다고 느끼는 일은 무시한다”라고 언급했다.

변화무쌍한 생성형 AI의 위험

고위 경영진이 위험 관리에서 CISO를 내버려두는 동안 공격자는 빠르게 움직이고 있다.

테일러는 “악의적인 공격자가 신기술을 악용하기 위해 노력하고 있으므로 CISO는 새로운 생성형 AI 솔루션과 시스템이 어떻게 악용될 수 있는지 우려하는 것이 바람직하다. 차세대 AI 솔루션은 기존의 소프트웨어와 서비스와 다르며, 다른 기술에서는 다루지 않아도 되는 취약점을 가지고 있다”라고 말했다.

테일러는 더 큰 문제가 생성형 AI의 위험이 기존의 기술 위험보다 더 무정형적이고 변화무쌍하다는 점이라고 주장했다. “생성형 AI는 배포 후에도 계속 변화한다. 이로 인해 프롬프트 인젝션, 데이터 포이즈닝, 기밀 정보 또는 PII 추출과 같은 보안 위험이 더 많이 발생할 수 있다”라고 설명했다.

포레스터의 부사장 겸 수석 애널리스트인 제프 폴라드는 특히 “고객 대면 또는 직원 대면 프롬프트가 데이터 무단 접근·공개로 이어질 수 있는 상황에서는 즉각적인 보안이 필요하다”라고 강조했다.

앞으로 이 문제는 훨씬 더 악화할 것으로 보인다. 폴라드는 “기업에서 광범위하게 배포될 수 있는 생성형 AI의 첫 번째 버전이기 때문에 올바른 보안을 지금 생각하는 것이 중요하다. 에이전틱 AI가 곧 출시되면 보안 문제는 더욱 심화할 것”이라고 경고했다.
dl-itworldkorea@foundryco.com