생성형 AI를 통한 생산성 향상 경쟁에 몰두한 대부분 기업이 그 과정에서 보안에 미치는 영향을 간과하고 있다. 이들은 견고한 보안 프랙티스보다는 업계를 뒤흔들 혁신에 대한 기대를 우선시하는 경향을 보이고 있다.

세계경제포럼(World Economic Forum, WEF)이 액센추어와 공동으로 진행한 최근 연구에 따르면, 조사 대상 기업의 63%가 AI 도구를 도입하기 전에 보안 평가를 실시하지 않는 것으로 나타났다. 이런 접근은 기업 내부에 다양한 형태의 보안 위험을 초래할 수 있다.

보안 검토 미흡은 상용 AI 솔루션 아니라 내부 소프트웨어 개발팀과 협업해 구축한 자체 AI 구현 사례에서도 공통적으로 나타난다. 트리센티스(Tricentis)의 2025 퀄리티 트랜스포메이션 보고서(2025 Quality Transformation Report)에 따르면, 소프트웨어 개발팀의 45%가 ‘전달 속도 향상’에 초점을 맞추는 반면, ‘소프트웨어 품질 향상’을 우선시하는 비율은 13%에 불과했다. 하지만 응답자 32%는 소프트웨어 품질 저하가 보안 침해나 컴플라이언스 실패로 이어질 가능성이 높다는 것을 인정한다고 답했다.

AI 도입과 관련한 보안 사고와 컴플라이언스 실패는 점점 더 자주 발생하고 있다. 최근 공개된 시스코의 최신 사이버보안 준비 지수(Cybersecurity Readiness Index)에 따르면, 지난 1년간 86%의 기업이 AI 관련 보안 사고를 경험한 것으로 나타났다. 그러나 AI 보안 평가를 종합적으로 수행할 수 있는 내부 자원과 전문성을 갖췄다고 응답한 곳은 45%에 그쳤다.

AI 도입 시 간과되는 주요 AI 보안 위험

여러 전문가에 따르면, AI 시스템을 도입 전에 충분히 테스트하지 않으면 기존 소프트웨어와는 다른 유형의 취약점에 노출될 수 있다. 대표적인 위험은 다음과 같다.

데이터 노출

AI 시스템은 대량의 민감한 정보를 처리한다. 충분한 테스트 없이 도입할 경우 보안이 미흡한 저장소, 과도하게 상세한 API 응답, 허술한 접근 제어 설정 등을 통해 데이터가 외부로 유출될 가능성을 인지하지 못할 수 있다.

AI 보안 테스트 솔루션 업체 마인드가드(Mindgard) CEO 피터 개러건은 “많은 AI 시스템이 추론 과정에서 사용자 데이터를 수집하거나, 세션 지속성을 위해 맥락 정보를 저장한다. 이때 데이터 처리 절차에 대한 감사가 이뤄지지 않으면, 모델 출력, 로그 노출, 파인튜닝된 데이터셋의 오남용 등을 통해 데이터 유출 위험이 매우 커질 수 있다. 이런 위험은 특히 LLM의 메모리 기능이나 스트리밍 출력 모드로 인해 더욱 심화된다”라고 지적했다.

모델 수준의 취약점 노출

AI 모델 자체에는 프롬프트 인젝션(prompt injection), 탈옥(jailbreak), 적대적 프롬프트(adversarial prompt)와 같은 다양한 취약점이 존재한다. 이런 공격은 모델에 설정된 출력 제한을 우회하거나, 민감한 정보를 유출시키거나, 의도하지 않은 작업을 수행하도록 유도한다.

이에 대해 마인드가드의 개러건은 “이런 공격은 모델의 정렬 메커니즘에 존재하는 결함이나 토큰 단위 추론 방식에 대한 의존성을 악용하는 경우가 많다”라고 설명했다.

모델 무결성과 적대적 공격

적대적 조작이나 오염된 학습 데이터에 대한 테스트가 이뤄지지 않으면, AI 모델의 행동을 외부 공격자가 손쉽게 왜곡할 수 있는 환경이 만들어진다. 비즈니스 의사결정을 지원하거나 민감한 작업을 자동화하는 AI 시스템일수록 심각한 보안 위협으로 이어질 수 있다.

글로벌 사이버 컨설팅 기업 사이엑셀(CyXcel) COO 자노 버뮤데스는 “공격자는 입력 데이터를 조작해 AI 모델을 속이고 잘못된 결정을 내리도록 유도할 수 있다. 여기에는 회피 공격과 데이터 중독 등이 포함된다”라고 말했다.

시스템 통합 단계에서의 위험

AI 모델은 일반적으로 API, 플러그인, 검색 증강 생성(Retrieval-Augmented Generation, RAG) 아키텍처 등과 함께 더 큰 애플리케이션 파이프라인의 일부로 통합되어 배포된다.

마인드가드의 개러건은 이에 대해 “통합 단계에서 테스트가 충분히 이뤄지지 않으면, 모델 입력과 출력의 처리 방식에 보안 취약점이 생기거나 직렬화된 데이터 포맷을 통한 인젝션 경로가 노출될 수 있다. 호스팅 환경에서 권한 상승이 발생할 가능성도 있다. 일반적인 애플리케이션 보안 워크플로우에서 이런 통합 지점이 자주 간과된다”라고 강조했다.

접근 제어 실패

AI 도구는 다양한 외부 시스템과 연결되어 작동한다. 이 과정에서 설정이 잘못될 경우 사용자나 공격자에게 의도보다 더 많은 권한을 허용할 수 있다. 접근 제어 문제는 노출된 API 키, 허술한 인증 절차, 악용을 추적하기 어려운 미비한 로그 기록 체계 등에서 발생할 수 있다.

런타임 보안 실패

AI 시스템은 동적인 입력 조건에서 작동하거나 다른 서비스와 상호작용하는 상황에서, 배포 이후에야 비로소 예기치 않은 행동을 보이는 경우가 많다. 개러건은 “로직 손상, 컨텍스트 오버플로우(context overflow), 출력 반사(output reflection)와 같은 취약점은 주로 런타임 환경에서 발생하며, 이를 탐지하려면 운영 기반 레드팀 점검이나 실시간 트래픽 시뮬레이션이 필요하다”라고 설명했다.

컴플라이언스 위반

AI 도구가 관련 규제 기준을 충족하지 못할 경우, 법적 제재나 책임으로 이어질 수 있다. 예를 들어 AI 도구가 사용자 동의 없이 데이터를 처리하거나, 충분히 검증되지 않은 모델이 대규모 환경에서 예상치 못한 방식으로 작동해 장애를 일으킬 경우 규제 위반 문제가 발생할 수 있다.

운영 위험 확산

마인드가드의 개러건은 “테스트 없이 방치될 기술적 취약점은 단순한 기술적 문제에 그치지 않는다. 엔지니어링 범위를 넘어서는 기업 전반의 위험으로 이어진다. 운영 관점에서 보면 AI 보안 테스트 부족은 안전, 보안, 비즈니스 신뢰 확보 실패로 직결되는 결과를 초래한다”라고 분석했다.

보안 업체 ISMS닷온라인(ISMS.online)의 CPO 샘 피터스는 AI 보안 검증을 소홀히 하는 문제가 광범위한 운영 위험으로 이어진다며 “AI 시스템이 서둘러 프로덕션 환경에 투입될 경우, 3가지 핵심 영역에서 반복적으로 취약점이 발생하는 경향이 있다”라고 설명했다. 데이터 중독이나 회피 공격 등과 관련된 모델 무결성, 학습 데이터 유출이나 민감 정보의 부적절한 처리를 포함하는 데이터 프라이버시 문제, 투명성 부족이나 허술한 접근 제어 체계를 의미하는 거버넌스 공백이다.

이어 피터스는 “이런 문제는 단순한 가정이 아니라, 이미 실제 환경에서 악용되고 있는 현실”이라고 강조했다.

속도전에 휩쓸리지 말 것

AI 도입을 서두르는 분위기 속에서 CISO는 보안보다 빠른 배포를 우선시하라는 압력에 직면하고 있다. 이에 대해 애플리케이션 보안 테스트 업체 스패로우(Sparrow)의 COO 제임스 레이는 “무분별한 도입 열기에 휩쓸리지 말고 보안의 기본 원칙을 배포 과정에 반드시 포함시켜야 한다”라고 조언했다.

레이는 “위험 줄이기 위해서는 AI 도구도 고위험 소프트웨어처럼 철저히 테스트해야 한다. 모의 공격을 수행하고 오남용 시나리오를 점검하며, 입력과 출력 흐름을 검증하고 처리되는 데이터가 적절히 보호되고 있는지 반드시 확인해야 한다”라고 강조했다.

AI 도입으로 인한 보안 공백을 줄이기 위해서는 조직 차원의 종합적인 테스트 전략을 수립해야 한다. 다음과 같은 접근 방식이 대표적이다.

• 침투 테스트 : 공격 시뮬레이션을 통해 보안 취약점을 사전에 식별
• 편향 및 공정성 감사 : AI 의사결정의 공정성과 비차별성 확보
• 컴플라이언스 점검 : 관련 법규와 기준 준수 여부 확인

AI 개발 생애주기 전반에 보안 테스트를 통합하면 기업은 AI의 이점을 극대화하면서 잠재적 위협에 대한 방어 체계를 갖출 수 있다.

피터스는 “AI 도구를 배포하기 전에 AI 시스템에 특화된 위협 모델링을 수행하고 적대적 입력에 대비한 레드팀 점검, 모델 드리프트와 데이터 유출에 대한 철저한 테스트를 진행해야 한다. 동시에 AI에 특화된 제어 및 통제 정책을 위험 관리 및 컴플라이언스 프로그램 전반에 통합할 필요가 있다”라고 설명했다.

이어 “이러한 영역에서 새롭게 제정된 ISO/IEC 42001 표준이 특히 유용하게 작용할 수 있다. 이 표준은 AI를 책임 있게 운영·관리하기 위한 체계적인 프레임워크를 제공하며, 위험 평가, 데이터 처리, 보안 제어 정책, 지속적 모니터링 등에 대한 구체적인 가이드라인이 포함된다”라고 덧붙였다.

다른 전문가들 역시 AI 시스템에 대한 보안 테스트의 필요성에는 동의하면서도, 기존 소프트웨어 테스트와는 다른 접근이 필요하다는 점을 강조했다.

크라우드소싱 기반 보안 업체 인티그리티(Intigriti)의 CHO(Chief Hacker Officer) 인티 드 쾨켈레어는 “기존 소프트웨어처럼 단순히 코드만 들여다본다고 해서 신경망의 보안성을 판단할 수는 없다. 고품질의 깨끗한 데이터로 학습했더라도, AI 모델은 여전히 이상한 방식으로 작동할 수 있다. 때문에 테스트가 충분히 이뤄졌는지를 판단하는 것 자체가 매우 어렵다”라고 지적했다.

AI 도구는 단순한 문제에 지나치게 복잡한 방식으로 접근하기도 한다. 따라서 테스트 담당자가 도구의 ‘원래 목적’에만 집중하고 도구가 수행할 수 있는 의외의 행위를 간과하면 사각지대가 발생할 수 있다. 예를 들어 쾨켈레어는 “번역 도구가 악성 코드를 담은 PDF 파일을 열도록 속이거나, 내부 파일에 접근해 외부인에게 번역된 내용을 제공하도록 조작할 수 있다”라고 말했다.

이런 위험을 방지하기 위해서는 AI에 특화된 적대적 테스트 프레임워크 도입도 고려해야 한다.

마인드가드의 개러건은 “여기에는 정적 모델 분석(static model analysis), 동적 프롬프트 퍼징(dynamic prompt fuzzing), 통합 계층 공격 시뮬레이션(integration-layer attack simulation), 런타임 행동 모니터링(runtime behavioural monitoring) 등이 포함된다. 이런 보안 테스트 절차는 소프트웨어 CI/CD 파이프라인에 데브섹옵스(DevSecOps)가 통합되는 것처럼, AI 배포 생애주기 전반에 기본적으로 내장돼야 한다”라고 설명했다.
dl-itworldkorea@foundryco.com