레드팀 운영은 사이버보안 시스템을 테스트하고 강화하는 데 오래전부터 활용된 검증된 접근 방식이지만, 기술 발전에 따라 지속적으로 변화해야 했다. 최근 몇 년 동안 생성형 AI와 LLM이 급격히 확산하면서, 레드팀 역시 이에 맞춰 적응해야 하는 새로운 도전에 직면하고 있다.

이런 중요성은 AI 관련 레드팀 운영을 강조하는 각종 규제 및 정책에서도 확인할 수 있다. 대표적으로 EU의 AI법(Artificial Intelligence Act)과 미국 NIST(National Institute of Standards and Technology)의 AI 위험 관리 프레임워크(AI Risk Management Framework, AI RMF)가 이에 해당한다.

AI가 아직 초기 단계의 발전을 거듭하는 기술인 만큼, 많은 기업이 이제 막 생성형 AI에 대한 레드팀 운영 방안을 마련하기 시작했다. 이런 상황에서 OWASP가 최근 발표한 “생성형 AI 레드팀 운영 가이드: AI 취약점 평가를 위한 실용적 접근법(Generative AI Red Teaming Guide: A Practical Approach to Evaluating AI Vulnerabilities)”는 시의적절한 참고자료가 될 수 있다.

생성형 AI 레드팀이란 무엇인가?

OWASP는 생성형 AI 맥락에서 레드팀을 “AI 시스템 전반의 취약점을 식별하고 위험을 완화하기 위한 구조화된 접근법”으로 정의하며, 기존의 적대적 테스트에 AI 고유의 방법론과 위험 요소를 결합한 형태로 설명한다. 이는 생성형 AI 시스템의 모델, 배포 파이프라인, 그리고 더 넓은 시스템 환경 내 다양한 상호작용을 포함한다.

OWASP는 레드팀 운영에서 도구, 기술적 방법론, 그리고 위협 모델링, 시나리오 설계, 자동화를 포함한 다기능 협업의 중요성을 강조하며 이 모든 과정이 인간의 전문성을 바탕으로 이루어진다고 설명한다. 주요 위험 요소로는 프롬프트 인젝션, 편향성과 유해성, 데이터 유출, 데이터 오염, 공급망 위험 등이 있다. 이들 중 상당수는 OWASP가 꼽은 LLM 취약점 상위 10가지 목록에서도 다뤄진 바 있다.

효과적인 레드팀 운영을 위해서는 다음과 같은 핵심 단계가 필요하다.

• 목표와 범위 정의
• 팀 구성
• 위협 모델링
• 전체 애플리케이션 스택 대응
• 브리핑, 사후 분석 및 지속적인 개선

생성형 AI 레드팀 운영은 기존 레드팀 운영을 보완하며, AI 기반 시스템의 복잡하고 미묘한 측면을 중점적으로 다룬다. 이를 위해 AI 특화 위협 모델링, 모델 정찰, 프롬프트 인젝션, 가드레일 우회 등 새로운 테스트를 고려해야 한다.

AI 레드팀의 운영 범위

생성형 AI 레드팀 운영은 기존 레드팀 운영을 기반으로 하면서도, 생성형 AI만의 고유한 요소를 다룬다. 여기에는 모델 자체, 모델이 생성하는 출력물, 그리고 모델의 응답이 포함된다. 생성형 AI 레드팀은 모델이 잘못된 정보나 허위 출력을 생성하도록 조작되거나, 의도하지 않은 방식으로 동작하도록 탈옥될 가능성을 분석해야 한다.

데이터 유출 가능성을 평가하는 것도 중요한 과제다. 이는 생성형 AI를 활용하는 사용자가 반드시 고려해야 할 핵심 위험 요소다. OWASP는 테스트 과정에서 적대적 공격자의 관점뿐만 아니라, 영향을 받는 사용자의 관점도 함께 고려할 것을 권장한다.

NIST의 AI RMF 생성형 AI 프로파일을 기반으로, OWASP 가이드는 AI 레드팀 운영을 보다 체계적으로 구성할 것을 권장했다. AI 라이프사이클의 각 단계(설계, 개발 등), 위험 범위(모델, 인프라, 생태계 등), 위험의 근원을 종합적으로 고려해야 한다.

생성형 AI 레드팀 운영이 다루는 위험 요소

앞서 논의한 바와 같이, 생성형 AI는 모델 조작 및 오염, 편향성, 환각 등 다양한 고유한 위험 요소를 포함한다. 이런 이유로 OWASP는 다음 4가지 핵심 요소를 포함한 포괄적인 접근 방식을 권장한다.

• 모델 평가
• 구현 테스트
• 시스템 평가
• 런타임 분석

이런 위험 요소는 3가지 관점에서 분석된다. 보안(운영자 관점), 안전(사용자 관점), 신뢰(사용자 관점) 3가지 관점에서도 살펴볼 수 있다. OWASP는 이런 위험 요소를 3가지 주요 영역으로 분류한다.

• 보안, 프라이버시, 강건성 위험
• 유해성, 위험한 콘텐츠, 상호작용 위험
• 편향성, 콘텐츠 무결성, 허위 정보 위험

특히 에이전틱 AI(Agentic AI)는 업계에서 큰 주목을 받고 있다. 세쿼이아(Sequoia) 같은 주요 투자 기업은 2025년을 “에이전틱 AI의 해”로 선언하기도 했다. OWASP는 다중 에이전트 환경에서는 다단계 공격 체인, 툴 통합 악용, 권한 우회 위험이 있다고 지적했다. 이에 대한 보다 구체적인 내용을 제공하기 위해 최근 OWASP는 다중 에이전트 시스템 위협 모델 개요가 포함된 “에이전틱 AI – 위협 및 완화(Agentic AI—Threats and Mitigations)” 보고서를 발표했다.

생성형 AI/LLM 시스템을 위한 위협 모델링

OWASP는 생성형 AI 레드팀 운영의 핵심 활동으로 위협 모델링을 권장하며, 이를 수행할 때 참고할 유용한 자료로 MITRE ATLAS를 언급했다. 위협 모델링은 시스템의 공격 표면을 체계적으로 분석하고 잠재적 위험 요소와 공격 벡터를 식별하는 과정이다.

위협 모델링에서는 모델의 아키텍처, 데이터 흐름, 시스템 상호작용, 사회기술적 요소와 상호작용 하는 방식을 고려해야 한다. 그러나 OWASP는 AI/ML 모델이 비결정론적이며 확률적 특성을 가지기 때문에 예측할 수 없는 방식으로 작동할 가능성이 높다는 점에서 특유의 복잡성과 변수를 반영한 보안 전략이 필요하다고 조언했다.

생성형 AI 레드팀 운영 전략

각 기업의 생성형 AI 레드팀 운영 전략은 조직의 특성과 목표에 따라 다를 수 있다. OWASP는 레드팀 운영 전략이 조직의 목표와 일치해야 하며, 여기에는 책임 있는 AI 구현과 관련된 목표나 기술적 고려 사항과 같은 고유한 요소가 포함될 수 있다고 설명했다.

OWASP

효과적인 전략을 위해서는 위험 기반 범위 설정을 통해 기업이 직면한 특정 위협을 명확히 하고, 다양한 기능을 가진 팀과 협업하며, 분명한 목표를 설정하는 것이 중요하다. 나아가 분석 결과가 단순한 평가에 그치지 않고 실제 보안 강화로 이어질 수 있도록 실행 가능한 보고서를 작성하는 것도 필요하다.

생성형 AI 레드팀 운영을 위한 청사진

전략이 수립된 후에는 생성형 AI 레드팀 운영을 수행하기 위한 청사진을 마련할 수 있다. 이 청사진은 체계적인 접근 방식과 수행해야 할 구체적인 단계, 기술, 목표를 명확히 정의한다.

OWASP는 다음과 같이 생성형 AI 시스템을 평가할 때 모델, 구현, 시스템, 런타임 등 여러 단계를 거쳐 진행할 것을 권장했다.

OWASP

각 단계에서는 모델의 출처와 데이터 파이프라인을 검토하고, 구현 단계에서 설정된 가드레일의 효과성을 테스트하며, 배포된 시스템 내에서 악용할 수 있는 요소가 있는지 조사해야 한다. 또한 런타임 환경에서는 프로덕션에서 여러 AI 구성 요소가 상호작용하는 과정에서 발생할 수 있는 잠재적 오류나 취약점을 분석하는 것이 중요하다.

이런 단계적 접근 방식은 효과적인으로 위험을 식별하고 다층적 방어 전략을 구현하고 자원을 최적화하며, 지속적인 개선을 추구할 수 있도록 돕는다. 또한 모델 평가에는 자동화 도구를 활용해 평가 속도를 높이고, 위험 탐지를 효율화하며, 일관성과 포괄적인 분석을 확보해야 한다. OWASP의 생성형 AI 레드팀 운영 가이드에서는 각 단계별 체크리스트를 상세히 제공한다.

핵심 기법

생성형 AI 레드팀 운영에는 다양한 기법이 활용될 수 있지만, 어디서부터 시작해야 할지 막막할 수 있다. 이를 위해 OWASP는 반드시 포함해야 할 “핵심 기법”을 제시한다. 여기에는 다음과 같은 기법이 포함된다.

• 적대적 프롬프트 엔지니어링
• 데이터셋 조작을 통한 모델 학습 데이터 변형
• 다단계 공격 추적
• 보안 경계 테스트
• 에이전틱 툴 및 플러그인 분석
• 조직의 탐지 및 대응 역량 평가

이 목록은 OWASP가 제시한 핵심 기법 중 일부에 불과하며, 기술적 요소와 조직 운영 측면에서의 보안 활동이 결합된 형태로 구성되어 있다.

AI 레드팀 운영의 성숙 단계

전통적인 레드팀 운영과 마찬가지로, 생성형 AI 레드팀 운영도 지속적으로 발전하고 반복 개선해야 하는 과정이다. 따라서 기업과 팀은 도구와 실무 역량 모두를 꾸준히 발전시켜야 한다.

AI는 복잡한 특성을 가지며 다양한 영역, 사용자, 데이터와 깊이 통합될 수 있으므로 OWASP는 조직 내 여러 이해관계자와 협력해야 한다고 강조했다. 이를 위해 정기적인 협업 회의를 진행하고, 발견된 문제를 명확한 프로세스를 통해 공유하며, 기존의 조직적 위험 관리 프레임워크와 통제 방안을 통합해야 한다.

또한 생성형 AI 레드팀을 운영하는 기업은 기술 환경이 빠르게 변화하는 만큼, 필요에 따라 추가적인 전문성을 갖춘 인력을 보강하고 관련 역량을 지속적으로 발전시켜야 한다.

베스트 프랙티스

OWASP의 생성형 AI 레드팀 운영 가이드는 기업이 보다 광범위하게 고려해야 할 베스트 프랙티스를 제시하며 마무리된다. 여기에는 생성형 AI 관련 정책, 표준, 절차를 수립하고, 각 레드팀 운영 세션에 대한 명확한 목표를 설정하는 것이 포함된다.

또한 성공 기준을 구체적으로 정의하고 테스트 절차와 발견된 문제, 대응 조치를 상세하게 문서화하는 것도 중요하다. 이를 통해 향후 생성형 AI 레드팀 운영을 위한 지식 기반을 체계적으로 구축할 수 있도록 해야 한다.
dl-itworldkorea@foundryco.com