2025년 5월, 미국 국가안보국(NSA), 사이버보안 및 인프라 보안국(CISA), 연방수사국(FBI)은 호주, 뉴질랜드, 영국 정부와 협력하여 작성한 공동 권고문을 발표하며, 적대 세력이 다양한 산업 분야의 생성형 AI 시스템을 훈련 데이터 조작을 통해 오염시키고 있다고 밝혔다. 모델은 여전히 작동하지만, 현실과의 정합성을 잃는다.

CISO 입장에서 이는 클라우드 도입이나 랜섬웨어 확산 못지않게 중대한 전환점이다. 보안 경계는 다시 이동했으며, 이번에는 알고리즘을 훈련하는 대규모 언어 모델(LLM) 내부로 들어왔다. 훈련 데이터 조작을 통해 발생하는 오염을 다룬 권고문의 가이드는 모든 CISO가 주목해야 할 문서이다.

생성형 AI 오염이 기업의 공격 표면을 바꾸고 있다

전통적인 보안 프레임워크에서 목표는 보통 이진적이다. 접근 거부, 침입 탐지, 기능 복구 등이 그것이다. 그러나 AI는 명백한 방식으로 손상되지 않는다. 왜곡된다. 오염된 훈련 데이터는 금융 거래 분류, 의료 영상 해석, 콘텐츠 필터링 방식을 교묘하게 바꿀 수 있으며, 이 과정에서 경고는 발생하지 않는다. 잘 조정된 모델조차 상류 단계에서 오염된 정보가 삽입되면 미묘한 허위를 학습할 수 있다.

주요 관련 사례는 다음과 같다.

• 기초 모델이 러시아의 대규모 네트워크인 ‘프라브다 네트워크’가 유포한 콘텐츠를 학습한 후 크렘린 친화적 선전을 반복했다.
• 미국의 두 뉴스 매체가 공개한 AI 생성 추천 도서 목록에는 실존 작가에게 잘못 귀속된 허구의 도서 제목 10개가 포함되어 있었다.
• 연구진은 훈련 이미지에 인간이 인지하지 못할 정도의 미세한 변형을 가해 오분류를 유도할 수 있음을 입증했다.
• 의료 분야 연구진은 LLM의 훈련 데이터 중 0.001%만 오염돼도 의료 허위정보가 발생함을 보여줬다.

위험 재정의: 시스템 방어에서 지식 방어로

사이버보안의 본질은 항상 시스템 방어였다. 그러나 생성형 AI 중심 환경에서 시스템은 고정되어 있지 않다. 이에 따라 CISO의 역할은 기존의 경계 방어에서 추론 방어로 전환되고 있다. 적대자는 더 이상 네트워크를 침투하는 데 그치지 않는다. 생성형 AI가 동원되는 순간, 적대자는 데이터 오염을 통해 지식 자체를 조작하는 행위에 나선다.

2023년, 필자는 CISO가 AI 시스템을 단순한 도구가 아닌 예측 불가능한 협력자로 간주해야 한다고 주장했다. 정보보호 및 개인정보 보호 전문가인 레베카 헤롤드는 다음과 같은 8가지 핵심 질문을 제시했다. AI 시스템의 정합성, 추론 왜곡, 조직 신뢰를 점검하려는 모든 CISO에게 여전히 유효하다:

1. AI 훈련에 사용된 데이터의 출처는 무엇인가? 수집 경로, 처리 방식, 큐레이션 여부를 추적할 수 있는가?
2. AI가 내린 결정의 이유를 컴플라이언스팀이 이해할 수 있도록 설명할 수 있는가? 해석 가능성은 규제기관이나 감사 대응 시 필수이다.
3. AI가 환각이나 허위 정보를 생성하면 어떻게 되는가? 탐지 체계와 대응 프로토콜이 마련돼 있는가?
4. AI가 오류를 범했을 때 책임 주체는 누구인가? AI 결과에 대한 명확한 책임 체계가 존재하는가?
5. AI가 조작되거나 오염된 경우 어떻게 탐지할 수 있는가? 행동 편차, 적대 입력, 훈련셋 오염을 감시하고 있는가?
6. AI가 조직의 윤리 기준에 부합하는가? 데이터가 아닌 조직의 가치를 반영하고 있는가?
7. 적대적 조작을 막기 위한 방어 장치는 있는가? 프롬프트 공격, 데이터 오염, 합성 신원 주입에 대비해 모델을 레드팀 테스트했는가?
8. AI 결정에 대해 법정이나 여론의 법정에서 방어할 준비가 되어 있는가? 결과를 규제기관, 고객, 언론에 설명하고 정당화할 수 있는가?

정합성을 위한 아키텍처

사이버보안 코파일럿 제작사 에어라이브드(Airrived)의 CEO 아누라그 구르투는 맥락 보강 없이 작동하는 생성형 AI 모델은 그럴듯한 허위로 점차 왜곡된다고 지속적으로 경고해왔다. 그는 그래프 기반 구조와 도메인별 규칙셋을 도입해 추론을 제약할 것을 강조해왔으며, 이 조언은 이제 더욱 절박해지고 있다.

감시 없는 AI 입력, 감사 불가능한 출력은 현실과 응답 간 간극을 확대시킨다. 이 간극이 곧 시스템 정합성, 의미 충실도, 신뢰의 훼손으로 이어진다.

공유 책임, 중심 책임

CISO는 여전히 조직 복원의 핵심 인물이다. 생성형 AI 오염은 도메인을 가로지르는 위협이며, 협업이 요구되는 이유이다. CTO(Chief Trust Officer)는 모델의 행동이 조직의 가치 및 사회적 책임과 부합하도록 조정하는 시각을 제공한다. CDO(Chief Data Officer)는 훈련 데이터의 정합성, 출처, 수명주기를 관리한다. CPO(Chief Privacy Officer)는 전체 AI 파이프라인에서의 데이터의 합법적이고 윤리적인 처리를 보장한다.

이들은 협업하지만, 통합은 CISO의 몫이다. 최종적으로 손상된 모델이 어떻게 결정을 내렸는지, 조직이 이를 어떻게 방지했는지 설명해야 하는 이는 CISO이다.

지금 당장 CISO가 취할 수 있는 여섯 가지 조치

모델 행동에 대한 가시성을 확보하고 위험을 줄이기 위해 보안 리더는 다음 여섯 가지 조치를 가시성, 경계 유지, 생존 가능성 세 가지 기둥에 맞춰 실행해야 한다.

가시성

• AI 의존도 파악: 내부 시스템 및 서드파티 SaaS 플랫폼을 포함해, 생성형 AI가 핵심 결정을 지원하는 모든 시스템을 파악한다.
• 데이터 출처 프로토콜 수립: 훈련 입력, 버전 관리, 디지털 책임 체계에 대한 문서를 의무화한다.

경계 유지

• 행동 편차 모니터링: 기준값, 카나리아 입력, 적대적 테스트를 통해 시간, 맥락, 사용자 그룹에 따른 의미 변화 탐지
• 접근이 아닌 의미 중심 레드팀 운영: 오염 입력, 프롬프트 기반 공격, 합성 신원 상호작용을 시뮬레이션해 모델 탄력성을 점검한다.

생존 가능성

• 모델 실패 대응 매뉴얼 마련: 환각 출력, 규제 위반, 공공 허위정보 사고 시 대응 시나리오를 준비한다. 에스컬레이션 경로, 롤백 절차, 대외 커뮤니케이션 전략을 포함한다.
• 조직 전반의 AI 이해도 제고: 보안, 법무, 컴플라이언스, 리스크 책임자는 AI를 ‘신뢰’가 아닌 ‘질의’ 대상으로 이해해야 한다.

CISO가 새겨야 할 결론

생성형 AI 시스템은 이제 기업 의사결정의 공동 저자가 되었다. 신용 위험 예측, 건강 이상 탐지, 지원자 선별, 위협 대응 우선순위 지정 등 핵심 판단을 담당한다. 그러나 이 시스템이 오염된 데이터로 훈련된다면, 피해는 배치 시점이 아니라 형성 단계에서 이미 시작된다.

CISO는 늘 조직이 아직 인식하지 못한 위협을 방어해 왔다. 생성형 AI 오염은 지금 그 위협이다.

알고리즘에 의해 무너진 신뢰는 패치로 복원되지 않는다. 신뢰는 다시 쌓아야 한다. CISO의 책임 아래에서 신중하게, 그리고 투명하게.
dl-itworldkorea@foundryco.com