생성형 AI를 통한 데이터 유출은 기업에 악몽을 안겨주고 있다.

하모닉(Harmonic)이 최근 발행한 생성형 AI 데이터 유출 보고서에 따르면, 인기 있는 LLM에 대한 직원 프롬프트의 8.5%에 민감 데이터가 포함돼 보안, 규제 준수, 개인정보 보호 및 법적 문제를 야기할 수 있는 것으로 나타났다.

하모닉은 2024년 4분기 동안 챗GPT, 코파일럿, 제미니, 클로드, 퍼플렉시티에 입력된 수만 개의 프롬프트를 분석했다. 그 결과, 전체 유출 데이터의 46%는 청구 정보 및 인증 데이터를 포함한 고객 데이터가 가장 큰 비중을 차지했다. 특히 하모닉은 직원들이 업무 처리 시간을 절약하기 위해 고객 데이터가 다량 포함된 보험 청구 보고서를 생성형 AI 도구에 자주 입력하는 사례가 많다고 강조했다.

급여 정보 및 개인 식별 정보(PII)를 포함한 직원 데이터는 민감한 프롬프트의 27%를 차지했으며, 그다음으로 법률 및 금융 데이터가 15%를 기록했다.

보고서 집필팀은 “보안 관련 정보가 민감한 프롬프트의 6.88%를 차지하며 특히 우려되고 있다. 예를 들면 침투 테스트 결과, 네트워크 구성, 사고 보고서 등이 포함된다. 이런 데이터는 공격자에게 취약점을 악용할 수 있는 청사진을 제공할 수 있다”라고 지적했다.

그림자에서 벗어나기

생성형 AI를 통한 데이터 유출 문제는 해결하기 어려운 과제다. 이는 기업의 생성형 AI 전략이 CISO에게 큰 부담을 주는 주된 이유이기도 하다.

기업에서 생성형 AI를 사용하는 방식은 크게 3가지로 나뉜다. 라이선스가 부여된 상용 모델과 자체 개발된 모델을 포함하는 공식적으로 승인된 배포, 기업에서 보안 등의 이유로 금지했지만 직원들이 사용하는 무료 소비자용 애플리케이션으로 구성된 섀도우 AI, 부분적으로 승인된 상태에서 사용되는 세미 섀도우(semi-shadow) 생성형 AI다.

CISO의 주요 관심사는 승인되지 않은 섀도우 AI이지만, 세미 섀도우 AI는 통제하기 가장 어려운 문제다. 이는 주로 사업 부서 책임자가 주도하며, IT 부서의 공식 승인을 받지 않은 상태에서 실험, 업무 효율성 향상, 생산성 증대를 목적으로 유료 생성형 AI 앱을 도입하는 사례를 포함한다. 이런 상황에서는 경영진이 섀도우 IT를 실행하는 주체가 되며, 일반 직원은 섀도우 IT의 주체로 보기 어려운 상황이 발생할 수 있다. 직원들은 단순히 경영진의 지시한 AI 도구를 사용했을 뿐이며, 이는 기업 AI 전략의 일부로 간주될 수도 있기 때문이다.

섀도우 IT든 세미 섀도우 IT든 가장 문제가 되는 것은 무료 생성형 AI 애플리케이션이다. 이들 서비스의 라이선스 조항은 일반적으로 모든 쿼리를 AI 모델 학습에 사용할 수 있도록 허용하기 때문이다. 하모닉의 연구에 따르면, 무료 AI 서비스가 민감 데이터 유출의 대부분을 차지하는 것으로 나타났다. 예를 들어 민감한 프롬프트의 54%가 챗GPT 무료 버전에서 입력됐다.

대부분 앱은 기업용 버전에서 사용자 쿼리에 대한 학습을 금지하는 경우가 많지만, 유료 생성형 AI 애플리케이션이라도 계약상 약속을 맹신하지 말라고 전문가들은 경고한다.

카스턴스, 앨런 & 구를리(Carstens, Allen & Gourley) 지식재산권 법률회사 변호사 로버트 테일러는 영업 비밀을 예로 들었다. 테일러는 “직원이 생성형 AI 시스템에 영업 비밀을 드러내는 질문을 하면, 다양한 법적 보호, 특히 영업 비밀 보호가 더 이상 적용되지 않을 수 있다”라고 설명했다.

또한, 지식재산권(IP)을 보호하는 변호사들은 AI 앱에서 금지된 데이터가 노출되는지 확인하기 위해 팀원들에게 여러 AI 애플리케이션에서 영업 비밀과 관련된 질문을 하도록 지시하는 경우가 많다고 덧붙였다. 만약 AI가 해당 정보를 제공한다면, 이는 누군가가 이미 이를 유출했음을 의미한다는 것이다.

경쟁사가 해당 유출 사실을 알게 되면, 이를 근거로 법정에서 영업 비밀에 대한 법적 보호가 무효화됐다고 주장할 수 있다. 테일러에 따르면, 이 경우 IP 소유자의 변호사는 기업이 영업 비밀 보호를 위해 다양한 조치를 시행했음을 입증해야 한다. 그러나 생성형 AI 쿼리를 학습에 사용하지 않는다는 계약 조항만을 근거로 보호 조치를 주장하는 것은 “합리적인 보호 노력”으로 인정되기 어렵다고 강조했다.

테일러는 “이 문제는 상황 전체를 고려해야 하는 사안”이라며 기업은 직원들의 데이터 사용을 제한하는 정책을 마련하고 이를 엄격히 시행해야 한다고 덧붙였다.

데이터 처리, 신중하고 정교한 접근 필요

포레스터 부사장 겸 수석 애널리스트인 제프 폴라드는 CISO가 경영진과 협력해 직원들이 보호된 데이터를 사용하지 않고도 동일한 결과를 얻는 방법을 학습하도록 해야 한다고 강조했다. 이를 위해서는 프롬프트를 보다 정교하게 다듬는 기술이 필요하지만, 민감 정보를 보호하면서도 AI가 생성하는 답변의 효과를 유지할 수 있다.

폴라드는 “시스템에서 긍정적인 효과를 얻기 위해 반드시 민감 정보를 공개할 필요는 없다. 사용자가 적절한 쿼리 작성 방식을 이해하도록 교육하는 것이 중요하다”라고 말했다.

가트너 부사장 겸 수석 애널리스트인 아룬 찬드라세카란은 기업이 무료 AI 도구를 직원들이 사용하는 것과 관련해 “직원들을 단속하는 것이 가장 확실한 방법이지만, 핵심은 ‘왜 직원들이 그렇게 하는가?’를 생각해야 한다. 이유는 IT 부서가 필요로 하는 도구를 제공하지 않기 때문”이라고 언급했다.

찬드라세카란은 CISO가 경영진에게 이 문제를 지적해 기업 전반에서 사용되는 AI 도구가 ‘실제로 유용한 것’이 되도록 보장해야 한다고 덧붙였다.

소프트웨어 개발업체 유닐리(Unily)의 선임 커뮤니티 및 파트너 마케팅 매니저 카즈 하산에 따르면, 생성형 AI와 관련해서는 이미 통제할 수 없는 상황이 벌어졌다. 하산은 “직원들의 AI 사용 속도가 IT팀의 대응 속도를 훨씬 앞질렀다. IT팀도 상황이 좋지 않다는 것을 알고 있지만, 실질적인 변화를 이루기 위해 커뮤니케이션, 조직 문화, 전략 측면에서 효과적인 해결책을 마련하지 못하고 있다”라고 설명했다.

하산은 “새로운 청사진이 필요하며, 기업은 위험을 줄이기 위해 지금 당장 명확한 AI 전략을 수립해야한다”라고 강조했다. 또한 “AI를 직원들의 기술 스택에 즉시 통합하는 후속 조치도 필수적”이라고 언급했다.

일반적인 모니터링 및 제어 앱은 데이터 유출의 핵심 문제를 제대로 해결하지 못한다고 하산은 지적했다. “숙련된 사용자들이 승인되지 않은 AI 도구를 통해 민감 데이터를 처리하는 이유는 통제가 불가능해서가 아니라, 업무 속도를 늦추고 싶지 않기 때문”이라고 말했다.

이어 “제한하고 보호하는 기존의 방식은 실패했을 뿐 아니라 오히려 AI 혁신을 방해하고 있다. CISO는 이런 현실을 직시해야 한다. AI 혁신을 주도하거나, 보안 경계가 무너지는 것을 지켜보거나 둘 중 하나다”라고 덧붙였다.

생성형 AI로 인한 데이터 문제는 2가지 방향으로 전개된다. 하나는 프롬프트를 통해 민감 데이터가 유출되는 것, 다른 하나는 환각 현상이나 잘못된 정보로 학습된 데이터로 인해 분석에 활용되는 AI 응답이 부정확해지는 것이다.

하산은 “오늘날 CISO는 단순히 민감 데이터가 유출되는 것만 걱정해서는 안 된다. 잘못된 데이터가 기업 내부로 유입되는 문제에도 신경 써야 한다”라고 말했다.
dl-itworldkorea@foundryco.com