에이전틱 AI(agentic AI)가 기업의 IT 환경에서 내부 데이터 이동을 맡게 되는 상황이 다가오면서 기업은 데이터 보안을 더 이상 외면할 수 없게 됐다.

보안 솔루션 업체 포타닉스(Fortanix)의 최고 AI 책임자 리처드 설은 “헬스케어나 금융 서비스처럼 이미 광범위한 규제 감독과 컴플라이언스 모니터링을 받고 있는 분야에서의 AI 활용례는 도입된 특정 AI 모델이나 에이전틱 소프트웨어에 대한 감사 가능성이 필수적으로 요구될 것”이라고 말했다.

이 같은 문제가 점점 부각되면서 일부 주요 빅테크 기업은 수년 전부터 존재해 온 개념인 컨피덴셜 컴퓨팅(Confidential Computing)에 주목하기 시작했다. 특히 최근 생성형 AI의 부상과 맞물리며 이 기술은 새로운 활로를 찾고 있다.

컨피덴셜 컴퓨팅은 AI 모델과 데이터를 하드웨어 수준에서 보호된 공간에 격리해 승인된 모델과 에이전트만 접근할 수 있도록 하는 기술이다. 이를 통해 무단 접근이나 데이터 유출을 방지한다.

시장 조사 기업 퓨처리움(Futuriom)의 컨트리뷰팅 리서치 애널리스트 크레이그 마츠모토는 “컨피덴셜 컴퓨팅 도입은 AI 보안에 대한 우려를 덜어주는 역할을 할 수 있다. 이는 기업이 선호하는 프라이빗 클라우드 AI와도 맞닿아 있다. 기업은 일정 부분에서라도 통제권을 갖기를 원한다”라고 말했다.

제미나이 API 개방한 구글…구현 핵심은 컨피덴셜 컴퓨팅

최근 구글은 기업이 자사가 개발한 제미나이 모델을 사내에서 직접 운영할 수 있도록 허용했다. 이는 구글이 이런 방식의 운영을 처음으로 허용한 사례다. 즉, 이제 기업은 인터넷이나 구글 클라우드에 연결하지 않고도 제미나이를 구동할 수 있다.

제미나이를 기업 내부 환경에서 안전하게 가동하는 방법 중 하나는 엔비디아 GPU의 컨피덴셜 컴퓨팅 기술을 활용하는 것이다. 이를 통해 구글은 자사 AI 모델을 구글 클라우드 인프라 외부의 신뢰할 수 없는 하드웨어에서도 구동할 수 있게 했다. 본래 제미나이는 구글 클라우드에서만, 자사 TPU에서만 실행되도록 설계됐지만, 내보낸 모델이 엔비디아 GPU 기반 컨피덴셜 가상머신에서 실행될 수 있도록 했다.

엔비디아의 엔터프라이즈 AI 제품 부문 부사장 저스틴 보이타노는 “데이터센터에서 모델을 실행할 때 엔비디아 GPU는 구글 제미나이의 지식 재산(IP)을 보호할 뿐만 아니라, 해당 모델에서 사용되는 기업의 지식 재산 역시 함께 보호한다”라고 말했다.

컨피덴셜 컴퓨팅에서 사용하는 인증 및 검증 기술은 사용자가 정보를 받을 권한이 있거나 모델에 접근할 수 있는지를 검증한다.

구글의 인프라·솔루션 부문 부사장 사친 굽타는 “저지연 환경에서 로컬 데이터를 기반으로 한 빠르게 의사결정을 내려야 하는 애플리케이션 분야에서 이 기술에 대한 관심이 높아지고 있다”라고 말했다.

굽타는 “지연과 데이터 상주(data residency) 컴플라이언스 요건이 결합돼 이런 유형의 활용 사례가 만들어진다”라고 덧붙였다.

하이퍼프레임 리서치(Hyperframe Research) 수석 애널리스트 스티븐 디킨스는 “GPU는 높은 성능과 강력한 보안을 결합하고 있어 헬스케어, 금융, 정부 같은 규제 산업에 이상적이다. HIPAA나 GDPR 같은 규제 준수는 필수적이다”라고 말했다.

왓츠앱·앤트로픽·애플, 다양한 서비스로 확장

컨피덴셜 컴퓨팅이 적용된 또 다른 사례로는 최근 생성형 AI 도구를 도입한 왓츠앱이 있다. 이 도구는 사용자의 최신 메시지를 빠르게 요약하며, 생성된 요약 내용은 메타나 제3자가 볼 수 없도록 처리된다.

이 기능은 메타가 사용자 정보를 보호하기 위해 도입한 최초의 컨피덴셜 컴퓨팅 활용례로, 메타는 이를 프라이빗 프로세싱(Private Processing)이라고 부른다. 메타는 수십 년간 사용자 데이터 보호 문제로 어려움을 겪어왔지만, 이제 컨피덴셜 컴퓨팅을 통해 사용자 신뢰 회복에 나서고 있다.

메타는 AMD와 엔비디아의 GPU를 활용해 비공개 컴퓨팅 환경을 구축했다. 왓츠앱의 개인 정보는 이 환경으로 전송되며, 요약은 외부 누구에게도 노출되지 않은 상태에서 생성된다. 이 비공개 컴퓨팅 모델은 왓츠앱에서 클라우드로 데이터가 전송되는 과정에서 유출 위험을 최소화한다.

메타는 기술 세부 사항을 설명한 게시물에서 “이번은 메타가 프라이빗 프로세싱을 적용한 첫 사례이며, 앞으로도 같은 방식이나 유사한 인프라가 사용자 요청 처리에 도움이 될 수 있을 것으로 본다”라고 밝혔다.

앤트로픽도 최근 클로드를 사용하는 고객에게 보안을 보장하는 컨피덴셜 인퍼런스(Confidential Inference) 기능을 발표했다. 이는 AI 체인 내에서 데이터가 상하로 이동할 때 신뢰의 연결고리를 형성하며, 추론 과정에서 점점 중개자 역할을 맡게 되는 AI 에이전트까지 고려한다.

애플 생태계에서는 프라이빗 클라우드 컴퓨트(Private Cloud Compute)가 컨피덴셜 컴퓨팅에 해당한다.

참고로 컨피덴셜 컴퓨팅은 AI 이외의 용도로도 활용할 수 있다. AMD와 인텔은 CPU용 컨피덴셜 컴퓨팅 기술을 보유하고 있으며, 이는 가상머신을 통해 사용할 수 있다.

클라우드 보안은 여전한 숙제

이처럼 컨피덴셜 컴퓨팅의 활용이 늘어나고 있지만, 클라우드 환경에서의 도입을 둘러싼 우려는 여전하다. 클라우드에서는 CPU가 시스템 수준의 증명(attestation)을 확인하고 GPU가 데이터를 인증하는데, 문제는 데이터가 CPU를 거쳐야만 GPU로 이동한다는 점이다. 이 과정에서 취약점이 발생하면 해커가 데이터를 탈취할 수 있는 큰 보안 구멍이 생길 수 있다.

바이널리(Binarily) CEO이자 보안 전문가인 알렉스 마트로소프는 “이런 환경에서는 컨피덴셜 컴퓨팅과 증명의 신뢰성이 매우 취약해질 수 있다”라고 지적했다.

하이퍼프레임(Hyperframe)의 수석 애널리스트 스티븐 디킨스는 “CPU 기반 기술은 사이드채널 공격(side-channel attack)에 취약할 수 있어 신뢰성에 대한 우려가 제기된다”라고 말했다.

일례로 지난해 12월 구글이 공개한 한 취약점은 AMD 컨피덴셜 컴퓨팅에 영향을 미쳤고 이를 해결하기 위해 마이크로코드 업데이트가 필요했다.
dl-itworldkorea@foundryco.com