지난 18개월 동안 엔터프라이즈 AI 인프라를 둘러싼 논의가 크게 달라졌다. 최신 GPU 제공과 매니지드 AI 서비스로 여전히 주목받는 것은 퍼블릭 클라우드 업체지만, 기업 데이터센터에서는 조용한 혁신이 일어나고 있다. 바로 쿠버네티스 기반 프라이빗 클라우드가 보안성과 확장성을 갖춘 AI 배포의 핵심 토대로 급부상하고 있는 것이다.

퍼블릭 클라우드와 프라이빗 클라우드 중 어느 쪽을 선택할지에 관한 문제가 아니다. 그 논쟁은 이미 수년 전에 끝났다. 핵심은 AI 워크로드 고유의 요구사항과 여전한 데이터 주권, 규제 준수, 비용 관리에 대한 우려가 결합하면서 기업이 인프라 전략을 다시 고민하고 있다는 점이다. 그 결과, 퍼블릭 클라우드 수준의 역량을 갖추면서도 기업이 원하는 통제력과 유연성을 유지할 수 있는 새로운 세대의 AI 최적화(AI-ready) 프라이빗 클라우드가 등장하고 있다.

많은 기업이 ‘클라우드 퍼스트’ 전략을 내세우고 있지만, 현실은 여전히 하이브리드에 머물러 있다. 가트너에 따르면, 2027년까지 90%의 기업이 하이브리드 클라우드 전략을 도입할 것으로 전망된다. 그 이유는 실용적이면서도 근본적이다.

첫째는 경제성이다. 퍼블릭 클라우드는 가변적인 워크로드 처리와 즉각적인 확장성 제공에 뛰어나지만 장기간의 고성능 연산 워크로드, 즉 대부분의 AI 애플리케이션에서는 비용이 빠르게 치솟는다. 예를 들어, AWS H100 GPU 인스턴스를 퍼블릭 클라우드에서 풀 가동할 경우 월 비용이 약 9만 8,000달러(약 1억 3,600만 원)에 이르며, 여기에 데이터 전송 및 저장 비용은 포함되지 않는다.

둘째는 데이터 중력(Data Gravity)이다. 방대한 데이터를 퍼블릭 클라우드로 옮기는 데 따르는 비용과 복잡성 때문에 오히려 데이터를 옮기는 것보다 연산을 데이터가 있는 곳으로 가져오는 편이 훨씬 현실적이다. 그 이유는 분명하다. 2025년까지 전 세계 데이터량은 175제타바이트(ZB)에 이를 것으로 예상되며, 이 중 75%는 전통적인 중앙 데이터센터 밖에서 생성·처리될 것으로 전망된다.

셋째, 그리고 가장 중요한 요소는 규제와 데이터 주권 문제다. 금융, 의료, 정부와 같은 산업에서는 특정 데이터가 지정된 지역 경계를 벗어나지 못하거나 승인된 시설에서만 처리되도록 법으로 규정돼 있다. 특히 2024년 통과된 EU AI 법(EU AI Act)은 고위험 AI 시스템에 대해 문서화, 편향 완화, 인간 감독 등을 포함한 포괄적 요건을 도입했다. AI 시스템이 민감한 데이터를 점점 더 많이 처리하면서 이런 요구 사항은 한층 더 엄격해지고 있다.

예를 들어, 유럽의 한 대형 은행이 AI 기반 사기 탐지 시스템을 도입한다고 가정해 보자. EU 규제에 따르면 고객 데이터는 특정 관할 내에 머물러야 하며, 밀리초 단위의 감사 추적이 유지돼야 하고, 은행은 데이터 처리 전 과정에 대해 완전한 통제권을 입증할 수 있어야 한다. 적절한 구성을 갖춘 퍼블릭 클라우드에서도 기술적으로 구현할 수 있지만, 복잡성과 위험을 고려하면 프라이빗 클라우드 배포가 훨씬 더 설득력 있는 선택지다.

쿠버네티스 : 하이브리드 클라우드 오케스트레이션의 사실상 표준

쿠버네티스가 하이브리드 클라우드의 오케스트레이션 계층으로 자리 잡은 것은 피할 수 없는 운명이 아니었다. 이는 수년간의 실전 배포 경험과 지속적인 기능 개선을 통해 얻어 낸 결과다. 현재 기업의 96%가 쿠버네티스를 도입했거나 검토 중이며, 이 중 54%는 AI/ML 워크로드를 구축하는 데 활용한다 이제 쿠버네티스는 단순한 컨테이너 오케스트레이션 도구를 넘어, 하이브리드 인프라를 위한 범용 제어 플레인으로 진화했다.

그렇다면 쿠버네티스는 왜 하이브리드 환경의 AI 워크로드에 특히 적합할까? 주목할 만한 몇 가지 기술적 역량이 있다.

• 자원 추상화와 스케줄링 : 쿠버네티스는 컴퓨팅 자원, 메모리, 스토리지, 그리고 최근에는 GPU까지 추상화된 자원으로 취급하며, 이를 동적으로 스케줄링하고 할당한다. 추상화 계층 덕분에 AI 워크로드는 온프레미스든 퍼블릭 클라우드든 일관된 방식으로 배포될 수 있다.
• 선언적 구성 관리 : 쿠버네티스의 특성상, 데이터 전처리부터 모델 서빙까지 전체 AI 파이프라인을 코드로 정의할 수 있다. 이를 통해 버전 관리, 재현성 확보, 그리고 무엇보다 다양한 환경 간 이식성을 보장할 수 있다.
• 멀티 클러스터 페더레이션 : 현대의 쿠버네티스 배포 환경은 종종 여러 지역과 클라우드 서비스 업체에 걸친 다수의 클러스터로 구성된다. 페더레이션 기능을 활용하면 이들 클러스터를 하나의 논리적 단위로 관리할 수 있으며, 데이터 지역성, 비용, 규제 요건에 따라 워크로드를 매끄럽게 이동시킬 수 있다.
• 오퍼레이터 확장성 : 오퍼레이터 패턴은 특히 AI 워크로드에서 큰 가치를 입증했다. 맞춤형 오퍼레이터를 통해 복잡한 AI 프레임워크를 관리하고, GPU 스케줄링을 처리하며, 심지어 비용 최적화 전략까지 자동으로 구현할 수 있다.

AI 인프라의 새로운 요구사항

AI 워크로드는 기존 엔터프라이즈 애플리케이션에서는 경험하지 못했던 고유한 도전 과제를 제시한다. 이런 과제를 이해하는 것은 효과적인 프라이빗 클라우드 솔루션을 설계하는 데 필수적이다. 여기에는 다음 요소가 포함된다.

• 연산 집약성 : GPT-3 규모의 모델(1,750억 개 파라미터)을 학습하려면 약 3,640 페타플롭-일(petaflop-days)의 연산이 필요하다. 전통적인 애플리케이션이 주로 업무 시간대에만 사용량이 급등하는 것과 달리 AI 학습 워크로드는 며칠, 혹은 몇 주 동안 최대 자원을 지속적으로 소모한다. 한편 추론 워크로드는 개별적으로는 덜 집약적이지만, 수천 건의 동시 요청을 1초 미만 지연 시간으로 처리해야 하므로 대규모 확장이 요구된다.
• 스토리지 성능 : AI 워크로드는 I/O 집약적인 것으로 악명이 높다. 학습 데이터셋은 수 테라바이트(TB) 규모에 달하며, 모델은 학습 과정에서 이 데이터를 여러 차례 반복적으로 읽어야 한다. 그러나 기존 엔터프라이즈 스토리지는 이 같은 접근 패턴에 맞게 설계되지 않았다. 이에 따라 최신 프라이빗 클라우드는 이런 요구를 충족하기 위해 점점 더 고성능 병렬 파일 시스템과 NVMe 기반 스토리지를 도입하고 있다.
• 메모리와 대역폭 : LLM을 불러오기만 해도 수백 GB의 메모리가 필요하며, 실제 연산은 그 이후에 시작된다. 이때 컴퓨팅 자원과 스토리지 간 대역폭이 핵심 병목 지점이 된다. 이런 한계를 극복하기 위해 RDMA(Remote Direct Memory Access)와 고속 인터커넥트 같은 기술이 프라이빗 클라우드에 빠르게 도입되고 있다.
• 전문화된 하드웨어 : 엔비디아 GPU가 AI 가속기 시장을 지배하고 있지만, 기업은 점점 더 다양한 대안을 시험하고 있다. 쿠버네티스의 디바이스 플러그인 프레임워크는 NVIDIA H100, AMD MI300, 맞춤형 ASIC 등 다양한 가속기를 표준화된 방식으로 관리할 수 있도록 지원한다.

AI 개발에서 가장 중요한 변화는 컨테이너 기반 배포로의 전환이다. 이는 단순히 유행을 따르는 것이 아니라, 그동안 AI 프로젝트를 괴롭혀 온 실제 문제를 해결하는 방식이다.

전형적인 엔터프라이즈 AI 시나리오를 생각해 보자. 데이터 사이언스팀이 특정 버전의 텐서플로우, CUDA 라이브러리, 파이썬 패키지를 사용해 모델을 개발했다. 이 모델을 프로덕션 환경에 배포하려면 동일한 환경을 그대로 복제해야 하는데, 이 과정에서 개발 환경과 운영 환경 간 불일치가 자주 발생하곤 한다.

컨테이너는 이런 문제를 완전히 바꿔놓는다. 저수준 라이브러리부터 모델 자체까지 전체 AI 스택을 불변의 컨테이너 이미지로 패키징할 수 있기 때문이다. 그 이점은 단순한 재현성 확보를 넘어선다. 빠른 실험, 자원 격리, 확장성, 그리고 BYOM(Bring Your Own Model)까지 가능하게 한다.

거버넌스 과제 대응

규제가 엄격한 산업은 명확히 AI에 준비된 프라이빗 클라우드를 필요로 한다. 이들 기업은 경쟁력을 유지하기 위해 AI 혁신을 추진해야 하지만, 동시에 AI 등장 이전에 제정된 복잡한 규제 체계를 헤쳐 나가야 하는 독특한 과제에 직면해 있다.

의료 산업을 보자. 한 병원 시스템이 AI 기반 진단 영상을 도입하려 한다면, 수많은 규제 장벽에 부딪히게 된다. HIPAA 규정은 저장·전송 중인 PHI(protected health information)에 대한 암호화를 포함해 특정한 보호 조치를 의무화한다. 문제는 이뿐만이 아니다. 진단 목적으로 사용되는 AI 모델은 의료기기로 분류될 수 있으며, 이 경우 FDA 검증과 포괄적인 감사 추적 시스템이 요구된다.

금융 서비스 산업도 비슷한 도전에 직면해 있다. FINRA의 가이드라인은 기존 규제가 AI 시스템에도 동일하게 적용됨을 명확히 하고 있으며, 이는 자금세탁방지(AML) 규제 준수부터 모델 위험 관리까지 포괄한다. 이런 요구사항을 충족하기 위해서는 강력한 통제력과 유연성이 필요한데, 쿠버네티스 기반 프라이빗 클라우드가 이를 가능하게 한다. 예를 들면 RBAC(role-based access control)를 통한 세분화된 권한 부여, 어드미션 컨트롤러를 통한 규제 준수 노드에서만 워크로드 실행 보장, 서비스 메시(Service Mesh) 기술을 통한 엔드투엔드 암호화와 정밀한 감사 추적까지 구현할 수 있다.

정부 기관은 이 분야에서 의외의 선도주자다. 미국 국방부(DoD)의 플랫폼 원(Platform One) 이니셔티브가 그 가능성을 잘 보여준다. 여러 팀이 쿠버네티스를 기반으로 무기 시스템, 우주 시스템, 항공기 전반에 걸쳐 애플리케이션을 개발한 결과, 소프트웨어 전달 주기는 3~8개월에서 1주일로 단축됐으며, 동시에 지속적인 운영도 유지할 수 있었다.

AI·ML을 위한 프라이빗 클라우드의 진화

AI-최적화 프라이빗 클라우드의 성숙은 독립적으로 일어난 일이 아니다. 이는 기술 업체, 오픈소스 커뮤니티, 그리고 기업 자체 간의 광범위한 협력의 산물이다.

레드햇의 오픈시프트(OpenShift)는 쿠버네티스를 엔터프라이즈 환경에 적합하게 만드는 데 핵심적인 역할을 했다. 오픈시프트 AI 플랫폼은 20가지 이상의 오픈소스 AI/ML 프로젝트를 통합하고, 주피터랩 노트북 같은 친숙한 도구를 통해 엔드투엔드 ML옵스(MLOps) 기능을 제공한다. 델 테크놀로지스는 하드웨어 영역에 집중해 AI 워크로드에 최적화된 컴퓨팅 자원·스토리지·네트워킹을 결합한 검증된 설계 아키텍처를 선보였다. 특히 파워엣지(PowerEdge) XE9680 서버는 엔비디아 H100 GPU와 결합해 라마 2 모델을 학습할 수 있는 성능을 입증했다.

데이터 웨어하우스 업체 옐로브릭(Yellowbrick) 역시 이 생태계에 합류해 쿠버네티스 환경과 매끄럽게 통합되는 고성능 데이터 웨어하우스 기능을 제공한다. 대규모 데이터를 실시간으로 처리해야 하는 AI 워크로드에서 이 통합은 기존 엔터프라이즈 AI 프로젝트를 괴롭혀 온 ETL 병목 문제를 제거한다.

엔비디아의 기여는 단순히 GPU에 국한되지 않는다. NVIDIA GPU 클라우드 카탈로그는 주요 AI 프레임워크별로 사전 최적화된 컨테이너를 제공하며, 쿠버네티스용 NVIDIA GPU 오퍼레이터는 GPU 노드 관리를 자동화해 GPU 가속 프라이빗 클라우드 구축을 획기적으로 단순화한다.

이처럼 생태계 협력은 필수적이다. 성공적인 AI 인프라에 필요한 모든 요소를 단일 업체가 제공할 수는 없기 때문이다. 기업은 이 협력을 통해 매끄럽게 통합되는 동종 최고(best-of-breed) 솔루션의 혜택을 누리게 된다.

데이터와 AI의 융합

앞으로를 내다보면, 데이터 인프라와 AI 인프라의 경계는 점점 더 희미해지고 있다. 현대의 AI 애플리케이션은 단순히 컴퓨팅 자원만 필요한 것이 아니다. 최신 데이터에 대한 즉각적 접근, 스트리밍 입력 처리 능력, 그리고 정교한 데이터 거버넌스 역량까지 요구한다. 이런 융합은 다음 3가지 핵심 트렌드를 이끌고 있다.

• 통합 데이터·AI 플랫폼 : 기존처럼 데이터 웨어하우스와 AI 시스템을 분리해 운영하는 대신, 새로운 아키텍처는 이 2가지 기능을 하나의 쿠버네티스 기반 환경에서 동시에 제공한다. 이를 통해 시스템 간 데이터 이동이 필요 없어져 지연 시간과 비용을 모두 줄일 수 있다.
• 엣지 AI 통합 : AI가 엣지 환경으로 확산하면서 쿠버네티스는 데이터센터부터 원격 지점까지 일관된 관리 플레인을 제공한다.
• 자동화된 ML옵스 : 쿠버네티스 오퍼레이터와 AI 특화 도구의 결합으로 데이터 준비부터 모델 배포와 모니터링에 이르는 전 과정을 완전히 자동화한 ML옵스가이 가능해지고 있다.

구현을 위한 실질적 고려사항

이런 경로를 선택하려면 실제 배포 사례에서 드러난 몇 가지 현실적인 고려사항을 검토해야 한다.

• 명확한 활용례부터 시작 : 성공적인 프라이빗 클라우드 AI 배포는 구체적이고 높은 가치를 지닌 활용례에서 출발한다. 사기 탐지, 예측 정비, 고객 서비스 자동화 등 어떤 사례든 명확한 목표가 있으면 인프라 의사결정을 효과적으로 이끌 수 있다.
• 데이터 거버넌스를 초기부터 설계 : 데이터 거버넌스는 나중에 덧붙일 수 있는 기능이 아니다. EU AI 법처럼 AI 시스템의 포괄적 문서화를 요구하는 규제가 강화되고 있는 만큼, 인프라 구축 초기 단계부터 거버넌스를 내재화하는 것이 필수적이다.
• 역량에 투자 : 쿠버네티스와 AI는 모두 학습 곡선이 가파르다. 기업이 내부 팀의 교육·훈련에 투자하거나 경험 많은 업체와 협력하면 훨씬 빠르게 가치를 실현할 수 있다.
• 처음부터 하이브리드를 고려 : 프라이빗 클라우드를 구축하더라도 처음부터 하이브리드 시나리오를 염두에 둬야 한다. 버스트 용량 확보, 재해 복구(DR), 특화 서비스 활용 등을 위해 퍼블릭 클라우드가 필요해질 수 있기 때문이다.

AI 최적화 프라이빗 클라우드의 부상은 기업이 인프라를 바라보는 방식의 근본적인 변화를 의미한다. 퍼블릭 클라우드 솔루션을 배제하려는 것이 아니라, 워크로드를 가장 적합한 환경에 배포할 수 있는 유연성을 갖춘 견고한 기반을 마련하는 데 목적이 있다.

쿠버네티스(Kubernetes)는 이런 변화를 가능하게 하는 핵심 동력으로 떠올랐다. 퍼블릭과 프라이빗 인프라 전반에 걸쳐 일관되고 이식성 있는 플랫폼을 제공하며, 성숙한 도구와 기술 생태계와 결합해 AI 워크로드 측면에서 퍼블릭 클라우드에 견줄 만하거나 그 이상 수준의 프라이빗 클라우드를 구축할 수 있게 한다.

AI 도입의 복잡성 속에서 혁신과 규제, 성능과 비용, 유연성과 통제 사이 균형을 모색하는 기업에 쿠버네티스 기반 프라이빗 클라우드는 매력적인 해답이 된다. 기업이 요구하는 통제력과 맞춤화를 제공하는 동시에, AI 워크로드가 필요로 하는 민첩성과 확장성도 함께 보장한다.

오늘날 이런 변화를 인식하고 AI 최적화 프라이빗 클라우드 인프라 구축에 투자하는 기업은 향후 AI 혁신을 가장 잘 활용할 수 있는 위치를 선점하게 될 것이다. 동시에 이해관계자가 요구하는 보안, 규제 준수, 비용 관리를 유지할 수 있다. 엔터프라이즈 AI의 미래는 퍼블릭 클라우드나 프라이빗 클라우드 어느 한쪽에 있지 않다. 그것은 양쪽을 아우르는 지능형 오케스트레이션에 있다.

*Mark Cusack은 데이터 웨어하우스 업체 옐로브릭(Yellowbrick)의 CTO다.
dl-itworldkorea@foundryco.com