멀티클라우드를 도입한 초창기에는 기업이 여러 클라우드 서비스 업체에 걸친 인프라를 구축하고 관리하기 위해 신중하고 계산적인 단계를 밟았다. 목표는 유연성, 성능 최적화, 위험 완화였다. 그러나 2025년 현재, 기업은 효과적인 멀티클라우드 환경을 운영하기 위해 그 어느 때보다 고군분투하고 있다. 왜 그럴까? AI 시스템으로의 급속한 이동이 신중한 계획의 부족과 만나면서 기존의 관리 전략을 압도하고 많은 기업을 멀티클라우드의 대혼란으로 몰아넣었다.

AI 중심 워크로드를 기업 클라우드 전략에 통합하는 것이 클라우드 투자와 아키텍처 결정에 큰 영향을 미치고 있다. 그러나 대부분 기업은 이로 인해 발생하는 복잡성을 과소평가하고 있다. 특히, 코어위브(CoreWeave) 같은 GPU 중심 클라우드 서비스 업체의 등장으로 클라우드 환경이 크게 변화했다. 이런 클라우드 서비스는 AI 워크로드에 특화된 성능을 약속하지만, 많은 기업이 미처 준비하지 못한 독특한 요구사항으로 운영된다.

계획 없는 AI 시스템 도입

AI 도입이 급증하면서 더 지혜로운 의사 결정, 자동화, 개인화된 고객 경험, 경쟁력 있는 차별화 등 많은 혁신적인 이점이 생겨났다. 그러나 기업은 이런 기술이 기존 멀티클라우드 전략에 어떻게 통합되는지 파악하지 못한 채 AI 시스템을 도입하고 있다. 다음은 가장 중요한 5가지 과제다.

AI 워크로드는 비용이 많이 들고 자원을 많이 사용하는 GPU가 필요하다. 기존 멀티클라우드 전략은 기존 클라우드 컴퓨팅 및 스토리지 요구에 중점을 두고 있으며, 이런 하드웨어 격차를 고려하지 않는다. 기업은 이제 범용 클라우드와 특수 GPU 클라우드 등 서로 호환되지 않는 플랫폼을 오가며 사용해야 하는데, 이 두 가지 플랫폼은 원활한 통합을 위한 도구가 부족한 경우가 많다.

AI 워크로드는 훈련과 추론을 위해 엄청난 양의 데이터가 필요하다. 기업은 데이터와 AI 워크로드를 서로 다른 클라우드에 배치하는 것이 비효율적이라는 사실을 너무 늦게 깨달았다. 클라우드 간에 데이터를 이동하는 것은 비용이 많이 들고, 지연 시간은 복잡성을 더해 성능 저하로 이어진다.

클라우드 서비스 업체는 각자의 관리 시스템, API, 운영 프레임워크를 가지고 있다. 이는 GPU에 초점을 맞춘 클라우드도 마찬가지다. 기업 IT팀은 갈수록 이질적인 환경에서 운영을 표준화하기 위해 고군분투하고 있다.

사전 계획의 부재는 종종 비용 상승으로 이어진다. 기업은 GPU를 과도하게 프로비저닝하고, 클라우드 자원을 충분히 활용하지 못하고, 멀티클라우드 전략을 최적화할 기회를 파악하지 못하고 있다.

IT팀은 AI 중심의 클라우드 환경을 관리할 전문 지식이 부족하다. 레거시 멀티클라우드 전략은 AI 시스템의 고유한 요구사항을 우선시하지 않으며, 많은 기업에 부족한 기술력 향상은 시간이 걸린다. 기업은 종종 IT팀이 AI 모델 배포에 대해 몰라서 예상치 못한 어려움에 처하기도 한다.

GPU 클라우드가 멀티클라우드를 복잡하게 만드는 이유

코어위브(CoreWeave)나 람다 랩스(Lambda Labs) 같이 GPU에 중점을 둔 클라우드 서비스 업체는 AI/ML 워크로드에 맞춰 자사의 서비스를 최적화해 시장에서 주목을 받고 있다. 이들은 전통적인 하이퍼스케일러(AWS, 마이크로소프트 애저, 구글 클라우드 플랫폼)가 기하급수적으로 증가하는 GPU 수요를 온전히 충족하지 못하면서 필수적인 존재가 됐다. 그러나 이들이 멀티클라우드 생태계에 진입하면서 새로운 과제가 생겼다.

• 기업은 GPU 클라우드가 다른 과금 모델로 운영되기 때문에 특수한 계약에 얽매이는 경우가 많다. 이로 인해 워크로드 이동이 까다로워진다.
• 전통적인 클라우드 오케스트레이션 도구는 일반적으로 GPU 클라우드를 원활하게 지원하지 못하기 때문에 운영이 분리되는 문제가 발생한다.
• 많은 기업이 하이퍼스케일러와 GPU 전문 서비스 업체 간의 GPU 워크로드를 조정하는 것이 어렵다는 것을 알게 됐고, 이 때문에 성능과 가시성에서 차이가 발생한다.
• 전략적 계획이 없다면, GPU 클라우드를 도입한 기업은 멀티클라우드 생태계를 더욱 분열시킬 위험이 있으며, 이는 AI 기반 이니셔티브를 복잡하게 만든다.

AI의 급속한 도입으로 기업은 멀티클라우드 혼란에 빠졌다. 멀티클라우드 환경은 이미 복잡하지만, AI 워크로드를 위한 GPU 중심 클라우드의 도입으로 운영 및 아키텍처 측면에서 심각한 문제가 발생했다. 많은 기업이 너무 급하게 움직이고 있으며, 기존 클라우드 전략에 맞지 않는 AI 이니셔티브를 시작하고 있다. 그 결과는 쉽게 예측할 수 있다. 사일로화된 시스템, 통제되지 않는 비용, 운영 비효율성 등이다.

문제의 근본 원인은 부실한 계획에 있다. 기업은 AI 워크로드가 멀티클라우드 역학에 미치는 영향을 과소평가하고 있다. GPU 중심 클라우드는 통합, 데이터 배치, 비용 관리에 대한 독특한 접근 방식이 필요하다. 적절한 전략이 없다면, 기업은 관리하기 어려울 만큼 복잡한, 심하게 분열된 인프라를 만들어 낼 것이다.

AI 멀티클라우드 실패를 피하는 방법

먼저 명확한 AI 중심 멀티클라우드 전략을 개발하는 것부터 시작하자. 이는 현재 환경을 평가하고, 어떤 워크로드가 하이퍼스케일러와 GPU 서비스 업체에 적합한지 결정하고, 목표와 예산에 맞게 인프라를 조정하는 것을 의미한다. 하이브리드 모델도 작동할 수 있지만, 사일로를 만들지 않도록 신중한 계획이 필요하다.

표준화도 중요하다. 쿠버네티스와 같은 중앙집중식 오케스트레이션 도구는 다양한 플랫폼에서 컨테이너화된 AI 워크로드의 배포와 확장을 간소화할 수 있다. 표준화가 이루어지지 않으면 운영상의 사일로는 점점 더 커질 것이다.

또 다른 중요한 단계는 데이터 배치 전략을 재평가하는 것이다. AI 워크로드는 방대한 데이터 세트에 의존하며, 잘못된 데이터 위치를 선택하면 전송 비용이 높아지고 지연 문제가 발생할 수 있다. 기업은 GPU 자원에 가까운 곳에 데이터를 저장하고 전략적으로 분할해 성능을 최적화하고 비용을 최소화해야 한다.

또한, 비용 관리가 중심이 되어야 한다. 핀옵스팀과의 파트너십은 오버프로비저닝을 방지하고 비용의 변화를 분석해 기업이 GPU 클라우드 비용을 관리하는 데 도움이 된다. 엄격한 재무 감독이 없다면, AI 워크로드가 예산 범위를 빠르게 벗어날 수 있다.

마지막으로, IT팀의 기술 향상을 위한 투자는 필수적이다. AI는 MLOps, GPU 관리, 인터클라우드 오케스트레이션과 같은 새로운 개념을 가져오는데, 많은 IT팀에서 전문성이 부족한 분야이다. 직원들에게 이런 기술을 교육하면 AI에 중점을 둔 멀티클라우드 환경을 효율적으로 관리하고 운영상의 병목 현상을 피할 수 있다.

기업이 AI를 성공적으로 활용하려면 멀티클라우드에 대한 접근 방식을 재정의해야 한다. 올바른 해답은 신중한 전략, 표준화된 운영, 더 지혜로운 재무 계획, 집중적인 기술 향상에 있다. 복잡성에 휩쓸리지 않고 AI의 잠재력을 최대한 발휘하려면 이런 조처를 충실히 수행해야 한다.
dl-itworldkorea@foundryco.com