마이크로소프트의 최근 실적 발표는 냉정한 현실을 보여줬다. 마이크로소프트가 AI에 적극적으로 투자하고 인프라에도 상당한 투자를 했음에도 불구하고 성장 수치가 기대에 미치지 못했다. CEO 사티아 나델라가 투자자들에게 이런 부족한 성과를 설명하면서 한 가지 사실이 점점 더 분명해졌다. 전통적인 퍼블릭 클라우드 모델은 생성형 AI의 약속을 이행하는 데 어려움을 겪고 있다는 것이다.

필자는 이 시나리오에 대해 여러 차례 경고했다. 이 과정에서 퍼블릭 클라우드 서비스 업체는 몇몇 동지를 잃을 수 있다고. 문제는 충분한 GPU 또는 데이터센터 용량을 확보하는 것이 아니다. 퍼블릭 클라우드가 구축되는 방식과 AI 워크로드에 필요한 것 사이의 근본적인 불일치에 있다. 퍼블릭 클라우드 서비스 업체는 기존의 클라우드 컴퓨팅 서비스의 사각형 말뚝을 AI의 둥근 구멍에 맞추려고 시도하고 있다. 당연히 잘되지 않고 있다.

기업이 기존의 클라우드 인프라를 통해 AI 이니셔티브를 확장하려고 할 때, 예측할 수 없는 비용, 성능 병목 현상, 지속적인 성장을 어렵게 만드는 인프라 제한 등의 문제에 직면하는 경우가 많다. 문제는 기본적인 아키텍처의 불일치다. 퍼블릭 클라우드 서비스 업체는 일반 컴퓨팅 워크로드를 수용할 수 있는 인프라를 구축했다. 이런 워크로드를 지난 10년 동안 지배적이었던 표준 기업 애플리케이션이다. 그러나 AI 워크로드는 다르다. 원래 퍼블릭 클라우드 설계 철학에 포함되지 않았던 특수한 하드웨어 구성, 방대한 데이터 처리량, 복잡한 오케스트레이션 기능이 필요하다.

AI와 클라우드 간의 불일치

필자가 이런 문제를 지적하면 반대 의견이 거세다. 범용 컴퓨팅 요구에 맞춰 구축된 인프라도 AI 워크로드의 특수한 요구를 수용할 수 있다는 것이다. 하지만 그런 계획이 효과가 없다는 것을 이해하기 위해 AI 엔지니어가 될 필요는 없다. 클라우드 서비스 업체는 AI 시스템을 더 잘 수용하기 위한 별도의 인프라를 구축하는 데 드는 비용과 위험을 감수하고 싶지 않았을 것이고, 아무도 눈치채지 못할 것이라고 생각했을 것이다. 하지만 문제는 드러나기 마련이다.

이런 불일치는 몇 가지 중요한 방식으로 나타난다. 첫째, 전통적인 애플리케이션에 잘 맞았던 가격 책정 모델이 AI 워크로드에 적용할 때는 지나치게 비싸졌다. LLM을 실행하거나 정교한 AI 시스템을 훈련하는 기업은 종종 그만큼의 비즈니스 가치는 없이 클라우드 비용만 급증하는 경험을 하고 있다. 필자에게는 클라우드 요금이 예상했던 것보다 20배나 높다는 고객들의 전화가 일주일에 한 번씩은 걸려 온다. 이들 기업은 IT 예산을 모조리 빨아들일 수도 있는 AI 시스템을 도입해야 하는 상황에 당황하고 있다.

둘째, 인프라 자체가 AI 애플리케이션의 집중적이고 지속적인 연산 요구에 최적화되어 있지 않다. 웹 애플리케이션이나 데이터베이스를 실행하는 데 효과적인 인프라는 현대적인 AI 워크로드에는 적합하지 않다.

이런 불일치의 결과는 이미 드러나고 있다. 더 많은 기업이 프라이빗 AI 인프라와 하이브리드 솔루션을 포함한 대안적인 접근 방식을 모색하고 있다. 기업은 간단하고 확장 가능한 AI 배포라는 퍼블릭 클라우드의 약속이 종종 성장을 어렵게 만드는 복잡성과 숨겨진 비용이 함께한다는 것을 깨닫고 있다.

이것은 기술적 한계에 관한 것이 아니라 비즈니스 모델의 적응에 관한 것이다. 퍼블릭 클라우드 서비스 업체는 AI가 인프라, 가격 책정, 서비스 제공에 대해 다른 접근 방식이 필요하다는 것을 인식해야 한다. 일반적인 컴퓨팅 자원에 대한 요금을 부과하고 AI 전용 서비스에 대한 프리미엄 요금을 추가하는 현재의 모델은 대부분 기업에 지속 가능하지 않으며, 그래서 많은 기업이 대안으로 이동하고 있다.

이 시장은 매우 크다. 기업이 AI 사업에 계속해서 막대한 투자를 할 것이기 때문에, 예측 가능한 성능, 합리적인 비용, 특화된 인프라를 제공할 수 있는 플랫폼으로 몰릴 것이다. 현재로서는 AI 전용 클라우드, 기존의 사내 하드웨어, 매니지드 서비스 업체, 그리고 코어위브(CoreWeave)와 같은 AI 중심 마이크로클라우드가 주요 대안이다. 퍼블릭 클라우드 서비스 업체가 충분히 빨리 적응하지 못한다면, 기업 컴퓨팅의 기본 선택지 지위를 잃을 위험이 있다. 하지만 아직도 필자를 비난하는 것을 보면, 아직 단서를 찾지 못한 것 같다.

기업의 대응 방안

빠르게 변화하는 AI 환경 속에서 기업은 중요한 기로에 서 있다. AI의 야망을 적절하게 지원하기에는 퍼블릭 클라우드 서비스 업체의 한계가 있다는 사실에 직면한 기업은 갈림길에 서 있다. 이런 어려움을 인식한 현명한 리더는 기업의 미래를 보장하기 위한 전략을 개발하고 있다.

인기 있는 접근법 중 하나는 하이브리드 전략이다. 하이브리드 전략은 퍼블릭 클라우드 자원의 민첩성과 프라이빗 인프라의 제어 간의 균형을 맞추는 이른바 ‘투트랙’ 전략이다. 기업은 실험을 위한 일시적인 자원으로 퍼블릭 클라우드를 활용하는 한편, 자원 집약적인 워크로드를 위해 전문화된 AI 인프라를 전용으로 사용한다. 유연성과 효율성, 이 두 가지 측면은 이미 오래전부터 사용되어 온 접근법이다.

비용 관리는 또 다른 중요한 고려 사항이다. 재무팀은 실시간으로 사용량을 추적하는 정교한 도구를 활용해 클라우드 비용을 꼼꼼하게 모니터링해야 한다. TCO를 분석하고, 예약 인스턴스와 약정 할인을 통해 예측 가능한 AI 워크로드에 가장 경제적인 옵션을 신중하게 선택한다.

비용 문제를 더 깊이 파고들면서 기업은 인프라 요구 사항에 대한 철저한 평가에 착수한다. 그리고 다음과 같은 중요한 질문을 던진다. 어떤 워크로드가 진정으로 클라우드 확장성을 필요로 하는가? 전용 하드웨어에서 효율적으로 실행할 수 있는 것은 무엇인가? 그리고 전문화된 AI 가속기에 투자함으로써 비용과 성능 사이의 적절한 균형을 찾는다.

위험 완화도 매우 중요하다. 업체에 종속되는 것을 방지하기 위해, IT 책임자는 애플리케이션의 이식성을 유지하고 컨테이너 오케스트레이션 기술을 연마한다. 데이터 아키텍처의 유연성을 수용하고 필요에 따라 방향을 전환할 준비를 한다.

앞으로의 길은 복잡할 수 있지만, 현명하게 나아가는 사람들은 AI가 주도하는 세상에서 성공할 수 있는 위치에 서게 될 것이다. 그것은 생존뿐만 아니라 성장과 혁신을 통해 AI의 진정한 힘을 활용할 수 있는 여정이다.
dl-itworldkorea@foundryco.com