몇 달 전 필자는 생성형 AI에 신중한 태도를 유지한다고 자부하던 한 글로벌 제조사와 일한 적이 있다. 이 회사는 클라우드 기반 ERP 마이그레이션 안정화, 핵심 고객 접점 애플리케이션 일부 현대화, 보안 강화에 집중했다. CIO는 생성형 AI에 대한 입장을 분명히 하며 “언젠가는 도입하겠지만 올해는 아니다. 준비가 되어 있지 않다”고 말했다.

이렇게 공식적으로는 “AI를 하지 않는” 회사이지만, 실제로는 이미 깊이 관여하고 있었다. 주로 사용하는 클라우드 서비스 업체가 이 회사가 사용하는 서비스에 AI 네이티브 기능을 조용히 통합해 둔 상태였기 때문이다. 신규 고객 포털에 도입한 검색 서비스는 의미 기반 모드와 벡터 모드가 기본값으로 활성화되어 있었다. 가시성 플랫폼은 AI 지원 형태로 바뀌면서 로그와 텔레메트리 처리 방식을 바꾸고 있었다. 데이터베이스 서비스 콘솔에는 “AI 통합” 체크박스가 새로 생겼고, 개발자 다수는 유용해 보이고 시험 비용이 낮다는 이유로 이런 기능을 활성화하기 시작했다.

6개월 뒤 인프라 비용 청구서는 크게 뛰었다. 동시에 아키텍처가 해당 클라우드 업체의 벡터 엔진과 AI 도구에 너무 깊게 결합돼 다른 곳으로 옮기기가 훨씬 더 어려워졌다. 핵심 데이터 스토어는 해당 클라우드의 벡터 엔진에 맞춰 최적화된 상태가 됐다. 워크플로우는 독점 AI 에이전트와 자동화 도구에 촘촘히 엮어 있었다. CIO와 IT팀은 뼈아픈 현실을 마주했다. 의도치 않게 AI 중심 조직이 되고, 이전보다 더 강하게 종속된 상태가 된 것이다.

원하지 않아도 찾아오는 AI

수년간 업계는 클라우드 우선 전략을 이야기해 왔고, 하이퍼스케일러는 컴퓨트, 스토리지, 데이터베이스, 글로벌 커버리지를 놓고 경쟁해 왔다. 하지만 생성형 AI가 판을 바꿨다. 무게 중심이 범용 인프라에서 AI 네이티브 플랫폼으로 이동하고 있다. GPU, 독자적인 파운데이션 모델, 벡터 데이터베이스, 에이전트 프레임워크, 코파일럿, 그리고 모든 것에 AI가 통합되고 있다.

이 변화는 클라우드 서비스 업체 스스로를 설명하는 방식에서도 드러난다. 실적 발표에서는 GPU와 AI 가속기 지출을 새로운 핵심 투자로 강조한다. 홈페이지와 컨퍼런스는 AI 플랫폼, 코파일럿, 에이전틱 AI를 전면에 내세우고, 전통적인 IaaS와 PaaS는 뒷전으로 밀렸다. 데이터베이스, 개발자 도구, 워크플로우 엔진, 통합 서비스는 기본값으로 켜져 있거나 클릭 한 번으로 활성화되는 AI 기능을 중심으로 재설계되거나 AI로 감싸는 형태로 바뀌고 있다.

겉으로는 뭔가 발전한 것처럼 보인다. 콘솔 곳곳에서 더 똑똑한 검색, 코드 자동 생성, 이상 징후 탐지, 예측 인사이트, AI 어시스턴트를 볼 수 있다. 하지만 이런 편의성은 대개 독자적인 API, 특정 관점이 반영된 데이터 형식, 그리고 워크로드와 데이터가 해당 클라우드 안에 머물 것이라는 전제를 바탕으로 돌아간다.

생각보다 더 큰 문제

업체 종속은 새로운 문제가 아니다. 기업은 매니지드 서비스와 이식성 사이에서 항상 균형을 맞춰야 했다. 지금 달라진 점은 AI 네이티브 기능으로 인한 종속의 정도와 시스템 전반으로 퍼지는 구조적 성격이다. 워크로드를 클라우드 서비스 업체의 독자적인 데이터베이스에 결합해도 보통은 노력을 들이면 데이터를 빼내 재플랫폼할 수 있다. 하지만 데이터 플랫폼 전체, 임베딩, 파인튜닝된 모델, 에이전트 워크플로우, 보안 태세를 하나의 AI 스택에 결합하면 이탈 비용과 기간이 한 차원 더 커진다.

학습과 추론 파이프라인은 다시 구축하는 비용이 크다. 벡터 인덱스와 임베딩은 클라우드 업체의 특정 방식에 묶인다. 에이전트 프레임워크는 해당 클라우드의 이벤트 처리, ID, 보안 시스템과 점점 더 깊게 통합되고 있다. 클라우드 서비스 업체의 독자적인 모델 동작과 도구 생태계에 의존하기 시작하면 기업은 더 이상 “컴퓨트를 쓰는 것”이 아니다. 기업은 AI 접근 방식 전체를 구매하게 된다.

가장 우려되는 점은 많은 기업이 이런 상태를 ‘선택’하기보다 ‘떠밀려가고’ 있다는 사실이다. IT팀은 기존 서비스에 번들로 들어온다는 이유로 AI 네이티브 기능을 켠다. 현업 부서는 더 넓은 아키텍처·재무 전략 없이 핵심 데이터에 연결된 AI 어시스턴트를 시험한다. 몇 차례 릴리스 주기가 지나면 분위기는 단순 실험에서 “수년, 수백만 달러 규모의 전환 없이는 이 플랫폼을 떠날 수 없다”로 바뀐다.

‘AI 준비 완료’가 실제로 의미하는 것

클라우드 서비스 업체는 자사 플랫폼에 대해 “AI 준비 완료”라고 홍보하며 유연성과 현대화를 암시한다. 현실에서 “AI 준비 완료”는 흔히 데이터, 도구, 런타임 환경에 AI가 “깊이 내장”됐다는 의미다. 로그는 이제 클라우드 업체의 AI 분석을 거쳐 처리된다. 애플리케이션 텔레메트리는 클라우드 업체의 AI 기반 가시성으로 라우팅된다. 고객 데이터는 클라우드 업체의 벡터 검색용으로 인덱싱된다.

단기적으로는 편리하지만, 장기적으로는 힘의 균형이 바뀐다. 단일 하이퍼스케일러의 AI 네이티브 서비스를 더 많이 소비할수록 하이퍼스케일러가 아키텍처와 비용 구조를 좌우한다. 그 결과 기업은 특정 워크로드에 더 적합할 수 있는 오픈소스 모델, 다른 GPU 클라우드, 소버린 클라우드, 프라이빗 클라우드를 채택하기가 어려워진다. 또한 의존성을 풀어내는 고통이 너무 크다는 이유로 요금 변경, 기술적 제약, 로드맵이 기업 이해관계와 맞지 않아도 수용해야 할 가능성이 커진다.

대안 클라우드의 부상은 변화의 신호

하이퍼스케일러가 수직 통합형 AI 플랫폼이 되기 위해 경쟁하는 동안 대안 클라우드도 등장하고 있다. 대안 클라우드는 GPU 중심 클라우드, 특화된 AI 인프라 플랫폼, 소버린 및 산업 특화 클라우드, 매니지드 서비스 업체가 운영하는 환경을 포함한다.

대안 클라우드는 “모든 것이 AI”를 지향하지 않는다. 대안 클라우드는 많은 경우 순수 GPU 용량, 더 명확한 비용 구조, 규정 준수·데이터 레지던시·통제권을 핵심 가치로 내세우는 환경 제공에 집중한다.

단일 하이퍼스케일러의 AI 네이티브 서비스에 전면적으로 투자할 준비가 되어 있지 않거나 백업 옵션을 찾는 기업이라면 이런 대안이 중요하다. 기업 통제 하에서 모델을 호스팅하고, 개방형 생태계를 지원하며, 장차 하이퍼스케일러에서 옮길 수 있는 워크로드의 착륙 지점이 될 수 있다. 하지만 이런 유연성을 유지하려면 시작 단계부터 통합 강도가 높은 독점 AI 스택을 피해야 한다.

통제권을 지키는 세 가지 조치

첫째, AI 네이티브 서비스를 어디서 어떤 방식으로 도입할지 의도적으로 결정해야 한다. 무료 체험이나 기본 설정이 아키텍처 전략을 규정하도록 방치해서는 안 된다. 클라우드 서비스 업체가 밀어붙이는 주요 AI 통합 서비스(벡터 데이터베이스, 에이전트 프레임워크, 코파일럿, AI 검색)마다 “나중에 전환 비용은 얼마인가”를 명확히 묻고, 어떤 데이터 형식·API·운영 의존성이 추가되며 다른 업체나 대안 클라우드, 자체 운영 환경으로 복제하는 것이 얼마나 어려운지도 따져봐야 한다.

둘째, 당장 옮길 계획이 없더라도 처음부터 이식성을 염두에 둔 AI·데이터 전략을 설계해야 한다. 가능한 한 임베딩에는 개방형 형식을 사용하고 원천 데이터는 이식 가능한 구조로 저장하며, 애플리케이션 로직은 독자적 AI 오케스트레이션에서 분리해야 한다. AI 서비스를 평가할 때는 단일 업체의 AI 생태계를 피할 수 있는 오픈소스 모델, GPU 중심 대안 클라우드, 프라이빗 클라우드와 소버린 클라우드 같은 대안을 함께 검토해야 한다. AI 서비스가 현재 또는 가까운 미래의 요구와 맞지 않는다면, AI에 과도하게 집중하는 클라우드 서비스 업체에서 일부 워크로드를 떼어내는 선택도 충분히 합리적이다.

셋째, 보안과 규정 준수만큼 AI 비용과 의존성도 핵심 거버넌스 이슈로 다뤄야 한다. AI 배포에 가시성을 포함해 어떤 팀이 AI 네이티브 기능을 켰는지 추적하고, 비용 영향과 장기적 플랫폼 리스크를 파악해야 한다. AI 네이티브 전환 속도가 빠른 클라우드 서비스 업체를 선택하기 전에는 해당 업체의 AI 서비스가 기업이 3~5년 동안 풀어야 할 문제에 적합한지 한발 물러서서 점검해야 한다. AI에 관심은 있지만 아직 필수가 아니라면, 새로운 AI 네이티브 기능을 받아들이기보다 더 중립적인 인프라 접근과 선택적 AI 구현을 고려해야 한다.

결론은 단순하다. AI 네이티브 클라우드는 다가오고 있고, 여러 측면에서 이미 현실이다. 이제 과제는 비용, 아키텍처, 전략 방향에 대한 통제권을 유지하는 것이다. 어려운 질문을 던지고 이식성에 집중하며, 하이퍼스케일러·대안 클라우드·프라이빗 환경 전반에 걸쳐 실질적 선택지를 유지하는 기업은 AI를 비용 폭탄이 아니라 전략적 우위로 바꿀 수 있을 것이다.
dl-itworldkorea@foundryco.com