북미의 한 제조사는 2025년 초까지 혁신 기업이 흔히 선택하는 방식대로 데이터 레이크, 분석, CI/CD, ERP 통합의 상당 부분까지 활용하며 퍼블릭 클라우드 표준화를 공격적으로 추진했다. 이사회는 단순화라는 서사를 좋아했는데, 단순화가 비용 절감처럼 들렸기 때문이다. 그 뒤 생성형 AI는 실험실 장난감이 아니라 경영 과제로 등장했다. 경영진은 “모든 곳에 코파일럿을 배치하라. 유지보수부터 시작해 조달, 콜센터, 엔지니어링 변경 지시까지 확대하라”라고 주문했다.

첫 파일럿은 관리형 모델 엔드포인트와 정보 검색 계층을 데이터 플랫폼과 같은 퍼블릭 클라우드 리전에 두는 방식으로 빠르게 가동됐다. 파일럿은 잘 작동했고 모두가 환호했다. 청구서는 그 다음에 도착했다. 토큰 사용량, 벡터 스토리지, 가속 컴퓨팅, 통합을 위한 데이터 외부 전송, 프리미엄 로깅, 프리미엄 가드레일이 청구 항목에 붙었다. 동시에 연쇄적인 클라우드 서비스 장애가 발생하면서 팀은 영향 범위, 의존성, 매니지드 서비스로 엮인 애플리케이션에서 “고가용성”이 실제로 무엇을 뜻하는지 불편한 대화를 시작해야 했다.

결정타는 비용이나 다운타임만이 아니라 근접성이었다. 가장 가치가 큰 AI 사용례는 설비를 만들고 고치는 사람과 가장 가까운 곳에서 나왔다. 설비 담당자는 네트워크 경계가 엄격하고 지연 시간 제약이 큰 제조 공장 인근에서 일했으며, 공장 운영 방식은 “서비스 업체가 조사 중” 같은 상황을 용납하지 않았다. 6개월 만에 이 기업은 공장 인근에 둔 프라이빗 클라우드로 AI 추론과 정보 검색 워크로드를 옮기기 시작했고, 퍼블릭 클라우드는 필요할 때만 모델 학습을 위한 일시적 대규모 작업에 활용했다. 변화는 후퇴가 아니라 균형의 재조정이었다.

AI로 바뀐 클라우드의 셈법

지난 10년 동안 프라이빗 클라우드는 디딤돌로 묘사되거나, 더 나쁘게는 포털을 붙인 레거시 가상화를 점잖게 부르는 표현으로 취급되곤 했다. 하지만, AI 덕분에 기업은 프라이빗 클라우드를 더 진지하게 재평가하게 됐다. 퍼블릭 클라우드가 갑자기 작동하지 않아서가 아니라, AI 워크로드의 프로파일이 “앱 서버와 데이터베이스를 옮겨라” 같은 워크로드와 다르기 때문이다.

AI 워크로드는 일시적인 자원 사용량 증가폭이 크고 GPU를 많이 잡아먹으며 비효율적인 아키텍처에 극도로 민감하다. AI 워크로드는 규모도 쉽게 불어난다. 하나의 어시스턴트가 수십 개의 특화 에이전트로 늘어나고, 하나의 모델이 여러 모델로 확장된다. 단일 부서에서 전사 차원으로 번진다. AI는 사용례마다 한계 효용이 크기 때문에 빠르게 확산하지만, 기본을 통제하지 못하면 한계 비용이 더 크게 튀어 오를 수 있다.

기업은 탄력성이 있다는 것이 비용을 통제할 수 있다는 것과 같은 뜻이 아니라는 점을 알아차리고 있다. 퍼블릭 클라우드는 필요할 때 확장할 수 있다. 하지만 AI는 비즈니스에 적용되면서 확장된 상태가 유지되는 경우가 많다. 코파일럿이 접수 워크플로우, 품질 검사 프로세스, 클레임 파이프라인에 한 번 적용되면, 전원을 끈다는 것은 현실적인 선택지가 되기 어렵다. 그때부터는 예측 가능한 용량을 오랜 시간에 걸쳐 상각하는 방식이 다시 재무적으로 매력적인 선택지가 된다.

비용은 더 이상 반올림 항목이 아니다

AI 경제성은 클라우드 비용에 대한 인식과 현실 사이의 격차를 드러낸다. 전통적인 시스템을 운영할 때는 예약 인스턴스, 리소스 최적화 도구, 몇 가지 아키텍처 손질로 비효율을 숨길 수 있다. AI 시스템은 낭비가 있는 그대로 드러난다. GPU를 오버프로비저닝하면 돈을 태워버리는 것과 마찬가지다. 그렇다고 필요한 것보다 적게 배치하면, 지연이 발생해 시스템이 고장 난 것처럼 느껴진다. 모든 구성을 프리미엄 관리형 스택에 묶어두면, 단위 경제성을 협상하지도 못하고 영원히 편의성의 대가를 치러야 할지도 모른다.

프라이빗 클라우드는 단순한 이유로 매력적이다. 기업은 표준화할 영역과 차별화할 영역을 선택할 수 있다. 추론을 위한 일관된 GPU 플랫폼에 투자하고 자주 쓰는 기능을 로컬에 캐시하며, 쿼리당 부과되는 요금의 부담을 줄일 수 있다. 기업은 실험과 일시적 대규모 학습에 퍼블릭 클라우드를 계속 활용할 수 있지만, 모든 추론 작업을 쿼리당 과금되는 소액 거래처럼 취급할 필요는 없다.

위험의 기준을 바꾸는 장애

대부분 기업은 시스템이 복잡하면 장애가 발생하기 쉽다는 것을 알고 있다. 2025년의 장애는 클라우드가 신뢰할 수 없다는 점을 보여준 것이 아니라, 많은 상호 연결 서비스에 의존할 때 서로 연결된 장애가 발생한다는 점을 드러냈다. AI 경험이 ID 서비스, 모델 엔드포인트, 벡터 데이터베이스, 이벤트 스트리밍, 가시성 파이프라인, 네트워크 상호연결에 의존하면 가동률은 수많은 가동 부품의 곱으로 결정된다. 아키텍처가 조립 가능한 것일수록 장애 지점은 늘어난다.

프라이빗 클라우드는 장애를 마법처럼 없애지 못하지만, 의존성을 줄이고 변경 관리 측면에서 더 많은 통제권을 확보할 수 있다. 핵심 프로세스 가까이에서 AI를 구동하는 기업은 통제된 업그레이드, 보수적인 패치 윈도우, 더 작은 도메인으로 실패를 격리할 수 있는 역량을 선호하는 경우가 많다. 과거에 대한 향수 때문이 아니라 운영 성숙도 때문이다.

중요한 것은 근접성이다

2026년에 가장 중요한 동인은 AI 시스템을 실제로 사용하는 프로세스와 사람 가까이에 두려는 욕구다. 근접성은 운영 데이터에 대한 저지연 접근, 사물인터넷과 엣지 환경과의 촘촘한 통합, 실제 업무가 돌아가는 방식과 맞물리는 거버넌스를 뜻한다. 브라우저 기반 챗봇은 쉽다. 하지만 제한된 네트워크 상에서 기술자가 실시간으로 장비를 진단하도록 돕는 AI 시스템은 전혀 다른 게임이다.

그 가치에 비해 좀처럼 주목받지 못하지만, 데이터 중력 문제도 있다. AI 시스템은 데이터를 읽기만 하지 않고 데이터를 만들어낸다. 피드백 루프, 사람의 평가, 예외 처리, 감사 추적은 1급 자산이 된다. 루프를 비즈니스 도메인 소유 조직 가까이에 두면 마찰이 줄고 책임성은 커진다. AI가 기업의 일상 계기판이 되면 아키텍처는 개발자만이 아니라 운영자를 섬겨야 한다.

프라이빗 클라우드 AI를 위한 5단계

첫째, 단위 경제성을 사후 분석이 아니라 설계 요구사항으로 취급해야 한다. 트랜잭션당, 직원당, 워크플로우 단계당 비용을 모델링하고 고정비와 변동비를 구분해야 하며, 확장하면 비용을 감당할 수 없는 AI는 조명이 더 좋아진 데모에 불과하다는 점을 인정해야 한다.

둘째, 의존성을 줄이고 장애 도메인을 명확히 하면서 복원력을 설계해야 한다. 프라이빗 클라우드는 도움이 될 수 있지만, 더 적고 더 신뢰할 수 있는 구성요소를 의도적으로 선택하고 합리적인 대체 기능을 구축하고 성능 저하 모드를 테스트해 장애가 발생해도 비즈니스가 계속 움직이도록 해야 한다.

셋째, 컴퓨팅만큼이나 데이터 로컬리티와 피드백 루프를 치밀하게 계획해야 한다. 정보 검색 계층, 임베딩 라이프사이클, 파인튜닝 데이터 세트, 감사 로그는 전략 자산이 되며, 시스템을 개선하는 팀이 최소한의 마찰로 거버넌스·보안·접근을 수행할 수 있는 위치에 배치해야 한다.

넷째, GPU와 가속기를 정교한 스케줄링, 쿼터, 차지백 정책을 갖춘 공유 엔터프라이즈 플랫폼으로 다뤄야 한다. 가속기 용량을 운영체제로 만들지 못하면 가장 목소리가 큰 팀이 용량을 차지하게 되며, 가장 중요하지 않은 팀이 용량을 점유하는 일이 벌어진다. 혼란은 기술 문제처럼 보이지만, 실상은 거버넌스 문제다.

다섯째, 보안과 컴플라이언스를 문서용 행사가 아니라 실용적인 체계로 만들어야 한다. 실무 역할과 맞는 ID 경계, 파이프라인의 자동 정책 강제, 민감 워크로드에 대한 엄격한 격리, AI가 소프트웨어이면서도 말하고 추천하며 때로 환각을 일으키는 소프트웨어라는 점을 인정하는 리스크 관리가 필요하다.
dl-itworldkorea@foundryco.com