지난 몇 년간 기업 IT 업계의 기본 전제는 AI가 다른 워크로드와 마찬가지로 퍼블릭 클라우드에 자리를 잡을 것이라는 가정이었다. 겉으로 보기엔 근거 없는 가정이 아니었다. 하이퍼스케일러들은 인프라와 GPU 용량, 관리형 서비스, 개발자 생태계를 갖추고 있었다. 빠르게 움직이려는 기업에 퍼블릭 클라우드 AI는 명백한 해답처럼 보였다.

하지만 현실이 그 논리에 도전장을 내밀고 있다. 기업이 AI 실험 단계에서 운영 단계로 넘어가면서, 퍼블릭 클라우드가 시작하기엔 편하지만 계속 쓰기엔 부담스럽다는 현실이 드러나고 있다. 기업은 스스로 통제할 수 없는 비용 모델, 완전히 차단하기 어려운 리스크, 기업 경제성이 아닌 공급자 규모에 맞춰진 아키텍처 위에 장기 AI 전략을 올려놓는 것이 타당한지 묻기 시작했다. 프라이빗 클라우드 AI가 부상하는 배경이 바로 여기에 있다. 기업이 온프레미스로 전환하는 것은 유행을 따르는 선택이 아니다. 많은 경우 재무적으로 합리적인 선택이기 때문에 전환하는 것이다.

토큰 기반 AI의 비용

시장은 여전히 토큰 기반 AI 가격 모델을 안정적이고 성숙한 경제 모델로 취급하고 있다. 하지만 실상은 다르다. 기업이 오늘날 지불하는 비용의 상당 부분은 공급업체가 도입을 보조하고 공격적인 할인을 제공하며 정상 수익보다 시장 점유율을 우선시하는 극도로 경쟁적인 환경을 반영한 것이다. 단기적으로는 희소식일 수 있지만, 이런 조건이 지속될 것이라 가정하는 것은 위험하다.

기업이 사용 규모를 확대할수록 토큰 소비는 흥미로운 지출 항목에서 심각한 재무 리스크로 바뀐다. 챗봇 파일럿 프로그램은 별개의 문제다. 비즈니스 운영, 고객 참여, 지식 시스템, 자동화, 분석, 임베디드 소프트웨어에 걸친 전사적 추론은 전혀 다른 차원의 문제다. AI가 비즈니스의 일상적인 운영 체계에 편입되면, 토큰 요금은 실험적 지출이 아닌 반복적인 공과금으로 바뀐다. 그 시점에서는 소폭의 가격 변동만으로도 예산에 큰 영향을 미칠 수 있다.

많은 기술 리더가 AI 비용에 대한 기존 가정을 재검토하면서, 현재 가격이 장기 비용을 반영하지 않을 수 있다는 사실을 깨닫고 있다. 보조금이 걷히고 사용량이 불어나면 토큰 단가는 급등할 가능성이 높으며, 대규모 퍼블릭 AI 운영의 경제성은 빠르게 무너질 수 있다. 기업이 피하려는 함정이 바로 이것이다. AI를 성공적으로 운영화했지만 퍼블릭 공급업체의 청구액이 늘어나 모든 사업적 성과를 상쇄했다고 설명하고 싶은 CIO는 없을 것이다. 기업은 클라우드 비용 초과에서 이미 이런 상황을 경험한 바 있으며, AI에서 같은 실수를 반복하고 싶지 않다.

하이브리드 AI, 자연스러운 최종 목적지

기업 AI의 미래는 퍼블릭 클라우드 아니면 온프레미스라는 이분법이 아닌 하이브리드라는 결론이 굳어지고 있다. 시장은 이념을 넘어 경제성, 거버넌스, 지연 시간, 제어권을 기준으로 워크로드를 배치하는 방향으로 성숙하고 있다.

모든 AI 과제에 대형 호스팅 모델이 필요한 것은 아니라는 점에서 이 전환은 시사하는 바가 크다. 사실 많은 기업 사용례가 그렇지 않다. 점점 더 많은 기업이 특정 비즈니스 과제에서 소규모 도메인 특화 모델이 대형 모델만큼, 혹은 더 뛰어난 성능을 낼 수 있다는 사실을 발견하고 있다. 일부는 튜닝된 모델을 사용하고, 일부는 전통적인 머신러닝과 예측 시스템에 의존하며, 일부는 검색 기술을 소규모 언어 모델과 결합한다. 특정 운영 도메인에 맞게 제약된 모델을 구축하는 곳도 있다.

이런 시스템은 대체로 프라이빗 인프라에 더 적합하다. 기업 데이터에 가까이서 실행되고, 예측 가능한 워크로드에 맞게 최적화할 수 있으며, 외부 토큰화 서비스의 불확실한 비용 구조를 피할 수 있다. 특히 모델이 소수의 사용자가 가끔 쓰는 것이 아닌 내부 비즈니스 프로세스 내에서 반복적으로 사용되는 경우에는 더욱 그러하다. 달리 말하면, 기업이 프라이빗 AI를 선택하는 이유는 단순히 퍼블릭 클라우드 가격이 마음에 들지 않아서가 아니다. 외부에서 가장 쉽게 가져다 쓸 수 있는 것에 의존하는 대신, 기업 요건을 충족하는 AI 시스템을 구축하는 법을 터득하고 있기 때문이다.

보안과 거버넌스

비용이 가장 시급한 문제이지만, 그것이 전부는 아니다. 보안과 거버넌스도 그에 못지않게 강력한 동인이 되고 있다. 기업은 민감한 정보가 퍼블릭 AI 도구, 퍼블릭 API, 모니터링과 통제가 어려운 사용자 워크플로를 통해 흐르는 상황을 점점 불편하게 여기고 있다. 막연한 우려가 아니다. 직원은 생산성 향상을 위해 기밀 정보를 퍼블릭 AI 인터페이스에 일상적으로 붙여넣는다. 개발팀은 정책이 따라잡을 수 없을 만큼 빠르게 움직이기도 한다. 비즈니스 부서는 거버넌스가 따라오기 전에 도구를 도입한다. 그 결과 AI 사용과 직결된 데이터 유출, 무단 노출, 컴플라이언스 위반, 보안 사고 리스크가 커지고 있다.

상황이 달라지고 있다. AI가 고객 기록, 재무 모델, 규제 대상 데이터 또는 기타 독점 정보를 다루게 되면, 초점은 배포 속도에서 비즈니스 핵심에 도입하는 리스크로 이동한다. 퍼블릭 클라우드가 강력한 보안을 제공할 수 있지만, 많은 기업은 민감한 AI 워크로드에 대해 더 나은 가시성, 접근 제어, 데이터 로컬리티, 정책 집행을 확보하기 위해 더 엄격한 내부 통제를 선호한다.

프라이빗 AI가 불확실성을 줄인다는 점은 의심의 여지가 없다. 프라이빗 AI는 데이터 저장 위치, 모델 사용 방식, 접근 권한, 시스템 감사 방식에 대한 통제권을 기업에 직접 부여한다. 리스크를 완전히 없애지는 못하지만, 리스크를 관리하기 쉽게 만든다.

어렵지만 가치 있는 프라이빗 AI

프라이빗 AI는 쉽지 않다. 온프레미스나 프라이빗 클라우드에서 AI를 구축하려면 투자, 계획, 전문 역량, 운영 규율, 그리고 더 많은 스택을 직접 관리하려는 의지가 필요하다. 퍼블릭 서비스가 추상화해주는 방식으로는 처리되지 않는 인프라 설계, GPU 활용, 수명 주기 관리, 모델 운영, 통합, 복원력을 기업이 직접 고민해야 한다.

이 부담은 곧 실질적인 리스크로 이어진다. 일부 기업은 운영 부담을 과소평가하고, 일부는 인프라에 과다 지출하며, 일부는 적절한 인재 확보에 어려움을 겪을 것이다. 그럼에도 많은 기업은 비용 절감 효과가 너무 강력해 무시하기 어렵다는 결론을 내리고 있다.

기업이 프라이빗 AI로 전환하는 것은 더 쉽기 때문이 아니다. 장기적으로 더 현명한 선택이기 때문에 전환하는 것이다. 나중에 지속 불가능해질 수 있는 가격 모델에 계속 노출되는 것보다, 지금 더 많은 책임을 짊어지는 편을 택하는 것이다. 미래 경제성이 불확실한 외부 플랫폼에서 핵심 인텔리전스를 빌리는 것보다 자체 역량에 투자하는 편을 선호한다.

퍼블릭 클라우드는 특히 실험, 버스팅, 특정 서비스 영역에서 여전히 중요한 위치를 차지할 것이다. 하지만 많은 프로덕션 워크로드에서는 균형이 이동하고 있다. 토큰 비용이 오르고 거버넌스 압박이 강해지며, 기업이 대규모 언어 모델에 의존하는 대신 목적에 맞는 모델을 구축하는 역량을 갖출수록, 더 많은 기업이 가장 가치 있는 AI를 자체 환경에 두어야 한다는 결론에 도달하게 될 것이다.
dl-itworldkorea@foundryco.com