오늘날 급변하는 디지털 환경에서 AI는 변화를 이끄는 가장 강력한 기술로 자리 잡고 있다. 기업이 AI를 핵심 운영환경에 통합하려고 하면서 AI 워크로드를 어디에서 실행할 것인가는 중요한 문제가 됐다. AI의 위치 선정은 단지 성능의 문제가 아니라, 재무적인 영향과도 직결된다.

딜로이트의 최신 연구와 수십 년간의 현장 관찰을 기반으로 한 결론은 명확하다. AI를 구축하고 확장하는 데 있어 가장 높은 가치를 제공하는 것은 온프레미스 인프라, 즉 자체 데이터센터나 코로케이션 시설이다. 지난 10년간 하드웨어 가격은 급격히 하락했지만, 퍼블릭 클라우드의 비용 구조는 거의 변하지 않았기 때문이다.

클라우드 비용 절벽

딜로이트는 최근 연구에서 AI를 대규모로 실행하는 기업에 있어 ‘퍼블릭 클라우드 비용 절벽’이 가장 시급한 과제 중 하나라고 지적했다. 딜로이트가 밝힌 변곡점은 다음과 같다.

“퍼블릭 클라우드에서 AI 워크로드에 드는 비용이 전용 인프라 대비 60~70%에 도달하면, 이후부터는 프라이빗 인프라가 훨씬 경제적인 선택이 된다.”

초기에는 클라우드의 장점이 매우 매력적으로 느껴진다. 즉각적인 확장성, 빠른 프로비저닝, 그리고 매니지드 서비스 등 때문이다. 하지만, 파일럿이나 개념 검증 단계를 넘어 프로덕션 수준의 지속적인 AI 운영 단계로 들어서면, 클라우드 비용은 예상보다 훨씬 빠르게 증가한다.

클라우드에서 AI 학습이나 추론 같은 자원을 많이 소모하는 작업을 실행하면 예측 불가능한 요금이 발생할 수 있고, 이는 종종 재무팀을 당황하게 만든다. 더욱이, AI 워크로드는 ‘점착성’이 강해 많은 양의 컴퓨팅 자원을 지속적으로 필요로 하며, 이를 위해 특수한 GPU나 가속기 같은 고가의 자원이 필수적이다. 현재 이런 구성 요소를 10년 전보다 훨씬 저렴하게 구매할 수 있으며, 이는 기존의 경제성 논리를 뒤바꾸고 있다.

하드웨어 비용의 경제학

10년 전만 해도 AI에 필요한 고성능 하드웨어를 구매하는 것은 비용이 많이 들고 복잡하며, 위험부담도 컸다. 긴 조달 주기, 공급망 변동성, 그리고 최신 장비를 유지해야 하는 부담도 상당했다. 이때 퍼블릭 클라우드는 해결책이었다. 초기 비용 없이 최신 GPU 및 가속기를 사용할 수 있기 때문이다.

하지만 지금은 상황이 달라졌다. 제조 기술의 발전과 치열한 경쟁 덕분에 하드웨어 비용은 크게 하락했다. 최신 GPU, 스토리지, 네트워크, 심지어 고급 AI 칩까지 광범위하게 구할 수 있으며, 성능 단위당 비용은 과거보다 현저히 낮아졌다. 기업은 이제 클라우드 요금 몇 달 치로 자사 워크로드에 맞춘 고성능 AI 인프라를 직접 구매, 설치, 운영할 수 있다.

딜로이트의 연구는 기업 IT 책임자가 오랫동안 체감해 온 사실을 뒷받침한다. 퍼블릭 클라우드 요금은 하드웨어 가격 하락을 반영하지 않는다는 것이다. 단기적이거나 소규모 작업을 제외하면, 클라우드 기반 AI 인프라는 온프레미스나 코로케이션 대비 장기적인 비용 예측 가능성과 가치를 따라가지 못한다.

딜로이트의 연구는 단순한 비용 절감을 넘어 온프레미스 인프라가 가져다주는 운영 및 전략적 이점도 강조한다.

• 워크로드 맞춤화. 기업은 하드웨어를 AI 워크로드에 최적화된 형태로 정밀하게 구성하고 필요에 따라 업그레이드할 수 있다. 이는 퍼블릭 클라우드의 일반적인 설정으로는 구현할 수 없는 고효율 환경을 제공한다.
• 엣지 컴퓨팅 및 지연시간 단축. 실시간 처리가 필요한 AI 애플리케이션(공장, 헬스케어, 자율주행 등)은 클라우드 전송 지연을 감당할 수 없다. 물리적 현장 근처에 배치된 온프레미스 또는 코로케이션 인프라는 필수적인 ms 단위의 응답을 가능하게 한다.
• 데이터 주권 및 보안. 민감한 정보를 자사 환경 내에 보관함으로써 규제 준수를 간소화하고 외부 위협을 줄이며, 보안팀이 더 큰 통제력을 확보할 수 있다.
• 운영 예측 가능성. 예측 불가능한 클라우드 요금 폭탄을 피하고, 수년에 걸친 TCO의 명확한 예측이 가능해진다.

추구하는 가치와 TCO는 일찌감치 정의하라

가치와 TCO를 초기에 명확히 정의하는 것은 필수적이다. TCO를 엄밀하게 정의하지 않으면 성공과 비용이 많이 드는 실수를 가르는 결정적 차이가 될 수 있다. AI 인프라 결정은 수백만 달러, 경우에 따라 수천만 달러가 걸린 문제다. 하지만 분석이 성급하거나 불완전한 경우, 많은 기업이 퍼블릭 클라우드에 과도하게 의존하게 되고, 이후 비용이 급격히 상승하거나 성능이 기대에 미치지 못하는 상황을 겪게 된다.

포괄적인 TCO 분석은 하드웨어와 데이터센터 비용뿐 아니라, 전력, 냉각, 관리 인력 부담, 장비 교체 주기, 지원 비용 등 인프라의 수명 전반에 걸친 항목을 모두 포함해야 한다. 데이터 중력과 마이그레이션 비용 또한 반드시 고려해야 한다. 수 페타바이트에 달하는 데이터를 클라우드와 온프레미스 환경 간에 이동시키는 것은 기술적으로 복잡할 뿐 아니라, 재정적으로도 큰 부담이 될 수 있다.

계산을 잘못하면 그 대가는 상당하다. 딜로이트의 분석과 많은 CIO의 경험은 잘못된 플랫폼 선택이 수백만 달러에 이르는 과잉 지출로 이어질 수 있으며, 경쟁력을 약화시키고 기업을 경직된 운영 모델에 가두는 결과를 낳을 수 있음을 보여준다. 플랫폼 결정을 단발적인 비용으로만 간주하고, 그것이 장기적이고 복합적인 투자라는 점을 간과한다면, 기업 전체에 미치는 영향을 제대로 파악하지 못하게 된다.

AI 인프라는 단순한 배경 요소가 아니다. 혁신과 효율성의 핵심 동력이며, 얼마나 빠르게 모델을 학습할 수 있는지, 독점 데이터를 얼마나 안전하게 다룰 수 있는지, 새로운 애플리케이션을 얼마나 비용 효율적으로 확장할 수 있는지를 결정짓는다. 물론, 퍼블릭 클라우드는 여전히 중요한 역할을 한다. 특히 초기 개발 단계나 부하를 예측할 수 없는 상황에서는 여전히 효과적이다. 하지만 AI에 있어 모든 상황에 맞는 클라우드 솔루션의 시대는 저물고 있다. 하드웨어 비용의 하락과 프라이빗 및 코로케이션 배치의 운영 성숙도 향상 덕분에, 이제 기업은 자사 소유의 맞춤형 인프라에 투자함으로써 더 높은 통제력을 확보하고 더 나은 수익을 실현할 수 있다.

다음 AI 플랫폼에 대한 중대한 결정을 내리기 전, 잠시 멈춰서 전체적인 그림을 살펴보는 것이 필요하다. 먼저, 기업의 장기적인 가치란 무엇인지 정의해야 한다. 수치를 검토하고 다양한 시나리오를 테스트해야 한다. 오늘날과 같은 환경에서는 수천만 달러가 걸린 문제다. 올바른 전략을 수립하면, 기업의 AI 프로젝트는 강력하고 지속 가능하며, 예측 가능하고 실질적인 기업 가치의 원동력이 될 수 있다.
dl-itworldkorea@foundryco.com