인공지능은 이제 다른 지속적인 사업 비용과 마찬가지로 유틸리티 성격의 지출이 되었으며, 2026년 인공지능 예산을 수립하는 정보기술 리더는 인공지능 잠재력을 구현하는 현대적 데이터센터의 GPU라는 기초 자원 비용을 고려해야 한다.

챗GPT 등장 이후 3년 동안 더 많고 더 나은 생성형 인공지능 도구를 향한 추진은 빠른 속도로 이어졌다. 다만 이러한 성장은 GPU 공급 부족과 데이터센터를 가동할 에너지 용량 제한 속에서 인공지능 예산 급증이라는 비용 부담을 동반했다.

현재 GPU 사용 비용과 생성형 인공지능 도구 비용을 낮추기 위한 시도가 진행 중이며, 소형 데이터센터, 과금 도구, 소프트웨어 도구, 대체 하드웨어가 비용 절감의 중심에 서 있다.

전통적인 인공지능 예산 책정은 GPU 가격, 사용 시간, 인스턴스 요금에 크게 의존한다. 클라우드 제공자용 비용 분석 도구를 제공하는 덕빌의 클라우드 수석 이코노미스트 코리 퀸은 고급 구성의 온디맨드 GPU 인스턴스가 시간당 30달러 이상으로 “눈이 휘둥그레질 정도로 비싸다”라고 말했다.

코리 퀸은 “본격적인 인공지능 워크로드에서는 GPU 비용이 지출 항목의 대부분을 차지하는 경우가 많아 기업이 예약 용량과 스폿 인스턴스를 확보하려 안간힘을 쓰고 있다”라고 언급하며, 클라우드 서비스를 통한 인공지능 과금 구조가 “혼란스러운 상태”라고 덧붙였다.

정보기술 리더는 인공지능 워크로드의 예측 불가능성 때문에 고정된 컴퓨팅 자원에 약정하기 어렵다. 관리형 GPU 서비스, 인공지능 크레딧, 사용 약정 할인까지 더해지며 하이퍼스케일러는 비용 구조를 더욱 복잡하게 만든다.

또한 코리 퀸은 데이터 전송 비용, 학습 데이터 저장 비용, 인공지능 시스템을 실제로 작동시키기 위한 엔지니어링 투입 시간 등 간과되기 쉬운 비용 요소도 존재한다고 지적했다.

한편 네오클라우드로 불리는 소규모 클라우드 제공자는 더 많은 GPU를 확보해 정보기술 사용자에게 제공하고 있다. 여기에 해당하는 기업으로는 코어위브, 람다 랩스, 투게더 AI가 있다.

코리 퀸은 “이들 기업은 GPU 워크로드에만 집중하며 하이퍼스케일러 가격보다 30%~50% 낮은 요금을 제시해 의미 있는 시장 점유율을 확보하고 있다”라고 말했다.

네오클라우드는 상대적으로 제한된 지역 범위 내에서 할인된 GPU 제공에 집중하며, 일부 기업은 이러한 지리적 제약을 수용할 수 있다고 코리 퀸은 설명했다.

캐스트 AI의 공동 창업자 로랑 질은 인공지능 워크로드에 반드시 엔비디아나 AMD의 최신 GPU가 필요한 것은 아니라고 말했다. 로랑 질은 구형 GPU도 특정 인공지능 워크로드에서는 동일한 성능을 내며, 비용 절감을 위해 이러한 자원을 어디에서 확보할 수 있는지 파악하는 것이 중요하다고 강조했다.

로랑 질은 “아마존웹서비스에서 제공하는 엔비디아 A100과 H100의 스폿 가격은 지난해 대비 올해 80% 하락했지만, 이러한 가격 하락이 모든 지역에서 발생한 것은 아니다”라고 말했다.

캐스트 AI는 클라우드 제공자와 지역 전반에서 더 저렴한 GPU로 워크로드를 이동시키는 소프트웨어 도구와 인공지능 에이전트를 제공한다. 로랑 질은 “캐스트 AI의 에이전트는 사람이 한 달에 한 번 수행하는 작업을 매초 반복 수행한다”라고 말했다.

캐스트 AI는 CPU 최적화 기능도 제공하는데, CPU는 GPU보다 전력 소비가 훨씬 적다. 로랑 질은 에너지 소비가 인공지능 워크로드의 주요 병목 요인으로 부상하고 있다고 설명했다.

일부 기업은 가격과 GPU 가용성을 더 투명하게 만들기 위한 접근도 시도하고 있다.

스타트업 인터넷 백야드는 데이터센터 제공자가 GPU 용량에 대해 실시간 견적, 과금, 결제, 정산을 제공할 수 있도록 하는 화이트라벨 소프트웨어를 개발했다. 이 소프트웨어는 데이터센터 제공자의 내부 시스템에 직접 통합된다.

인터넷 백야드의 최고경영자 마이 트린은 “데이터센터 임차인 관점에서는 임차인 포털을 통해 실제 사용량과 연동된 실시간 GPU 가격과 에너지 사용 현황을 확인할 수 있다”라고 말했다.

인터넷 백야드는 아직 하이퍼스케일러와 협력하지 않고 있으며, 현재는 과금, 견적, 결제 처리를 표준화해야 하는 신흥 데이터센터 사업자를 주요 대상으로 삼고 있다. 마이 트린은 “데이터센터를 구축하는 사업자들과 이야기해 보면 모든 과정이 엑셀에서 처리되고 있으며, 실시간 가격 책정 체계가 없는 경우가 대부분”이라고 말했다.

인공지능은 성능과 직결되기 때문에 인터넷 백야드는 GPU 단위 요금이 아닌 성능 기반 가격 모델을 검토하고 있다. 마이 트린은 “가격을 성능 기준으로 책정하는 것은 매우 중요하며, 사용자가 실제로 비용을 지불하는 대상은 성능”이라며 “감가상각이 진행 중인 자산에 비용을 지불하는 구조가 아니다”라고 말했다.

인터넷 백야드의 투자자에는 세계 최대 데이터센터 기업 가운데 하나인 에퀴닉스의 공동 창업자 제이 아델슨이 포함돼 있다.

에너지도 GPU 가격을 좌우하는 중요한 요인이다. 인공지능 연산을 위한 GPU 수요가 전력 상한이 있는 전력망을 압도하면서 전력 요금 상승 압박을 키우고 있다.

2024년 맥킨지 연구에 따르면 2030년까지 미국 데이터센터는 전체 에너지 소비의 12%를 차지할 수 있다. 데이터센터 건설 열풍 속에서 전기요금이 급등하는 가운데, 지난주 여러 단체는 미국 의회에 데이터센터 건설 유예를 요청하는 서한을 제출했다.

파워래티스의 최고경영자 펑 조우는 대형 인공지능 제공자가 요구하는 미래 데이터센터의 에너지 수요는 지속 가능하지 않다고 말했다. 펑 조우는 “고밀도 인공지능 클러스터가 최고정보책임자로 하여금 인프라 로드맵과 비용 구조를 재검토하게 만들고 있다”라고 말했다.

파워래티스는 최신 칩의 전력 효율을 높이는 기술을 개발하고 있다. 파워래티스의 기술은 전력 소비를 줄이면서 더 많은 연산 성능을 확보하려는 인공지능 시대 반도체 기술 흐름 가운데 하나다.

펑 조우는 “인공지능과 GPU 서버의 신뢰성과 가동 시간은 핵심 요소이며, 이러한 요소는 최고정보책임자가 깊이 중요하게 여기는 사안”이라고 말했다.
dl-itworldkorea@foundryco.com