최근 구글과 오픈AI가 선보인 새로운 생성형 AI 모델로 인해 양사의 데이터센터에 과부하가 걸렸다. 두 업체 모두 급증한 수요를 감당하기 위해 대응에 나섰다.

오픈AI CEO 샘 알트먼은 최근 챗GPT의 이미지 생성 서비스에 대한 수요가 폭주함에 따라 GPU 사용을 일시적으로 제한했다고 X에서 밝혔다. 이 조치는 오픈AI가 4o 이미지 생성 도구를 발표한 다음 날 이뤄졌다. 알트먼은 X 게시물에서 “많은 사용자가 챗GPT의 이미지 기능을 좋아해주는 점은 즐겁다. 하지만 오픈AI의 GPU가 녹아내리고 있다”라고 말했다.

챗GPT 서비스를 구동할 때 주로 엔비디아 GPU에 의존하는 오픈AI는 과거에도 AI 인프라가 과부하되는 문제를 겪은 바 있다. 알트먼은 시스템이 더 효율적으로 개선될 때까지 GPU 기반 AI 생성 기능 사용을 제한하는 속도 제한을 도입했다.

이와 비슷하게 구글도 최근 출시한 제미나이 2.5 AI 모델 수요 급증에 대응하고 있다.

구글 AI 스튜디오(AI Studio)의 개발자 도구의 제품 책임자 로걸 킬패트릭은 X에서 “현재 제미나이 2.5 프로에 대한 수요가 폭발적으로 증가하고 있다. 개발자들이 최대한 빨리 더 높은 속도 제한을 사용할 수 있도록 집중하고 있다”라고 전했다.

구글은 제미나이 실행에 최적화된 자체 제작 칩인 TPU(Tensor Processing Units)를 기반으로 AI 인프라를 구축했다. TPU는 다양한 AI 기능, 그래픽, 과학 애플리케이션을 실행할 수 있는 GPU와는 다른 종류의 칩이다.

끝없는 수요, 버거운 인프라

티리아스 리서치(Tirias Research)의 수석 애널리스트 짐 맥그리거는 수요 급증으로 인한 문제는 기업이 AI 서비스 중단을 막기 위해 안정적인 컴퓨팅 자원을 확보해야 한다는 점을 상기시킨다며 “이미지, 영상, 에이전트 등으로의 전환은 AI 연산 자원에 대한 수요를 계속해서 끌어올릴 것”이라고 지적했다.

오픈AI와 구글 서비스가 개인은 물론 기업에서도 널리 사용되고 있다. 여러 전문가의 의견에 따르면, 일반적으로 하드웨어가 새로운 AI 소프트웨어를 효율적으로 운영할 수 있을 만큼 발전하는 데는 시간이 걸린다. 이 과정에서 예기치 않은 서비스 중단이 발생하면 기업의 생산성에 부정적인 영향을 줄 수 있다.

반도체 컨설팅 기업 세미애널리시스(SemiAnalysis) 설립자 딜런 파텔은 “오픈AI는 새로운 모델을 출시할 때마다 항상 용량 문제를 겪어왔다. AI에 대한 수요는 끝이 없다”라고 말했다.

테크날리시스(Technalysis) 수석 애널리스트 밥 오도넬은 오픈AI의 이미지 생성 도구가 텍스트 생성보다 훨씬 더 많은 연산을 필요로 하며, GPU에도 더 큰 부하를 준다고 설명하며 “전형적인 시스템 과부하 상황”이라고 언급했다.

엔비디아의 GPU는 전력을 대량으로 소모하며, 과부하가 걸리거나 과열되면 스로틀링 현상이 발생한다. GPU는 낮은 온도에서 작동해야 최적의 성능을 낼 수 있기 때문에 온도가 높아지면 성능이 떨어질 수밖에 없다.

캐나다의 AI 기업 센트ML(CentML) CEO 게나디 페키멘코는 센트ML 역시 엔비디아 GPU 기반으로 서비스를 제공하면서 새로운 모델을 지원할 때 자원 수요가 특히 치솟는 현상을 겪고 있다고 밝혔다.

페키멘코는 센트ML이 올해 초 출시된 딥시크(DeepSeek)를 지원하기 시작한 직후 며칠 사이에 사용자 등록이 급증하는 현상을 겪었다고 설명했다. 센트ML은 가동 시간 보장, 예약 인스턴스, 결과 제공 보장 등 다양한 계획을 마련하고 있으며, 이는 모두 SLA(Service-level Agreements)에 포함된다고 설명했다.

토론토대학교 컴퓨터과학과 부교수이기도 한 페키멘코는 오픈AI가 수요를 충족하기 위해 할 수 있는 일이 많다고 설명했다. 모델 크기를 줄이거나 코드를 최적화하는 것이 대표적인 예다.

페키멘토에 따르면, 오픈AI의 GPT나 구글 제미나이 같은 LLM은 일부 상업적 용도로 사용하기에는 지나치게 무거울 수 있다. 연산 자원이 덜 들고 비용도 낮은 소형 언어 모델이나 오픈소스 모델만으로도 충분한 경우가 많다.

생성형 AI 연산 자원을 다양한 업체에서 구매하면 특정 대형 업체의 서비스 중단으로 인한 영향을 줄일 수 있다. 센트ML은 주요 클라우드 서비스 업체를 통해 연산 자원을 확보할 수 있는 옵션도 제공한다. 페키멘코는 “예전처럼 GPU 연산 자원 부족으로 AI 확장이 지연되던 시절과 달리, 이제는 컴퓨팅 자원이 부족하지 않다”라고 설명했다.

페키멘코는 알트먼이 언급한 GPU가 “녹아내리고 있다”라는 표현은 새로운 이미지 생성 모델을 홍보하기 위한 의도였을 가능성이 있다고 설명했다. “아마 오픈AI도 약간의 화제를 만들어내고 싶었던 것 같다. 그래서 이런 식으로 표현을 선택했을 것”이라고 말했다.

하드웨어만이 답은 아니다

주요 클라우드 서비스 업체는 급증하는 수요에 대응하기 위해 수십억 달러를 데이터센터에 투자하고 있다. 미국 대통령 도널드 트럼프는 최근 오픈AI, 소프트뱅크, 오라클 등 여러 기업이 참여하는 5,000억 달러 규모의 민간 부문 AI 인프라 구축 투자를 내세웠다.

한편 중국에서 출시된 딥시크 모델은 소프트웨어 최적화를 통해 더 합리적인 비용으로도 AI를 구현할 수 있다는 점을 입증했다. 이는 AI 확장을 위해 항상 더 많은 하드웨어가 필요하다는 기존 인식을 뒤집는 결과였다.

최근 보도에 따르면, 오픈AI는 자체 데이터센터 구축을 추진 중인 반면 마이크로소프트는 미국과 유럽에서 진행하던 데이터센터 프로젝트를 철수하고 있다. 이는 AI 연산 자원이 점차 과잉 공급될 수 있다는 신호로 해석된다.
dl-itworldkorea@foundryco.com