오픈AI가 구글의 TPU(Tensor Processing Unit)을 테스트하기 시작했다. 오픈AI가 기반 인프라를 즉각 전환하지는 않겠지만, AI 추론 비용 상승과 그 여파를 우려하는 업계 전문가들의 이목을 끌기에는 충분한 소식이다.

오픈AI 대변인은 로이터에 “오픈AI 연구소가 구글의 TPU 일부를 초기 단계에서 테스트하고 있지만, 현재로서는 대규모로 배포할 계획은 없다”고 밝혔다. 하지만, 오픈AI가 LLM 운영을 확장하면서 증가하는 재정적·연산적 부담을 어떻게 관리할지에 업계에 관심이 쏠리고 있다. 특히 엔비디아 GPU의 수요, 공급 부족, 가격이 정점에 달한 상황이다.

애널리스트들은 이 문제의 핵심으로 추론 비용 상승을 지목했다. 포레스터의 부사장이자 수석 애널리스트인 찰리 다이는 “훈련에서 추론이나 파인튜닝 워크로드로의 빠른 전환이 이뤄지고 있으며, 쿼리당 비용이 운영 경제의 핵심으로 부상하면서 엔비디아 GPU 외의 대체 AI 칩 채택이 가속화되고 있다”고 말했다.

다이는 “오픈AI의 테스트는 모델 사용량이 급증함에 따라 치솟는 추론 비용을 억제하고 효율성을 개선하기 위해 LLM 업체가 특화된 하드웨어를 점점 더 모색하고 있다는 신호”라고 분석했다.

바클레이스는 소비자 AI 추론만을 위한 칩 관련 자본지출이 2026년에 1,200억 달러에 이를 것으로 예상하며, 2028년에는 1조1,000억 달러를 초과할 것으로 전망했다. 또한 오픈AI 같은 LLM 업체가 추론 비용을 절감해 수익성을 확보하기 위해 GPU 대신 주로 ASIC을 검토하고 있다고 덧붙였다.

구글 TPU의 강점

다이는 “추론이 오픈AI 컴퓨트 예산의 50% 이상을 차지하며, 특히 구형 TPU는 엔비디아 GPU에 비해 추론당 비용이 훨씬 낮다”라고 지적했다. 또, “구형 TPU는 최신 엔비디아 칩만큼의 높은 성능을 제공하지는 않지만, 전용 아키텍처 덕분에 에너지 낭비나 유휴 자원을 최소화해 대규모 환경에서 더 비용 효율적”이라고 평가했다.

옴디아의 대표 애널리스트 알렉산더 해로웰도 이에 동의했다. 해로웰은 “많은 AI 개발자가 TPU에서 다른 어떤 것보다 더 나은 FLOPS 비율을 얻는다고 말한다”라고 전했다. 또한 AI 칩은 기술 발전 속도가 빨라도 예상보다 시장에서 오래 쓰인다는 점도 장점이다. 해로웰은 “A100, A10, 심지어 T4 같은 제품도 여전히 판매되고 있다. 구글은 TPU v2도 제공하고 있는데, 이는 최초의 트랜스포머 논문보다도 오래된 제품”이라고 덧붙였다.

현재 구글 클라우드 플랫폼에서는 v2, v3, v4, v5, v6(트릴리움)까지 5세대 TPU를 판매 중이다. v5에는 고성능용 v5p, 효율성 중시형 v5e 두 가지 하위 모델이 있으며, 트릴리움(v6)에는 v6e만 문서상 존재한다. 구글은 v4에도 v4i라는 효율성 버전을 뒀지만 외부에 공개하지는 않았다.

구글은 4월에 차세대 TPU인 아이언우드(Ironwood)의 프리뷰를 공개했으며, 트릴리움은 물론 엔비디아, AMD, AWS, 마이크로소프트의 칩보다도 더 나은 가격대비 성능을 제공할 것으로 평가된다. 해로웰은 “오픈AI가 아이언우드 샘플을 1~2개 정도 테스트했을 수는 있지만, 대량 주문은 당장 어렵다”라고 덧붙였다.

대형 AI 업체의 칩 다변화 본격화의 신호

포레스터의 다이는 오픈AI가 구글 TPU를 도입할 경우 공급망을 다변화해 GPU 부족 같은 병목 현상을 피하고 가격 협상에서 유리한 위치를 확보할 수 있다고 평가했다. 오픈AI의 현재 칩 공급업체에는 마이크로소프트, 오라클, 코어위브(CoreWeave) 등이 포함돼 있다.

또한 AWS의 트레이니엄(Tranium), 마이크로소프트의 마이아(Maia)처럼 추론 워크로드나 AI 가속을 위한 맞춤형 실리콘을 채택할 가능성도 있다.

반면 독립 애널리스트 토마스 딘스모어는 오픈AI가 구글과 내부 테스트, 직원 교육, 캐시 애플리케이션 등 용도로 TPU를 활용하는 특별 계약을 추진하고 있을 가능성도 있다고 분석했다.
dl-itworldkorea@foundryco.com