에이전틱 AI 도구는 값비싼 클라우드 GPU가 아니라, CPU에서도 구동 가능한 내장형 프로세스와 워크플로우에 더 가깝다.

초기 AI 모델은 대체로 엔비디아와 AMD의 고가 GPU를 기반으로 구축됐다. 강력한 연산 성능이 필요했기 때문이다. 그러나 비즈니스 프로세스와 워크플로우 관리에 뿌리를 둔 최신 에이전틱 AI 도구는 더 효율적이고 비용 효과적인 하드웨어에서도 실행될 수 있다.

그 결과, 여러 전문가는 여전히 ‘AI에는 GPU가 필수’라고 생각하는 IT 의사결정자라면 비용과 성능 측면에서 하드웨어 선택지를 재검토할 필요가 있다고 지적한다.

넥스트 커브의 수석 애널리스트 레너드 리는 “이제는 ‘AI 연산 비용’과 ‘에이전틱 AI 플랫폼 서비스 또는 시스템’ 관점에서 생각해야 한다”며 “‘AI 컴퓨팅’ 또는 ‘가속 컴퓨팅’은 이미 추론 가속기로서의 GPU를 넘어섰다”라고 말했다.

새로운 하드웨어 선택지에는 CPU와 특수 AI 칩, 즉 반도체 용어로 ASIC이 포함된다. 이런 칩은 수년 전부터 존재했지만, 에이전틱 AI가 대중화되면서 실질적인 유용성이 드러나고 있다.

무엇보다 컴퓨터의 핵심 칩인 CPU가 다시 주목받고 있다. 리는 “CPU는 AI 시대의 필수 기반으로 다시 자리 잡고 있다. CPU는 이제 전체 AI 스택의 오케스트레이션 계층이자 핵심 제어 플레인 역할을 한다”라고 설명했다.

티리아스 리서치의 수석 애널리스트 짐 맥그리거는 CPU가 전력 효율이 높고 엣지 AI에 적합하다고 평가하면서도, 작업에 따라 저전력 특수 칩이 더 적합할 수 있다고 덧붙였다. 맥그리거는 “대다수 경우 CPU보다 ASIC을 사용하는 것이 더 효율적이며, 플랫폼 수명 주기 전체로 보면 비용도 더 낮을 수 있다”라고 말했다.

페이버스테크의 수석 애널리스트 마이크 페이버스는 추론 작업의 증가는 GPU보다 더 효율적으로 처리하는 최적화된 AI 가속기의 기회를 열어주고 있다고 분석했다. 페이버스는 “CPU의 상대적 중요성이 상승하고 있다”라고 말했다.

엔비디아 역시 전력 소모가 큰 GPU 외에 저전력 칩의 필요성을 인지하고, 자사 하드웨어 스택에 추론용 ASIC을 이미 도입했다. 또한 최근에는 Groq의 AI 칩 기술을 200억 달러에 라이선스했다.

에이전틱 AI는 GPU 기반의 생성형 AI 학습과는 다른 컴퓨팅 모델을 요구하기 때문에, 기업은 클라우드 제공업체의 하드웨어 옵션과 가격 모델을 함께 고려해야 한다. J. 골드 어소시에이츠의 수석 애널리스트 잭 골드는 “이제는 모델 구축보다 모델 관리에 더 가깝고, 워크플로우 관리를 위해 CPU가 핵심 역할을 한다”라고 말했다.

가격 구조 역시 여전히 문제다. 단순 CPU 연산과 고강도 GPU 사용은 과금 방식이 다르기 때문에 비용을 정확히 산정하기 어렵다. 골드는 “GPU는 학습 작업에서 거의 100%에 가까운 사용률로 전력을 많이 소비하는 반면, 범용 연산 환경에서 서버와 CPU는 보통 40~60% 수준의 사용률을 보인다”며 “에이전트가 어떤 작업을 수행하느냐에 따라 변동성이 매우 크다”라고 설명했다.

골드는 향후 2~3년 내 AI 워크로드의 80~85%가 추론 중심으로 이동할 것으로 전망했다. 특히 도구들이 점점 더 에이전틱해지면서 이런 흐름은 가속화될 것으로 보인다. 골드는 CPU의 중요성이 커지고 있다며 하이퍼스케일러들이 이제 GPU뿐 아니라 CPU 확보에도 적극적인 이유를 짚었다.

예를 들어 구글, 아마존, 마이크로소프트 등 주요 클라우드 기업은 추론 작업을 위한 자체 CPU와 저전력 ASIC을 보유하고 있다.

겉으로 보기에는 CPU 수요가 다시 증가하는 것처럼 보이지만, 뉴리얼리티의 사업 개발 및 전략 파트너십 부사장 가우라브 샤는 사실 AI 인프라 복잡성이 급격히 증가하고 있다는 더 큰 문제를 지적했다.

샤는 “데이터 이동, 오케스트레이션, 네트워킹과 관련된 오버헤드가 폭증하고 있다”며 “CPU가 AI 연산을 더 많이 수행해서가 아니라, 시스템이 AI를 따라잡기 위해 고군분투하고 있기 때문에 수요가 늘고 있다”라고 설명했다.

기업뿐 아니라 생성형 AI 기업, AI 네이티브 기업, 네오클라우드 기업 모두 아키텍처를 재고해야 할 시점이다. 샤는 “승자는 서버당 코어 수가 많은 아키텍처가 아니라, 와트당 더 많은 추론을 처리할 수 있는 아키텍처가 될 것”이라고 말했다.
dl-itworldkorea@foundryco.com