불과 얼마 전만 해도, 이를테면 지난해까지만 해도 기술 업계의 투자는 대형 인공지능 기업이 초대형 AI 모델을 학습시키는 데 수십억 달러를 쏟아붓는 데 집중돼 있었다.

이런 흐름은 빠르게 바뀌고 있다. 올해 CES에서 인공지능 추론이 기조연설과 주요 발표의 중심에 선 이유다. 추론은 AI 모델이 학습 단계를 넘어, 이미 습득한 정보를 활용해 이전에 보지 못한 새로운 데이터를 처리하는 단계를 의미한다.

레노버 최고경영자 양위안칭은 최근까지 대다수 인공지능 투자는 학습에 집중돼 있었다고 설명했다. 전체 AI 지출의 약 80%가 생성형 AI를 뒷받침하는 대규모 언어 모델 구축에 쓰였고, 나머지 20%가 추론에 사용됐다는 것이다.

하지만 이 비율은 변화하고 있다. 양위안칭은 CES 현장에서 기자들과 만나 “앞으로는 이 수치가 뒤바뀔 것”이라며 “80%는 추론에, 20%는 학습에 쓰이게 될 것이라는 것이 레노버의 전망”이라고 말했다.

이 같은 판단이 이번 주 레노버가 3종의 새로운 추론 서버를 공개한 배경이다. 양위안칭은 “이 흐름을 선도하고자 한다”라고 밝혔다.

업계 전문가에 따르면 이런 전환은 이미 진행 중이다. 딜로이트는 2025년 전체 AI 컴퓨팅의 절반이 추론 워크로드였으며, 이 비중이 2026년에는 3분의 2까지 늘어날 것으로 전망했다.

다만 레노버 인프라 솔루션 그룹 수석부사장 겸 대표 애슐리 고라크푸르왈라는 실제 인프라 지출은 다소 뒤따르고 있다고 설명했다. Computerworld와의 인터뷰에서 고라크푸르왈라는 “기초 모델을 학습할 때는 처음부터 대규모로 시작해 자본을 한꺼번에 투입한다”라고 말했다.

반면, 기업이 챗봇과 같은 인공지능 서비스를 도입할 때는 소규모로 시작해 점진적으로 확장한다. 고라크푸르왈라는 “기업은 배포하고, 반복 개선하며, 단계적으로 나아간다”며 “초기 챗봇 도입 비용은 크지 않다”라고 설명했다.

그럼에도 불구하고 2026년은 지출 측면에서도 추론의 전환점이 될 것이라는 분석이 나온다. 퓨처럼 그룹(Futurum Group)은 12월 보고서에서 “명확한 변화가 나타나고 있다”라며 “추론 워크로드가 2026년에는 학습 관련 매출을 넘어설 것”이라고 전망했다.

기업이 실험 단계를 넘어 실제 배포로 이동하면서 인공지능 추론 서버에 대한 수요가 증가하고 있으며, 하이브리드 및 엣지 배치도 함께 확대되고 있다.

이런 배경에서 레노버는 이번 CES에서 3종의 새로운 추론 서버를 공개했다.

신제품에는 제조, 의료, 금융 서비스 등에서 대형 대규모 언어 모델을 구동하도록 설계된 레노버 씽크시스템 SR675i, 기존 데이터센터에서 확장성과 배포 편의성을 강조한 레노버 씽크시스템 SR650i, 소매·통신·산업 환경을 겨냥한 소형 서버 레노버 씽크엣지 SE455i가 포함된다.

레노버의 추론 서버 진출은 이번이 처음은 아니다. 2025년 3월 엣지 인공지능를 위한 보급형 추론 서버를 처음 출시한 바 있다. 이 외에도 추론 전용이라는 명칭을 사용하지 않았을 뿐, AI 워크로드를 처리할 수 있는 서버를 이미 제공해 왔다.

레노버 솔루션 및 서비스 그룹 수석부사장이자 글로벌 최고정보책임자, 최고 딜리버리 및 기술 책임자인 아서 후는 기업이 자체 추론 서버 도입을 고려하는 주요 이유로 3가지를 꼽았다.

첫째는 클라우드 컴퓨팅 활용 전략의 변화다. 초기 실험 단계나 광범위한 지역에 서비스를 배포해야 할 경우 퍼블릭 클라우드는 유리하지만, 워크로드 규모와 예측 가능성이 명확해지면 추가 비용을 지불할 필요가 없다는 설명이다.

둘째는 데이터가 생성되는 지점에서 바로 활용해야 한다는 요구다. 후는 “모든 데이터를 항상 저장할 필요는 없다”며, 엣지 인공지능 서버를 활용하면 필요한 순간에 데이터를 처리한 뒤 폐기할 수 있다고 말했다.

셋째는 개인정보 보호, 보안, 데이터 주권에 대한 우려다. 그는 “기업은 데이터에 대한 통제와 거버넌스를 매우 민감하게 여긴다”라고 밝혔다.

기업이 자체 추론 환경을 운영할 경우, 데이터는 외부로 나갈 필요가 없다.

이번 주 CES에서 인공지능 추론에 베팅한 기업은 레노버만이 아니다. AMD는 기업용 온프레미스 추론을 겨냥한 AMD 인스팅트 MI440X 그래픽 처리 장치를 공개했다. 레노버의 경쟁사인 델과 HPE는 이번 행사에서 유사한 하드웨어를 발표하지는 않았지만, 지난해 각각 새로운 추론 서버를 선보였다.

델은 기존 데이터센터에 통합 가능한 공랭식 파워엣지 XE9780과 XE9785 서버, 랙 단위 배치를 지원하는 수랭식 파워엣지 XE9780L과 XE9785L 서버를 지난해 5월 공개했다.

HPE는 지난해 3월 최신 AI 서버 제품군을 발표했으며, 이 가운데 HPE 프로라이언트 컴퓨트 DL380a 12세대는 최대 16개의 그래픽 처리 장치와 직접 수랭 방식을 지원해 인공지능 미세 조정과 추론에 최적화됐다.

기업의 추론 수요가 빠르게 증가하고 있는 만큼, 올해도 주요 업체의 추가 발표가 이어질 가능성이 크다.

편집자 주 : 레노버는 이번 CES 취재와 관련해 기자의 교통 및 숙박 비용을 부담했으나, 기사 작성에는 어떠한 편집적 관여도 하지 않았다.
dl-itworldkorea@foundryco.com