AI 기술에 대한 수요가 급증하면서 데이터센터가 서버, 전력, 냉각 인프라에 대한 지출을 늘리고 있다. 델오로 그룹에 따르면, 그 결과 데이터센터 설비 투자 지출은 2024년의 4,300억 달러에서 2029년에는 1조 1,000억 달러에 달할 것으로 예상된다.

이런 성장의 대부분은 AI 덕분이다. 현재 기업은 데이터센터 설비 투자 예산의 약 35%를 AI에 최적화된 가속 서버에 지출하고 있으며, 이는 2023년의 15%에서 증가한 수치이다. 델오로 그룹의 애널리스트 바론 펑은 이 비율이 2029년에는 41%까지 증가할 것으로 전망했다.

하이퍼스케일러의 경우, 이미 예산의 40%를 AI 가속 서버에 지출하고 있어 AI의 비중이 더 크다. 그리고 가속 서버는 일반적으로 7,000~8,000달러 정도 하는 기존 서버보다 훨씬 비싸다. 펑은 “AI 서버는 특히 최신 엔비디아 CPU가 장착된 경우 10만~20만 달러에 달한다”고 설명했다.

그 결과, 아마존, 구글, 메타, 마이크로소프트의 4대 하이퍼스케일러가 올해 전 세계 데이터센터 설비 투자액의 거의 절반을 차지할 것으로 보인다. 펑은 “자체 데이터센터는 AI 인프라가 비용이 높고 활용률은 낮기 때문에 처음에는 대부분 AI 워크로드가 온프레미스가 아닌 퍼블릭 클라우드에 있을 것으로 예상한다. 하지만 기업이 AI 워크로드 활용에 대해 더 잘 이해하게 되면, 워크로드를 온프레미스로 다시 가져올 수 있다”고 덧붙였다.

펑의 예측은 최근의 AI 및 데이터센터 효율성 향상을 고려한 것이다. 예를 들어, 딥시크(DeepSeek)의 오픈소스 AI 모델은 모델 작동 방식에 대한 몇 가지 영리한 구조적 변경을 통해 LLM이 매우 낮은 비용으로 매우 높은 품질의 결과를 산출할 수 있음을 보여준 것으로 평가된다.

이런 개선은 다른 AI 업체에서도 빠르게 추진할 가능성이 크다. 펑은 “많은 AI 업체가 더 효율적인 모델을 내놓으려고 노력하고 있다. 비용을 줄이고 효율성을 높이기 위한 많은 노력이 이뤄지고 있다”라고 강조했다.

또한, 하이퍼스케일러들은 AI 작업에 최적화된 자체 칩을 설계하고 구축하고 있다. 델오로는 AI 가속기 시장만으로도 2029년까지 3,920억 달러에 이를 것으로 예상한다. 그때가 되면 맞춤형 가속기가 GPU와 같은 상용 가속기를 능가할 것이다.

전용 AI 서버의 배치는 네트워킹, 전력, 냉각에도 영향을 미친다. 결과적으로 데이터센터 물리 인프라에 대한 지출도 증가하겠지만, 그 속도는 완만해 2029년까지 연간 14%씩 증가해 610억 달러에 이를 것이다. 델오로 그룹의 설립자 탐 델오로는 보고서를 통해 “데이터센터 물리 인프라 구축은 AI 워크로드를 부하를 지원하는 전제 조건이다”라고 강조했다.

델오로 그룹은 2024년의 실제 결과가 기대치를 초과했고, 수요가 대형 클라우드에서 중소 등급 클라우드 서비스 업체로 확산되고 있다는 사실 때문에 이 분야에 대한 전망치를 높였다. 또한, 정부와 대형 등급 통신업체가 데이터센터 확장에 참여하면서 장기적인 추세가 되고 있다.

AI는 네트워킹에도 큰 영향을 미칠 것이다. AI 컴퓨팅 클러스터의 백엔드 네트워크를 지원하는 이더넷 네트워크 어댑터 시장은 2029년까지 연평균 40%의 성장률을 보일 것으로 예상된다. 전력도 많이 소비한다. 델오로 그룹에 다르면, 오늘날 평균 랙당 전력 밀도는 약 15KW이지만, AI 워크로드는 랙당 60~120Kw를 필요로 한다.

다른 조사 역시 이런 전망치를 뒷받침한다. IDC의 수치에 따르면, AI 관련 데이터센터 전력 소비량은 2027년까지 146TWH로, 매년 45%씩 증가할 것으로 예상된다. 10년 전만 해도 30MW 데이터센터는 큰 규모로 간주됐다. 하지만 맥킨지는 12월 보고서에서 “오늘날에는 200MW 시설이 일반적이다”라고 밝혔다.

맥킨지는 AI로 인해 지난 2년 동안 평균 전력 밀도가 랙당 8KW에서 17KW로 두 배 이상 증가했으며, 2027년에는 30KW까지 증가할 것으로 예상한다. 챗GPT와 같은 AI 모델을 훈련하는 데는 랙당 80KW 이상의 전력이 소비되며, 엔비디아의 최신 칩과 서버라면 랙당 최대 120KW의 전력이 필요하다.

한편, 현재의 공랭식 시스템은 랙당 약 50킬로와트의 효율성이라는 상한선을 가지고 있다. 그 결과, 데이터센터 운영업체는 수랭 시스템을 도입하기 시작했다. IDC의 9월 보고서에 따르면, 고밀도 랙을 사용하는 조직의 절반이 현재 액체 냉각을 주요 냉각 방법으로 사용하고 있다.

2024년 업타임 인스티튜트 보고서에 따르면, 데이터센터 전체의 22%가 현재 액체 냉각 방식을 사용하고 있으며, 61%가 도입을 고려하고 있다. 20MW 이상의 대규모 데이터센터는 38%가 이미 직접 액체 냉각 방식을 사용하고 있다. 수랭 시스템 전문업체인 액셀시우스(Accelsius)의 제품 마케팅 담당 이사 루카스 베런은 지난 해가 액체 냉각의 전환기였다고 말한다.

2023년 데이터센터 물리 인프라 시장은 기업들이 팬데믹으로 인해 지연되었던 디지털화 계획을 마무리하면서 호황을 누렸다. 베런은 네트워크월드와의 인터뷰에서 “2024년이 시작되면서 새로운 데이터센터 구축에 디자인 변화가 구체화되기 시작했다. 새로운 시설을 구축하는 경우, 처음부터 액체 냉각이 필요하지 않더라도 이를 고려해야 한다. 미래에 대비해야 하기 때문이다”라고 강조했다.

올해는 수랭 시스템의 화두는 확장이다. 베런은 “우리는 우리가 무엇을 하고 싶은지 파악했고, 그것을 어떻게 해야 하는지 꽤 잘 알고 있으며, 대규모로 인프라를 배치하기 시작할 것이다”라며, “이런 수랭 시스템 배치에 대한 자신감이 커질 것이며, 이는 업계가 채택을 가속화하는 데 도움이 될 것”이라고 덧붙였다.
dl-itworldkorea@foundryco.com