지난 2년간 랙당 평균 전력 밀도는 8KW에서 17KW로 두 배 이상 증가했으며, 2027년까지는 30KW에 이를 것으로 예상된다. 이는 평균치일 뿐이며, 개별 랙의 전력 밀도는 더 높다. 맥킨지에 따르면, AI 모델 학습용 서버는 랙당 80KW를 넘을 수 있으며, 엔비디아의 최신 GB200 칩을 탑재한 서버는 최대 120KW까지 필요할 수도 있다.

대부분의 데이터센터 운영자는 랙당 전력 밀도가 20KW를 넘기면 공랭 기술만으로는 냉각이 불가능하다고 말한다.업타임 인스티튜트의 냉각 시스템 조사에 따르면, 2024년 초 기준, 22%의 데이터센터 운영자가 직접 액체 냉각 기술을 사용한다. 다만 대다수는 하이브리드 방식으로, 전체 랙 중 10% 이하에만 수랭 방식을 적용하고 있다.

그러나 AI 워크로드 확산 속도가 워낙 빠르기 때문에 액체 냉각 도입 속도도 가파르게 증가하고 있다. 시장조사업체 델오로 그룹은 예상보다 빠른 채택 속도를 반영해 수랭 시장 시장 전망치를 상향 조정했다. 전체 데이터센터 물리 인프라 시장 규모가 매년 14%씩 성장해 2029년에는 610억 달러에 이를 것으로 예상한다. 기존의 예상 성장률은 13%였는데, 여기에는 데이터센터 수랭 영역의 성장이 일조한다.

델오로 그룹의 설립자 탬 델오로는 “AI 워크로드는 가속화 서버를 밀집 구성할 경우 랙당 60~120KW가 필요하다”라며 “이런 급격한 전력 밀도 증가는 전력 분배 측면의 혁신과 제품 개발을 촉발하겠지만, 더 큰 변화는 열 관리의 발전, 공랭에서 수랭으로의 전환이다”라고 강조했다.

레노버의 AI 및 HPC 총괄 책임자 스콧 티즈는 “대부분 데이터센터는 여전히 공랭식이며, 익숙하고 관리가 용이하다는 점에서 선호되고 있다”라고 말했다. 티즈는 현재 전 세계 서버 중 액체 냉각이 적용된 비중은 3% 미만으로 추산했다. 다만 “수랭 도입이 2~3배로 확대되고 있으며, 계속 가속화되는 추세”라며 “현재 데이터센터 시장에서 빠르게 성장하는 부문 중 하나”라고 덧붙였다.

부동산 및 투자관리 기업 JLL의 보고서에 따르면, 공랭 방식은 랙당 20KW까지는 효율적이지만, 이를 초과하면 ‘후면 도어 열 교환(Active Rear Door Heat Exchange)’ 방식이 가장 효과적이다. 이 방식은 여전히 공기를 활용하지만, GPU에서 발생한 열을 서버 후면 도어를 통해 배출하는 수랭 방식의 일종이다. 100KW 수준에서는 DLC(Direct-to-chip Liquid Cooling, 칩 직접 냉각)가, 175KW를 넘으면 액침 냉각(Immersion Cooling)이 가장 적절하다. JLL은 “신규 데이터센터 건설에서는 수랭 인프라가 기본 옵션으로 자리 잡고 있다”고 설명했다.

그러나 이처럼 대규모 신규 데이터센터가 속속 건설되고 있음에도 공급은 수요를 따라가지 못하고 있다. 맥킨지는 전 세계 데이터센터 수요가 현재 60GW에서 2030년에는 최소 171GW, 최대 300GW트까지 증가할 것으로 내다봤다.

2024년 말 기준 북미 지역의 코로케이션 공실률은 역대 최저치인 2.6%에 불과하다. 수년간 사상 최대 수준의 신규 데이터센터가 건설됐음에도 이 같은 결과가 나타난 것이다. 빈 2세대 공간이 나오면 몇 주만에 다시 임대되는 상황이다.

이런 상황에서 일부 기업은 기존 데이터센터에 AI 서버를 억지로 밀어넣는 방식으로 대응하고 있다. 쉬운 선택은 아니다. 기존 공랭 데이터센터를 수랭식으로 개조하는 작업은 쉽지 않기 때문이다. 하지만 신규 공간이 마련되기를 기다리는 것보다는 낫고, 환경적으로도 더 유리할 수 있다는 평가도 있다.

수랭 기술 전문업체 액셀시어스(Accelsius)의 CEO 조시 클래먼은 “데이터센터의 탄소 배출 중 상당 부분은 건설 과정에서 발생하며, 특히 기초 슬래브를 설치하는 과정이 큰 비중을 차지한다”라며, “기존 인프라를 재활용하는 것이 더 나은 환경 전략일 수 있다”고 분석했다.

환경 측면의 이점에 더해 공랭식 데이터센터를 하이브리드 방식, 즉 공랭과 수랭 혼합 방식으로 업그레이드하면 다양한 장점이 있다. 마이리어드360(Myriad360)의 CTO 허브 호그는 “기업이 기존 설비를 버리고 처음부터 다시 시작하는 우를 범하지 않길 바란다”라고 지적했다.

호그는 수랭식이 공랭식보다 효과적이며, 두 시스템을 병행하면 공랭 시스템의 온도를 소폭 높여도 성능에는 지장이 없다고 강조했다. 특히, “전체 에너지 소비가 줄고 전기 요금도 낮아진다”라며, 운영 온도도 더 낮고 일정하게 유지돼 IT 장비의 마모를 줄일 수 있으며, 팬이 필요 없어 서버 내 가동 부품 수가 줄어든다고 분석했다.

다만, 하이브리드 시스템 구축 비용과 운영·유지보수에 필요한 전문 역량이 진입 장벽으로 작용할 수 있으며, 공간 제약 등 여러 과제도 존재한다. 그럼에도 호그는 “고밀도 서버 구성 환경에서는 충분히 현명한 접근법이 될 수 있다”고 밝혔다.

HPE의 HPC 및 AI 고객 솔루션 부문 부사장 제럴드 클레인은 또 다른 잠재적 이점으로 데이터센터에서 나오는 고온의 액체를 다른 건물이나 설비의 난방에 활용하는 방안을 제시했다. 클레인은 “전 세계 데이터센터가 소비하는 에너지를 모두 합치면 작은 국가보다 많은 수준”이라며, “한정된 자원과 에너지를 얼마나 효율적으로 쓰느냐가 우리 모두에게 중요한 과제”라고 강조했다.

데이터센터 운영자는 기존 설비에도 액체 냉각을 접목할 수 있는 다양한 방안을 고려할 수 있다.

공랭 데이터센터에 적용하는 수랭 시스템

서버 랙 근처에 물이 없는 데이터센테에서도 수랭식의 이점을 살릴 수 있다. 서버 내부의 팬을 액체 루프로 바꿔 GPU 상단의 냉각판에서 랙 도어까지 연결하는 방식으로, 열은 외부 공기로 방출된다. 액셀시우스의 클래먼은 “L2A(Liquid to Air) 방식은 업계에서 정착된 용어”라고 설명했다. 참고로, 액셀시우스도 최근 이런 제품을 출시했다.

GPU에서 발생한 열을 외부 액체 루프가 아닌 내부 루프에서만 방출하면 에너지 절감 효과는 다소 떨어지지만, 방향성 측면에서는 유의미한 진전이다. 제트쿨 테크놀로지스(JetCool Technologies)의 설립자 버니 말루인은 “모든 데이터센터가 수랭 시스템에 투자할 필요는 없다”라며, “상면이나 IT 구역에 배관을 도입하기 어렵거나, 바닥에 냉각 배관이 없는 코로케이션 환경이라면 다른 대안이 필요하다”고 지적했다..

말루인은 델을 통해 공급 중인 자급식 액체 냉각 솔루션을 소개하며, “배관이나 배수 설비 없이도 GPU의 열을 공기로 배출할 수 있는 액체 보조 냉각 시스템”이라고 설명했다. 또. “설비형 수랭 시스템만큼 성능이나 효율이 높지는 않지만, 인프라 구축 없이도 단기적인 해결책으로 유용하다”라고 덧붙였다.

이 방식만으로도 효과는 분명하다. 말루인은 “팬이 필요 없어 전력 소비가 약 15% 줄어들며, 이로 인해 AI 서버 랙에 더 많은 전력을 투입할 수 있다”라고 강조했다. 제트쿨에 따르면, 이 시스템은 최대 최대 50KW의 전력 밀도를 감당할 수 있다. 레노버도 이런 자급식 솔루션이 있는데, 티즈는 “넵튠 에어(Neptune Air)는 자급식 수랭 루프 시스템으로, 별도의 배관이 필요 없다”고 소개했다.

공랭 서버를 위한 수랭 시스템

이미 AI 서버를 공랭식으로 운영하고 있지만, 액체 냉각의 장점을 활용하고 싶다면 해결책은 있다. 데이터센터에 HVAC 시스템처럼 일부 물 공급 인프라가 갖춰져 있다면, 후면 도어 열 교환기를 추가해 서버에서 나오는 뜨거운 공기를 물로 냉각하는 방식을 택할 수 있다. 서버 자체는 교체할 필요가 없고, 수랭 방식을 적용할 수 있는 AI 서버를 새로 공급받는 데 걸리는 시간도 줄일 수 있다. 다만, 랙까지 물 배관을 설치하는 데 드는 비용은 고려해야 한다.

코로케이션 업체 플렉센셜(Flexential)의 COO 라이언 맬러리는 “플렉센셜은 모든 신규 데이터센터에 액체 냉각 배관을 사전 설치하고 있으며, 해당 공간은 일반적으로 12~24개월 전에 임대된다”고 전했다. 또 “서버 용량을 기업이 항상 이런 최신 시설을 이용할 수 있는 건 아니다”라고 덧붙였다.

이 때문에 많은 기업이 기존 데이터센터 공간을 이용해 수랭 시스템을 지원하도록 업그레이드하는 방법을 찾고 있다.맬러리는 “우리는 지붕에 열 방출 장치를 설치하고 바닥에 냉각용 배관을 깔고, 냉각수 분배 장치를 연결해 특정 랙 그룹, 심지어 고객이 원한다면 단일 랙에도 맞춤형 모델을 구축한다”라고 설명했다.

하지만 이 방식은 저렴하지 않은데, 1MW당 약 200~700만 달러의 초기 비용이 든다. 누군가 이미 배관을 설치해 둔 공간이 나오길 기다리는 건 운이 따라야 한다. 북미 지역은 데이터센터 공실률이 사상 최저 수준이기 때문이다. 시설을 개조한다고 해도 몇 개월이 걸린다. 맬러리는 “설계를 제대로 하기 위해서는 일찍부터 협의해야 하며, 한 달 안에 액체 냉각을 구축하려는 계획은 바람직하지 않다”라고 덧붙였다.

그럼에도 불구하고 이 방식은 완전한 신축 공간을 기다리는 것보다 빠르다는 평가다. 맬러리는 “현재 시장에서는 2026년, 2027년, 심지어 2028년까지의 용량이 미리 계약되고 있다”라며, “12개월 단위 예산을 운영하는 기업이라면 개조 설비를 고려하지 않고는 원하는 용량을 확보하기 어려울 수 있다”라고 말했다.

칩 직접 냉각

한편, 가장 이상적인 방식은 액체를 랙의 후면이 아닌, 서버 내부의 GPU 근처까지 직접 전달하는 DLC 방식이다. 이 방식은 서버 내부에 액체를 순환시키는 자립형 냉각 시스템과 데이터센터 물을 랙 뒤까지 공급하는 설비형 시스템의 장점을 모두 얻을 수 있다. 두 시스템은 열 교환기에 연결되며, 내부와 외부 액체는 섞이지 않는다.

수랭 시스템 전문업체 주타코어(ZutaCore)의 CTO 마이 트루옹은 “설비 물 순환 계통의 수질은 일관되지 않아, 유기물이 내부 기술 루프에 들어오면 곤란하다”고 설명했다. 따라서 한쪽 파이프는 데이터센터 주변을 돌며 서버 랙의 열을 모으고, 다른쪽 작은 파이프는 개별 서버나 랙 내부에 있다. 트루옹은 “내부 루프는 일종의 기술적 유체이며, 두 루프는 열 교환기를 통해 열을 주고 받는다”라고 덧붙였다.

오늘날 가장 일반적인 방식은 단상 액체를 사용하는 것으로, 물이나 물이나 프로필렌글리콜 같은 기화하지 않고 액체 상태를 유지하는 물질을 사용한다. 그러나 이 방식이 가장 효율적인 것은 아니다. 증발은 열을 방출하는 매우 효과적인 방식으로, 우리 몸이 땀을 통해 열을 식히는 원리와 같다. 서버 온도를 물을 끓이기는 어렵지만, 물보다 끓는점이 낮은 액체를 사용하면 가능하다.

텍사스대학교 댈러스캠퍼스의 시안밍 다이 교수는 “2상 냉각(two-phase cooling)은 가장 효율적인 냉각 기술”이라고 평가했다. 실제로 이 기술은 곧 상용화될 전망이다. 엔비디아 CEO 젠슨 황은 올해 3월 GTC 기조연설에서 2027년 하반기 출시 예정인 루빈 울트라 NVL576을 공개하며, 랙당 전력 밀도 600KW를 지원할 것이라고 밝혔다. 이에 대해 트루옹은 “600KW급 랙이 등장하면 업계는 단상 냉각에서 2상 냉각으로의 전환을 피할 수 없게 될 것”이라고 평가했다.

또 다른 고효율 냉각 방식으로는 액침 냉각(immersion cooling)이 있다. 캐스트롤(Castrol)이 2024년 3월 발표한 조사에 따르면, 데이터센터 업계 리더 600명 중 90%가 2030년까지 액침 냉각 도입을 고려 중이다. 하지만 누수 가능성, 구현 시간, 유지보수의 어려움을 단점으로 꼽았다.

글로벌 인프라 업체 에퀴닉스는 72개 시장에 260개 이상의 데이터센터를 운영 중이며, 이 중 100곳에 이미 수랭 시스템을 적용했다. 이와 함께 기존 시설의 개조와 신규 수랭 시설 구축도 계속 진행 중이다. 에퀴닉스의 데이터센터 서비스 수석 디렉터 필 리드는 “액침 냉각에 대한 수요는 아직 뚜렷하게 나타나지 않았다”라며, “향후 주목할 만한 영역”이라고 평가했다.

액침 냉각 기술에는 여전히 몇 가지 과제가 있다. 리드는 “서버 전체를 액체에 담가야 하므로 장비 하중이 차량 무게에 근접할 수 있어 바닥 구조물에도 부담이 간다”고 지적했다. 또, 액침 냉각에 사용하는 액체의 종류 자체도 또 다른 고민거리로 떠오르고 있다.

리드는 “에퀴닉스는 강력한 지속가능성 전략을 추구하고 있는데, PFAS(과불화화합물) 계열 화학물질은 매우 문제가 되는 요소”라며, “그런데 이 물질이 액침 냉각뿐만 아니라 2상 냉각 기술에도 사용되고 있다”고 지적했다.

차세대 AI 서버의 전력 및 냉각 수요를 업계가 어떻게 감당할지는 아직 명확하지 않다. 어쩌면 AI가 그 해법을 제시해 줄지도 모를 일이다.
dl-itworldkorea@foundryco.com