2025년이 끝나가는 시점에서 마이크로소프트의 애저(Azure) 클라우드가 2020년대의 후반을 어떻게 대비하는지 살펴보는 일은 의미가 있다. 애저 클라우드의 CTO 마크 루시노비치는 이그나이트(Ignite) 행사에서 미래 청사진을 소개했으며, 올해는 인프라와 소프트웨어 두 부문으로 나눠 발표를 진행했다.

첫 번째 발표는 기반 인프라의 발전 방향과 기존 소프트웨어가 새로운 하드웨어 인프라를 활용하는 방법에 초점을 맞췄다. 매일 사용하는 가상 인프라 아래에서 무슨 일이 벌어지는지 이해하는 일은, 눈에 보이지 않는 곳에서 항상 변화가 일어난다는 점에서 흥미롭다. 일반 사용자는 API와 가상머신에만 접근할 수 있기 때문에 소프트웨어 밑에 있는 하드웨어를 걱정하지 않는다.

이런 추상화는 하이퍼스케일 클라우드의 강점이자 약점이다. 마이크로소프트는 코드에 영향을 주지 않으면서 하드웨어 전 영역을 지속적으로 업그레이드하지만, 사용자는 클라우드 플랫폼이 혁신을 모든 사용자에게 공개할 때까지 기다리거나 새 하드웨어가 먼저 적용된 일부 리전으로 코드를 옮겨야 한다. 일부 리전으로 코드가 이동하면 중복성 선택지가 줄어드는 데서 비롯되는 위험이 커진다.

그럼에도 마이크로소프트가 무엇을 하고 있는지 이해할 가치는 있다. 마이크로소프트가 도입하는 기술은 사용자와 가상 인프라에 영향을 미치기 때문이다.

미세유체공학으로 CPU를 냉각한다

마크 루시노비치의 첫 번째 발표는 데이터센터가 진화하는 방법으로 시작해 애저의 각 계층을 하나씩 훑는 방식으로 진행됐다. 플랫폼 규모는 확실히 인상적이다. 애저는 70개 이상의 리전과 400곳 이상의 데이터센터를 갖췄다. 애저 클라우드의 리전과 데이터센터는 대양 횡단과 대륙을 잇는 구간을 포함해 60만 킬로미터 이상의 광케이블로 연결돼 있으며, 주요 인구 거점이 같은 네트워크에 포함돼 있다.

워크로드가 진화하면 데이터센터도 진화한다. 이제 애저 하드웨어의 냉각 방법을 재검토해야 한다. 전력과 냉각 수요, 특히 AI 워크로드가 만드는 수요는 서버 재설계를 압박하고 있으며, 미세유체공학을 활용해 냉각을 칩 바로 위까지 끌어올리는 방식이 등장했다.

미세유체공학은 차세대 액체 냉각 기술로 평가된다. 현재는 칩 위에 냉각판을 올리는 방식이라면, 미세유체공학은 칩 패키징을 재설계해 냉각을 실리콘 다이에 직접 전달하는 개념이다. 냉각을 연산이 일어나는 위치에 바로 배치하면 하드웨어 밀도를 높일 수 있으며, 같은 패키징 안에서 메모리·프로세싱·가속기 사이에 냉각 계층을 끼워 넣는 적층 구성이 가능하다.

채널은 머신러닝을 사용해 설계하며, 일반적인 워크로드가 만드는 핫스폿에 맞춰 최적화된다. 마이크로소프트는 1세대 미세유체공학 에칭을 자체적으로 수행하고 있지만, 인텔과 AMD 같은 칩 업체와 협력해 칩을 납품 받기 전에 사전 에칭을 적용하는 방안을 추진하고 있다. 그리고 미세유체공학 기반 냉각은 CPU에만 국한되지 않는다. GPU에도 적용할 수 있다.

애저 부스트를 ‘부스트’한다

실리콘을 넘어 마이크로소프트는 오픈 하드웨어(Open Hardware) 기반 애저 서버에 새로운 세대의 애저 부스트(Azure Boost) 가속기를 더해 성능을 강화하고 있다. 애저 부스트는 마이크로소프트 서버 자산의 25% 이상에 이미 탑재됐고, 모든 신규 하드웨어에서 기본 구성으로 제공된다. 애저 부스트는 애저 자체 워크로드를 전용 하드웨어로 오프로딩해 사용자 테넌트와 플랫폼 애플리케이션이 가능한 한 많은 서버 성능을 활용하도록 설계됐다. 오버레이크(Overlake)라는 코드명으로 불리는 최신 애저 부스트 가속기에는 400Gbps 네트워킹이 추가되어 20Gbps의 원격 스토리지와 36Gbps의 직접 연결 NVMe 스토리지로 660만 IOPS를 제공한다.

내부에는 Arm 코어와 FPGA를 결합한 SoC가 들어가며, 쿠버네티스 컨테이너가 사용하는 것과 같은 애저 리눅스(Azure Linux)가 구동된다. 애저 부스트에는 하드웨어 암호화도 추가돼 애저의 기밀 컴퓨팅 기능과의 호환성을 보장하며, 서버와 애저 부스트 보드 사이의 경계를 넘어도 데이터를 암호화 상태로 유지한다.

애저 클라우드의 베어메탈

서버 관리의 상당 부분을 물리 하드웨어로 옮기면 마이크로소프트는 고객에게 베어메탈 호스트를 제공할 수 있다. 이 방식은 원래 오픈AI 학습 서버에서 사용됐으며, 네트워킹 하드웨어와 RDMA(Remote Direct Memory Access)를 가상머신에 직접 제공했다. RDMA는 VM 간 통신 속도를 높일 뿐 아니라 GPU 접근도 개선해 대용량 데이터가 더 효율적으로 이동하도록 한다. 애저 RDMA 서비스는 캐비닛 내부나 데이터센터 내부 운영만 지원하는 수준을 넘어, 애저 리전 내부에서 저지연 연결을 제공한다.

베어메탈 서버는 애플리케이션 성능을 크게 끌어올리지만, 실질적으로는 리전 RDMA와 함께 자체 슈퍼컴퓨터를 구축하는 대형 고객에게 의미가 크다. 다만 일반 사용자도 가상 인프라에서 더 나은 성능을 얻는다. 더 나은 성능을 얻으려면 가상머신과 컨테이너에 수반되는 오버헤드를 제거해야 한다. 루시노비치는 애저의 미래를 서버리스로 규정했으며, PaaS 환경에서 컨테이너를 호스팅하고 실행하는 방향을 제시했다.

서버리스 미래에는 새로운 형태의 가상화가 필요하다. 새 가상화는 중첩 가상머신 기반 애저 보안 컨테이너 모델을 넘어, 같은 수준의 보안과 격리를 유지하면서 하드웨어 접근을 제공해야 한다. 중첩 가상화는 보안 경계를 강제하기 위해 하이퍼바이저 안에 하이퍼바이저를 실행해야 했고, 같은 하드웨어의 다른 컨테이너를 악성 코드가 공격하지 못하도록 막아야 하기 때문에 지금까지는 구현이 불가능했다.

새로운 직접 가상화 기법은 추가 계층을 제거하고, 사용자 VM과 컨테이너 VM을 서버 하이퍼바이저에서 실행하면서 같은 애저 호스트 OS로 관리한다. 이 방식은 중첩 하이퍼바이저에서 발생하던 성능 오버헤드를 없애고, 가상화 클라이언트가 GPU와 AI 추론 가속기 같은 서버 하드웨어에 접근할 수 있다. 하드웨어 이슈가 발생했을 때 서버 간 마이그레이션 속도를 높이는 효과도 제공한다.

이런 접근은 애저 컨테이너 인스턴스(Azure Container Instances, ACI) 같은 마이크로소프트 서버리스 이니셔티브에 핵심이며, 관리형 컨테이너가 더 빠른 네트워킹과 GPU 등을 활용하도록 한다. 성능도 개선된다. 루시노비치는 포스트그레SQL 성능이 50% 개선되고 지연시간도 감소하는 것을 시연했다. 컨테이너에 GPU 접근을 제공하면 ACI는 AI 추론 워크로드를 호스팅할 수 있어 오픈소스 모델을 컨테이너로 가져올 수 있다. 이를 통해 사용자는 AI 파운드리(AI Foundry)에서 ACI 컨테이너를 더 효율적으로 이용할 수 있다.

가상 네트워크를 위한 맞춤 하드웨어

AI는 애저 데이터센터 설계에 상당한 영향을 미쳤으며, 특히 대형 고객은 핵심 인프라 기능에 대한 접근과 함께 최고의 성능을 요구한다. 이런 요구는 네트워킹까지 확장됐는데, 네트워킹은 그동안 라우팅·보안·로드밸런싱 같은 서비스를 처리하기 위해 전용 가상머신이 관리했다.

마이크로소프트는 ToR 스마트 스위치와 함께 가상 네트워크 어플라이언스를 호스팅하는 새로운 오프로딩 하드웨어를 배포하고 있다. 새 하드웨어는 소프트웨어 정의 네트워크 정책을 실행하며, 표준 애저 워크로드와 사용자 맞춤 연결성 모두에 대해 가상 네트워크를 관리하고 클라우드와 온프레미스 네트워크를 연결한다. 같은 하드웨어를 사용하면 운영에 영향을 주지 않으면서 트래픽을 보안 하드웨어로 투명하게 미러링할 수 있어, 특정 VM 사이 트래픽을 관찰하고 네트워크 침입과 기타 보안 침해 가능성을 탐지할 수 있으며, 공격자에게 단서를 줄 수 있는 지연시간을 추가하지 않는다.

스토리지를 더 빠르고 더 크게 확장한다

AI 워크로드가 사용하는 방대한 학습 데이터는 마이크로소프트가 애저 스토리지 프로비저닝 방식을 재고하도록 만들었다. 비디오 모델은 수백 페타바이트 규모 이미지 데이터와 테라바이트급 대역폭, 수천 IOPS를 요구한다. 이 수요는 이미 바쁜 스토리지 하드웨어에 큰 부담이다. 마이크로소프트는 이 문제에 대응해 ‘확장 스토리지 계정’을 개발했는데, 필요한 스토리지 용량을 제공하기 위해 여러 개의 표준 스토리지 계정을 묶어 가상 계정처럼 다루는 개념에 가깝다.

하드웨어를 바꿀 필요가 없으며, 새 가상 스토리지는 가능한 한 크게 확장하기 위해 필요한 만큼 스토리지 계정을 포함할 수 있다. 스토리지가 공유되기 때문에 각 스토리지 계정에서 병렬로 데이터를 가져오면 매우 좋은 성능을 얻을 수 있다. 루시노비치는 480개 노드에서 1.5페타바이트 데이터를 다루는 모습을 시연했는데, 쓰기 속도는 22TBps, 읽기 속도는 695개 노드에서 50TBps를 기록했다.

이런 진전의 상당 부분은 AI 학습 수요에 특화돼 있지만, 초대형 프로젝트가 만들어낸 기술이 일반 사용자에게도 영향을 미칠 것이다. 마이크로소프트가 서버리스 애저에 거는 기대는 관리형 컨테이너가 필요한 성능을 얻도록 가상 인프라 제공 방식과 차세대 데이터센터 구축 방식을 리팩터링하는 데 이런 기술 다수가 필요하다. 마이크로소프트의 대규모 AI 중심 투자는 이벤트 기반 IoT부터 분산 확장형 쿠버네티스까지 다양한 애플리케이션을 지원해야 하며, 아직 설계조차 시작하지 않은 플랫폼과 서비스도 대비해야 한다.

직접 가상화와 네트워킹 오프로딩 같은 기능은 가장 넓은 애저 고객층에 가장 빠른 성과를 제공할 수 있다. 더 빠르고 이식성 높은 VM과 컨테이너는 애플리케이션 확장성과 복원력을 높이는 데 도움이 된다. 소프트웨어 정의 네트워킹을 전용 서버로 오프로딩하면 가상 인프라를 보호하고 중요한 데이터를 지키는 새로운 보안 방식도 가능해진다.

마크 루시노비치의 발표에서 특히 흥미로운 대목은 이런 기술이 연구실에 머무는 단계가 아니라는 점이다. 이들 기술은 오늘도 신규 데이터센터에 설치되고 있으며, 기존 애저 플랫폼의 계획된 업그레이드에도 포함돼 있다. 이 관점에서 마이크로소프트가 내년에 어떤 새 발전상을 공개할지 지켜볼 만하다.
dl-itworldkorea@foundryco.com