울트라 이더넷 컨소시엄(Ultra Ethernet Consortium, UEC)이 1.0 사양을 발표하고 HPC 및 AI를 위한 이더넷 준비에 나섰다. UE(Ultra Ethernet) 사양 1.0에는 AI와 HPC 요구 사항에 맞춰 설계된 현대적인 RDMA(Remote Direct Memory Access) 접근 방식, 새로운 전송 프로토콜, 혼잡 제어 메커니즘이 포함된다.

2023년 중반, 시스코, 아리스타, HPE, 인텔 등 유수의 네트워크 업체가 모여 울트라 이더넷 컨소시엄(Ultra Ethernet Consortium, UEC)을 결성했다. 목표는 AI와 HPC 환경의 요구를 충족할 수 있도록 이더넷을 개선하는 데 있다.

약 2년이 지난 지금, UEC는 최초 설립 당시의 약속을 실현하며 첫 번째 UE 1.0 사양을 공식 발표했다. 이 사양은 고처리량 네트워크 환경에서 지연 시간을 줄이기 위한 이더넷 고도화 방안을 구체적으로 담았다. 주요 내용으로는 현대적인 RDMA 접근 방식, 직접 메모리 접근 구현, 전송 프로토콜, 혼잡 제어 메커니즘이 대표적이다.

UEC 운영위원회 의장인 J. 메츠는 필자와의 인터뷰에서 “당초 이더넷에 대한 개방형 접근 방식을 모색하던 초기 기업은 주로 HPC에 집중하고 있었다. 당시에는 고성능 네트워크가 가장 요구되는 분야가 바로 HPC였기 때문이다. 하지만 UEC가 공식적으로 조직을 구성하고 설립한 지 몇 달 만에 챗GPT가 세상을 바꿔놓았다”라고 말했다.

메츠는 “다행히 UEC는 AI를 애초부터 계획에 포함하고 있었기 때문에 이에 대한 준비가 돼 있었다. 이 경험을 통해 우리가 하고 있는 작업이 얼마나 중요한지 새삼 깨닫게 됐다. HPC는 관심을 끄는 범위가 제한적인 반면, AI는 산업 전반에서 폭넓은 주목과 집중을 받는다. UEC가 출범했을 때부터 사양을 발표하기까지 이런 변화가 말 그대로 가장 큰 전환점이었다”라고 말했다.

1.0 사양의 의미… 단순한 버전 넘는 ‘이정표’

일반적으로 1.0 버전의 사양은 해당 기술이 일정 수준의 안정성과 신뢰성을 확보했음을 의미하며, 기업과 구현 주체가 실제 도입을 검토할 수 있는 기반이 된다. 메츠는 “1.0은 단순한 표준 문서의 버전을 넘어선다. 이는 여러 기업과 조직이 네트워크를 워크로드 요구 사항에 맞춰 정렬시키기 위해 풀스택 방식으로 접근한 결과이자 하나의 이정표”라고 설명했다.

메츠는 “이더넷은 다양한 워크로드를 수용하도록 설계된 매우 유연한 범용 네트워크지만, 오히려 그 유연성은 가장 까다로운 워크로드에서 한계로 작용할 수 있다는 인식이 있었다. 하지만 UEC에서 확인한 사실은 이더넷을 특정 워크로드 요구에 맞게 조율하는 일은 어렵지만 불가능하지는 않다는 것”이라고 강조했다.

이더넷을 조율하려면 네트워크 계층과 관련해 어떤 규칙을 언제 깨야 하는지 정확히 아는 역량이 필요하다. 메츠는 UEC가 이 문제를 개방형 표준으로 풀어냈다고 설명했다. 계층 간 충돌은 워크그룹 간 협업을 통해 해결하고, 완전히 새로운 프로토콜로 여겨질 수 있는 문제는 SNIA, OCP, IEEE, DMTF, NVM 익스프레스(NVM Express)와 같은 생태계 업계 파트너와의 긴밀한 협력을 통해 해결했다고 설명했다.

메츠는 “단순히 사양을 만드는 것을 넘어, UEC 도입이 일회성 혹은 고립된 계획이 아니라는 확신을 사용자에게 줄 수 있는 장기적인 프레임워크를 구축하는 것이 핵심”이라고 덧붙였다.

UE 1.0의 핵심은 “혼잡 제어”

UE 1.0 사양에서 가장 주목할 만한 혁신은 새로운 네트워크 혼잡 제어 메커니즘이다. 이는 AI 워크로드에 특히 중요한 요소로 꼽힌다.

메츠에 따르면, UEC의 혼잡 제어 접근 방식은 기존처럼 손실 없는 네트워크에 의존하지 않는다. 또한 송신 측이 일방적으로 데이터를 보내는 기존 방식과 달리, 수신 측이 네트워크 상황에 따라 송신 속도를 제한할 수 있는 새로운 방식도 도입됐다.

메츠는 “이런 기본 기능은 더 크고 효율적인 네트워크를 구축하는 데 도움이 되기 때문에 AI 워크로드에 매우 중요하다. AI 모델의 학습 및 추론 시간을 단축하는 데 핵심적인 요소”라고 말했다.

HPC와 AI 분야에서는 인피니밴드(Infiniband)가 성능 면에서 이더넷보다 우월하다는 평가를 받아 왔다. 하지만 UEC는 다양한 측면에서 이 두 기술 간의 격차를 크게 좁힐 수 있을 것으로 기대한다.

메츠는 “UEC는 워크로드 의미론 기반 접근 방식을 취한다. 간단히 말해, 애플리케이션을 수정하지 않고도 패킷 전달을 최적화할 수 있도록, 워크로드에 맞춰 네트워크가 갖춰야 할 특성을 정의하는 방식이다. 의미론적 요구사항을 파악하면 패킷 전달 시스템에 필요한 조정으로 이어지고, 이는 다시 혼잡 제어, 보안, 전달 순서 등 다양한 네트워크 요건 정의로 연결된다”라고 설명했다.

UEC는 패브릭 종단점이 단일 NIC 포트에 하드웨어적으로 고정되지 않는 네트워크 환경을 구현한다. 네트워크 내 모든 경로를 유동적으로 활용할 수 있는 새로운 핵심 기능을 제공하며, 트랜잭션이 진행되는 동안에만 상태 정보를 유지함으로써 메모리 요구량을 줄이고 별도의 스위칭 인프라도 필요하지 않다.

네트워크 업계 참여 확산

지난 2년간 UEC를 지지하는 네트워크 업체가 꾸준히 늘어나며 생태계가 확대되고 있다.

초기 지지 기업인 아리스타의 개발 총괄 책임자 휴 홀브룩은 필자와의 인터뷰에서 “1.0 릴리스에서 가장 핵심적인 성과는 신규 전송 프로토콜 사양이다. 이 프로토콜이 지연 시간 분산 최소화(low tail latency), 빠른 시작 속도, 현대적인 혼잡 제어, 암호화 등 미래 지향적인 AI와 HPC 요구사항을 염두에 두고 설계됐다”라고 말했다.

아리스타의 클라우드 및 AI 플랫폼 부문 부사장이자 총괄 책임자인 마틴 헐은 “UE 1.0 사양을 적용할 준비가 이미 제품 포트폴리오 전반에 걸쳐 완료돼 있다. 아리스타는 7060X 및 7800R 제품을 시작으로, 이더링크(Etherlink) 제품군 전반에 걸쳐 UE 1.0 기반의 스위칭 기능을 지원할 예정”이라고 설명했다.

주니퍼 네트웍스 역시 UEC 지원에 나서고 있다. 주니퍼 네트웍스의 데이터센터 제품 마케팅 총괄 아밋 샤날은 “UE 1.0 사양이 스위치 단에서의 패킷 분산과 NIC 단에서의 재정렬 기능을 가능하게 한다는 점에 특히 주목하고 있다. 이번 접근 방식은 개방형 표준 기반으로 네트워크 활용도를 크게 향상시킨다. 지금까지는 독점적이고 폐쇄적인 시스템에서만 가능했던 기능이 이제는 UEC를 통해 실현될 수 있다”라고 전했다.

샤날은 UEC 도입 측면에서 주니퍼가 AMD와 협력해 공동 검증된 설계안을 준비하고 있다고 밝혔다. 이 설계는 주니퍼의 고성능 스위치와 UEC를 지원하는 AMD의 폴라라(Pollara) NIC를 결합한 형태다.

UEC를 초기에 지지한 또 다른 기업인 HPE는 UE 1.0 사양에 포함된 기반 IP의 상당 부분을 제공했다.

HPE 아루바 네트워킹의 최고 기술 책임자 마크 피어슨은 필자와의 인터뷰에서 “UE 1.0 사양의 핵심 구성 요소인 UET(Ultra Ethernet Transport) 프로토콜의 약 75%는 HPE의 슬링샷(Slingshot) 전송 기술을 기반으로 한다. 이 기술은 전 세계 최고 수준의 슈퍼컴퓨터에 이미 적용된 검증된 기술”이라고 설명했다.

이어 피어슨은 HPE 아루바 네트워킹 CX 라인과 향후 출시될 CX 데이터센터 스위칭 제품군을 포함한 자사 스위치 포트폴리오에 UE 1.0 사양을 적용하고 있다고 밝혔다.

다음 단계로 향하는 UEC

메츠에 따르면, UEC의 여정은 이제 막 시작됐을 뿐이다.

1.0 사양 개발이 본격화된 이후, UEC에서 총 4개의 워킹그룹이 새롭게 출범했다. 각 워킹그룹은 UEC 도입을 더 간단하고 견고하게 만들기 위한 고유한 과제를 수행 중이며, 구성은 스토리지, 관리, 컴플라이언스, 성능 분야로 나뉜다. 메츠는 이들 워킹그룹 모두가 UEC의 사용 편의성 강화, 효율성 개선, 간편한 프로비저닝 등을 위한 후속 프로젝트를 활발히 추진하고 있다고 전했다.

UEC는 네트워크 관리자가 UEC 기술과 개념을 이해할 수 있도록 돕는 교육 자료도 개발 중이다. 업계 생태계 파트너와의 협업도 강화하고 있다.

메츠는 “OCP, NVM 익스프레스, SNIA 등과 함께 다양한 프로젝트를 진행 중이다. 물리 계층부터 소프트웨어까지 각 계층별 협업이 계속 확대되고 있다. UEC는 모든 것을 혼자서 해결하려 하지 않는다. 업계 전반의 전문가와 함께 문제를 풀어나가기 위해 협력하고 있다”라고 강조했다.
dl-itworldkorea@foundryco.com