클라우드의 큰 선물 중 하나는 인프라 운영에서 이른바 ‘표시 나지 않는 않는 고된 작업’을 AWS 같은 서비스 업체가 대신 떠안아줬다는 점이다. 컴퓨팅이 필요하면 버튼을 누르고, 스토리지가 필요하면 또 다른 버튼을 누르면 됐다. 데이터베이스가 필요해도 세부 운영은 다른 누군가가 알아서 처리했다. 매니지드 인프라의 핵심 가치는 대부분 기업이 저수준 시스템 엔지니어링에 하루 종일 매달리지 않도록 해주는 데 있었다.

AI 시대에는 이런 추상화가 더 이상 완벽하게 작동하지 않는다.

필자가 여러 차례 주장했듯이, 기업 AI의 진짜 과제는 이제 학습이 아니라 추론이다. 거버넌스가 적용된 기업 데이터를 대상으로 실제 환경의 지연, 보안, 비용 제약 아래에서 모델을 지속적으로 적용하는 일이 더 중요해졌다. 추론이 기업의 ‘상시 워크로드’로 자리 잡는 순간, 그동안 필요하지만 재미는 없었던 인프라는 갑자기 전략 자산이 된다.

그 중에서도 네트워크가 특히 그렇다.

네트워크가 다시 멋있어졌다

수십 년 동안 네트워킹은 안정적이고 별일 없는 상태 자체가 가치였다. ‘흥미로운 네트워크’는 누구도 원하지 않았다. 표준화 기구가 느리게 움직이고 커널 릴리스가 신중하게 진행된 것도 예측 가능성이 최우선이었기 때문이다. 대부분 엔터프라이즈 워크로드가 네트워크 변화에 크게 민감하지 않았고, 네트워크의 역할은 ‘방해하지 않는 것’에 가까웠던 시대에는 이런 보수성이 합리적이었다.

흥미롭게도 네트워크가 조금이라도 ‘핫’해졌던 시기는 기술 격변기였다. 1999년부터 2001년까지 닷컴 버블과 인터넷 인프라 붐이 있었고, 2007년에는 브로드밴드와 모바일 확장이 이어졌다. 2015년부터 2022년까지는 클라우드 네트워킹 통합이 진행됐다. 그리고 AI로 인해 네트워크에 대한 관심이 다시 한번 크게 치솟을 국면에 들어섰다.

여전히 X에 글을 올리는 업계 전문가들은 학습 실행, 모델 크기, 이를 뒷받침할 데이터센터 구축 같은 대규모 CAPEX에 집착한다. 하지만 정작 ‘진짜 승부’는 다른 곳에서 벌어지고 있다는 해석도 가능하다. 대부분 기업에서 모델을 가끔 학습하는 일은 어려움의 핵심이 아니다. 더 어려운 건 민감한 데이터를 다루는 공유 환경에서 높은 성능 기대치를 충족시키며 매일, 하루 종일 추론을 돌리는 것이다. 네트워크 엔지니어는 조용히 뒤에서 일하고 싶어할지 몰라도, AI는 그걸 허락하지 않는다. AI 시대에는 네트워크 성능이 1차 병목이 된다. 애플리케이션이 더 이상 CPU나 스토리지만 기다리는 게 아니라, 분산 시스템 전반에서 컨텍스트, 토큰, 임베딩, 모델 호출, 상태가 이동하는 속도를 기다리기 때문이다.

즉 AI는 단순히 트래픽 볼륨을 늘리는 게 아니라, 네트워크가 수행하는 ‘일의 성격’ 자체를 바꾼다.

네트워크를 다시 보는 관점

네트워크 패러다임이 바뀌는 것은 이번이 처음이 아니다. 시스코 시큐리티 CTO이자 이소발런트(Isovalent)의 공동 설립자, 그리고 실리움(Cilium) 설립자인 토마스 그라프는 한 인터뷰에서 “쿠버네티스와 마이크로서비스의 부상은 이스트-웨스트(east-west) 트래픽 가속의 첫 번째 물결이었다”라며, “단일 모놀리식 환경을 분해하면서 방화벽뿐 아니라 인프라 내부 구간에서도 보안이 필요해졌다”라고 지적했다.

AI는 그 변화를 더 키운다. 단지 몇 개 서비스가 서로 더 많이 대화하는 수준이 아니다. 동기화된 GPU 클러스터, 검색 파이프라인, 벡터 조회, 추론 게이트웨이, 그리고 점점 더 늘어나는 ‘에이전트’가 시스템 간 상태를 지속적으로 교환하는 환경이 된다. 대부분 기업 네트워크가 원래부터 감당하도록 설계된 세계와는 결이 다르다. 그라프는 “AI 워크로드에서는 이동하는 데이터가 100배 더 많다. 환경 구성이 더 잘게 쪼개져서가 아니라 AI가 더 큰 규모로 돌아가고 엄청난 양의 데이터를 필요로 하기 때문”이라고 설명했다.

그 ‘엄청난 데이터’가 네트워크를 다시 결정적인 요소로 만들고, 개발자가 다시 네트워크를 고민하게 만드는 이유다.

AI 환경에서는 네트워크 패브릭이 점점 컴퓨팅 시스템의 일부로 편입된다. GPU는 그래디언트, 활성값, 모델 상태를 실시간으로 주고받는다. 패킷 손실은 단순한 성가심을 넘어 집합 연산을 멈춰 세우고 값비싼 하드웨어를 놀게 만들 수 있다. 전통적인 노스-사우스(north-south) 가시성만으로는 충분하지 않다. 중요한 트래픽 상당수가 ‘서버에 대한 사용자 요청’ 같은 전통적 경계를 넘지 않고 클러스터 내부에서 오가기 때문이다. 따라서 보안 정책도 엣지에만 둘 수 없다. 가치 있는 흐름은 종종 인프라 내부의 이스트-웨스트 구간에서 발생한다.

기업 AI 수요 곡선이 어떻게 형성될지 아직 확신하지 못한다. 그래서 탄력성도 중요해진다. 네트워크는 점진적으로 확장할 수 있어야 하고 혼합 워크로드에 적응해야 하며, AI 로드맵이 바뀔 때마다 전체를 다시 설계하지 않고도 진화하는 아키텍처를 지원해야 한다.

결국 AI는 네트워크를 ‘배관’이 아니라 애플리케이션 런타임의 일부처럼 만들고 있다.

실리움을 진지하게 바라봐야 하는 이유

그래서 eBPF가 중요해진다. eBPF 공식 문서는 실리움을 “커널 안에서 샌드박스된 프로그램을 안전하게 실행해 커널 소스를 바꾸거나 모듈을 로드하지 않고도 커널 기능을 확장하는 방법”으로 설명한다. 기술적 세부사항도 중요하지만, 요점은 명확하다. eBPF는 관찰 가능성과 정책 집행을 패킷과 시스템 호출이 실제로 발생하는 지점 가까이로 끌어내린다. 이스트-웨스트 트래픽, 일시적 서비스, 머신 속도로 돌아가는 추론이 일상이 된 환경에서는 큰 의미가 있다.

실리움은 그 변화를 상징적으로 보여주는 사례다. eBPF를 기반으로 쿠버네티스 네이티브 네트워킹, 관찰가능성, 정책 집행을 제공하면서도 네트워크 링크가 감당할 수 있는 속도로 트래픽을 처리해 의미 있는 병목이 되지 않도록 설계됐다. 이는 네트워크 성능 측면에서 결정적이다. 이런 배경에서 실리움이 하이퍼스케일러 네트워킹 스택의 ‘기본 요건’이 된 것도 자연스러운 흐름이다. 구글의 GKE Dataplane V2, 마이크로소프트의 애저 CNI Powered by Cilium, AWS의 EKS Hybrid Nodes는 모두 실리움에 의존하거나 이를 지원한다. 또한 2025년 쿠버네티스 네트워킹 현황 보고서에 따르면, 쿠버네티스 사용자 기반에서도 다수가 실리움 기반 네트워킹을 사용하고 있다.

다만 더 큰 이야기는 따로 있다. AI는 기업이 기꺼이 추상화해 잊고 있던 인프라 세부 사항을 다시 신경 쓰게 만든다. 그렇다고 모든 기업이 네트워크 스택을 직접 만들 필요는 없다. 하지만 플랫폼팀이 네트워킹을 ‘건드리면 안 되는 유틸리티 계층’으로 취급하는 시대는 끝나가고 있다. 추론이야말로 기업 AI가 현실이 되는 지점이라면, 지연시간, 텔레메트리, 세그먼테이션, 내부 트래픽 정책은 더 이상 부차적인 고민이 아니다. 제품 품질, 운영 신뢰성, 개발자 경험의 핵심 요소가 된다.

네트워크만의 문제가 아니다

이 변화는 실리움이나 네트워킹에만 국한되지 않는다. AI는 우리가 잊고 싶었던 것들을 계속 다시 떠올리게 만든다. 멋진 AI 데모에 매혹되기는 쉽지만, 실제로는 시스템을 운영 환경에서 신뢰할 수 있고, 안전하며, 경제적으로 돌아가게 만드는 일은 쉽지 않다. 더 중요하게는 기업 규모에서 AI를 ‘쓸 만하게’ 만드는 과정에서 개발자가 쓰기 쉽고 운영하기 쉽고 통제하기 쉽고, 실제 부하에서 더 빠르게 동작하는 스택을 만드는 과제를 놓치면 안 된다.

그라프는 “AI 기반 서비스가 더 빠르게 응답하고 더 민첩하게 반응하면 시장에서 좋은 성과를 얻을 것이다. 그리고 그 기반은 병목 없는 고성능 저지연 네트워크이다”라고 강조했다. 이어 “이는 주식 시장의 알고리즘 매매와 매우 비슷하다. 컴퓨터가 인간을 대체하자 네트워크 지연과 처리량이 곧 경쟁력의 차별화 요소가 됐다”라고 덧붙였다.

알고리즘 매매의 비유는 설득력이 있다. 기업 AI의 승자는 가장 큰 모델을 가진 기업이 아닐지도 모른다. 실제 데이터와 실제 부하 아래에서 추론을 신뢰할 수 있게 거버넌스가 적용된 형태로, 그리고 경제적으로 만드는 기업이 이긴다. 그 전쟁의 일부는 모델에서 결정되겠지만, 많은 기업이 생각하는 것보다 더 큰 부분은 네트워킹 같은 ‘원래는 지루하다고 여겼던’ 아래 계층에서 승부가 갈릴 가능성이 크다.
dl-itworldkorea@foundryco.com