올해 AWS 리인벤트(re:Invent) 행사에서 수많은 발표가 쏟아지는 가운데, AWS는 AWS AI 팩토리를 소개했다. 보도자료는 트레이니움(Trainium), 엔비디아 GPU, 신뢰할 수 있고 안전한 인프라를 기반으로 AI 개발을 가속한다고 강조했고, 아마존 클라우드에서 기대할 수 있는 편의성과 보안, 정교함을 제공한다고 설명했다. 예산이 있고, “AI로 더 많은 성과를 내라”는 지시를 받은 기업 책임자라면, AWS의 이번 발표가 자체 ‘팩토리’ 구축에 대한 최고 경영진의 의문을 불러올지도 모른다.

하지만 현실은 더 회의적으로 들여다볼 필요가 있다. AWS AI 팩토리는 분명 혁신적이지만, 대형 퍼블릭 클라우드 이니셔티브에서 흔히 보듯 ‘누구를 위한 것인지’와 ‘최종 비용이 얼마가 될지’를 묻게 만든다. 화려한 홍보 문구는 대부분 기업이 결코 외면할 수 없는 몇 가지 핵심 현실을 가리고 있다.

먼저 불편한 진실 하나를 정리할 필요가 있다. 엄격한 규제 환경의 영향을 크게 받거나 초저지연이 필수인 기업 상당수에 AWS AI 팩토리는 ‘절반짜리 해법’에 가깝다. AWS AI 팩토리는 진정한 온프레미스 인프라와 퍼블릭 클라우드 사이 어딘가에 위치하며, 자체 데이터센터에서 AWS가 관리하는 AI를 제공하는 대신, 기업을 AWS의 폐쇄형 생태계 안에 단단히 묶어 둔다. 일부 기업에는 그 정도면 충분할 수 있다. 하지만 대부분 기업에는 해결하는 문제보다 골칫거리가 더 늘어나는 선택이 된다.

혁신적이지만 비싸다

AWS AI 팩토리는 최첨단 AI 하드웨어와 파운데이션 모델 접근성을 자체 시설로 가져와 데이터 레지던시와 데이터 주권 우려를 해소하겠다고 약속하는 모습이다. 하지만 늘 그렇듯 악마는 디테일에 있다. AWS가 인프라를 제공하고 관리하는 대신, 기업은 공간과 전력을 제공해야 한다. 기업은 베드록(Bedrock)과 세이지메이커(SageMaker)를 활용하고 복잡한 조달 과정을 우회하며, 이론적으로는 AWS 클라우드의 운영 역량을 사내 데이터센터에서 누릴 수 있다.

문제는 이론과 현실의 간극이다. 지연시간, 컴플라이언스, 또는 기업 내부의 극단적 보안 우려 때문에 AI 워크로드와 데이터를 ‘진짜로’ 로컬에 두어야 하는 고객에게, 이런 아키텍처는 만병통치약이 아니다. 서드파티 업체가 자동화, 오케스트레이션, 클라우드 네이티브 기능을 통제하는 하이브리드 구조에는 본질적으로 복잡성이 따라붙는다. 결국 아키텍처의 독립성을 얻는 것이 아니라 AWS에 대한 의존성을 사내 데이터센터로 확장하는 셈이다.

비용도 짚어봐야 한다. AWS는 가격을 공식 발표하지 않았고, 앞으로도 단순한 요금표 페이지를 내놓지 않을 가능성이 크다. 경험상 가격는 프라이빗 클라우드나 온프레미스 AI 솔루션 대비 2~3배(또는 그 이상)가 될 가능성이 크다. 퍼블릭 클라우드 서비스 업체가 자주 만들어내는 커스터마이징, 통합 프로젝트, 지속적 운영 비용까지 더하기 전의 이야기다. AWS는 더 빠른 시장 출시를 약속하지만, 그 속도는 지금과 같은 경제 상황에서 기업이 무시하기 어려운 프리미엄 가격을 전제로 한다.

업체 종속 문제도 짚어야 한다. 업체 종속은 마땅히 받아야 할 만큼 주목받지 못하는 주제다. 데이터를 파운데이션 모델, 관리 도구, 개발 API와 연결하는 ‘접착제’ 역할의 AWS 네이티브 AI 서비스를 계층별로 도입할수록, AWS의 규칙 위에 비즈니스 로직과 워크플로우를 쌓게 된다. 들어가기는 쉽고, 빠져나오기는 거의 불가능해진다. 많은 기업이 현재 AWS(또는 다른 하이퍼스케일러)에 사실상 ‘결혼’한 상태라고 말하는데, 해당 업체가 최고의 기술을 제공하기 때문이 아니라 5년, 8년, 10년 전에 시작한 마이그레이션이 너무 비싸거나 파괴적이라서 풀 수 없는 의존성의 그물을 만들었기 때문이다. 한 번 관계를 맺은 퍼블릭 클라우드와 ‘이혼’한다는 발상은 상상하기 어려운 선택이어서, 기업은 계속 그 상태로 비용 상승을 감내한다.

대안은 무엇인가

AWS AI 팩토리 도입을 고민하는 대다수 기업에 대한 조언은 단순하다. AWS 리인벤트의 과장된 연출에 흔들리지 말고, 지속 가능하고 실행 가능한 AI를 구축하는 기본으로 돌아가야 한다. 결국 대부분 기업은 ‘직접 구축’ 경로를 택하는 편이 더 낫다. 즉 하드웨어, 스토리지, 프레임워크를 직접 선택하고, 검증 가능한 가치를 더하는 퍼블릭 클라우드 서비스만 선별적으로 통합하는 방식이다. 장기적으로 기업은 스택을 통제하고 가격 한계를 스스로 정하며, 산업이 바뀔 때마다 유연하게 전환할 수 있다.

그렇다면 이런 기업 AI 여정의 첫 단계는 무엇인가? 기업은 실제 AI 요구사항을 깊이 있게 정직하게 평가하는 것부터 시작해야 한다. 어떤 데이터를 반드시 로컬에 둬야 하는지, 비즈니스가 요구하는 지연시간 목표가 무엇인지, 충족해야 할 컴플라이언스 의무가 무엇인지부터 물어야 한다. 턴키 솔루션의 약속에 끌려 필요를 오판하거나 불필요한 위험을 떠안아서는 안 된다.

두 번째로, 향후 5~10년의 AI 활용을 이끄는 전략을 수립해야 한다. 비즈니스 목표와 기술 부채에 맞춰 역량을 어떻게 발전시킬지에 대한 명확한 계획 없이 최신 AI 트렌드에 올라타는 경우가 너무 많다. 단기 성과와 장기 적응성을 함께 담은 전략을 만들면, 비용이 크거나 부적합한 솔루션에 갇힐 가능성이 훨씬 줄어든다.

마지막으로, 모든 솔루션 업체와 아키텍처 선택을 TCO 관점에서 평가해야 한다. AWS AI 팩토리는 사내 데이터센터에서 AWS 통합이 절박한 경우가 아니라면 정당화하기 어려운 프리미엄 가격이 될 가능성이 크다. 하드웨어 수명주기 비용, 운영 인력, 마이그레이션, 업체 종속, 그리고 무엇보다 요구사항이나 업체 관계가 변할 때 전환에 따르는 비용까지 고려해야 한다. 솔루션 업체가 내세우는 반짝이는 요소만 보지 말고, 가능한 모든 경로를 비교해 가격을 산정해야 한다.

미래에는 결말이 있다

AWS AI 팩토리는 클라우드 논의에 새로운 변주를 더했지만, 대부분 기업의 현실적 요구에는 기사 제목이 보여주는 것 같은 돌파구가 아니다. 클라우드 솔루션, 특히 클라우드 서비스 업체가 ‘집 안’에서 관리해주는 솔루션은 단기적으로는 쉬워 보일 수 있다. 하지만 그런 편의는 항상 비싸고, 장기적인 업체 종속에 묶이고, 관계를 되돌리는 일은 생각하는 것보다 훨씬 더 복잡하다.

기업 AI의 다음 단계에서 승자는 키노트 슬라이드에 무엇이 찍히든 상관없이 유연성, 비용 효율, 독립성을 기준으로 스스로 길을 그리는 기업이다. 직접 구축은 출발점에서 더 어렵지만, 누군가에게 열쇠를 넘겨주지 않고 미래의 통제권을 쥐는 유일한 방법이기도 하다. 서버 랙에 GPU가 몇 개 꽂혀 있든, 통제권은 기업이 가져야 한다.
dl-itworldkorea@foundryco.com