지난 몇 년간 엔터프라이즈 AI를 둘러싼 논의는 낙관론 일색이었다. 더 큰 모델, 더 많은 파일럿, 더 빠른 자동화. ‘올바른 AI 플랫폼을 선택하면 성과는 자연히 따라온다’는 전제가 지배적이었다.

그러나 현실은 훨씬 가혹했다.

많은 IT 책임자는 프로덕션 AI가 초기 실험 단계에서 짐작했던 것보다 훨씬 어렵다는 사실을 직접 몸으로 깨달았다. 진짜 작업은 모델이 단독으로 잘 작동할 때가 아니라, 보안이 확보되고 관찰 가능하며 운영상 내구성을 갖춘 환경 안에서 모델이 작동할 때 시작된다.

필자의 회사가 엔터프라이즈 클라우드 아키텍트 및 IT 의사결정권자를 대상으로 실시한 최신 연구도 많은 엔지니어링 팀이 이미 직감적으로 알고 있는 사실을 뒷받침한다. 실험은 쉽다. AI를 안정적으로, 반복 가능하게, 대규모로 운영화하는 것이 진짜 어려운 지점이다.

AI가 실제 워크플로에 영향을 미치고 의사결정을 권고하거나 실행을 트리거하면, 모델은 빠르게 시스템에서 가장 중요하지 않은 요소가 된다. 압박은 모델을 둘러싼 모든 것으로 옮겨간다.

에이전틱 AI, 주변 환경보다 빠르게 확장 중

데이터는 논쟁의 여지를 거의 남기지 않는다. AI는 이미 운영 영역으로 진입했다. 응답자의 약 3/4가 현재 머신러닝 모델을 훈련 중이라고 답했으며, 76%는 프로덕션 환경에서 GPU 워크로드를 실행하고 있다. 70% 이상은 AI 추론, 의사결정 최적화, 그리고 실제 작업을 실행하도록 설계된 AI 어시스턴트에 투자한다고 답했다.

이 답변은 단순히 가능성을 타진하는 단계를 말하는 것이 아니다. 워크플로, 고객 경험, 내부 의사결정을 직접 형성하는 영역이다.

그러나 이런 시스템 중 다수는 에이전틱 AI가 등장하기 훨씬 전에 구축된 클라우드 환경에 배포되고 있다. 거의 모든 기업이 머신러닝 파이프라인의 데이터 25% 이상을 마이그레이션해야 한다고 답했는데, 기존 인프라가 재현 가능한 모델 운영, 표준화된 피처 파이프라인, 일관된 정책 집행을 염두에 두고 설계되지 않았다는 초기 경고 신호다.

실제로 에이전틱 AI는 애플리케이션 배포에 최적화된 플랫폼 위에 덧씌워지고 있다. 거버넌스를 갖춘 실행 단계 인텔리전스를 위한 설계가 아닌 플랫폼이다. 아키텍처 불일치가 바로 마찰이 시작되는 지점이다.

거버넌스 공백, 실행 압박 속에서 수면 위로

거버넌스 공백은 실험 단계에서는 눈에 띄지 않기 쉽다. 실행 환경에서는 즉각 드러난다.

거의 모든 기업이 개인식별정보를 저장·처리하며, 대부분은 HIPAA나 GDPR 같은 규제 체계 아래 운영된다. 동시에 응답자의 약 절반은 공개 AI 도구에 의존하고 있으며, 공유 프레임워크 기반의 엔터프라이즈 차원의 거버넌스를 갖춘 AI 배포를 구현한 기업은 1/4 미만이다.

이런 간극은 구조적 긴장을 야기한다. AI 시스템은 거버넌스가 구조적으로 불일치한 환경에서 프로덕션 의사결정에 영향을 미치고 있다. 데이터는 일관된 감사 체계 없이 모델 사이를 오가고, 정책 집행 수준은 클라우드 계정·팀·지역에 따라 제각각이다.

이것은 도구의 실패가 아니다. 시스템 설계의 실패다.

에이전틱 AI가 실행 경로에 직접 참여하면, 기업의 규제적·운영적 의무를 그대로 떠안는다. 기반이 되는 클라우드 아키텍처가 AI 네이티브 거버넌스를 고려해 설계되지 않았다면, 팀은 그 부담을 애초에 감당하도록 만들어지지 않은 시스템에 사후 통제를 끼워 맞춰야 한다.

멀티클라우드 복잡성, 문제를 증폭시키다

단일 클라우드로만 운영하는 엔터프라이즈는 거의 없다. 많은 기업이 여러 클라우드 업체를 통해 6개에서 20개까지의 많은 클라우드 계정을 관리하며, 플랫폼별로 서로 다른 코드형 인프라 방식을 사용하고 AWS 클라우드포메이션과 해시코프 테라폼을 병행 운용한다.

데브옵스 기업은 이미 분산 시스템 전반의 모니터링과 안정성을 중심으로 상당한 운영 부담을 지고 있다. 여기에 에이전틱 AI를 도입하면 새로운 상태 기반 컴포넌트, 데이터 의존성, 생애주기 요건이 추가된다. 모델 재훈련, 피처 스토어 업데이트, 추론 엔드포인트는 이제 환경 전반에 걸쳐 아이덴티티, 로깅, 컴플라이언스 통제와 맞물려야 한다.

팀이 경험하는 마찰은 특정 AI 시스템 하나에서 비롯되는 경우가 드물다. 수년에 걸친 현대화 과정에서 조각조각 구축된 클라우드 자산과 에이전틱 워크로드 사이의 상호작용에서 발생한다. 환경이 파편화될수록, AI 레이어에서 일관된 거버넌스를 집행하기가 더 어려워진다.

빌드 대 바이를 넘어, 아키텍처 적합성으로

업계는 여전히 에이전틱 AI 도입을 ‘직접 구축이냐, 외부 구매냐’의 문제로 프레이밍하는 경향이 강하다. 설문 결과에는 기술 인력 부족과 촉박한 일정으로 인해 외부 업체와 서비스 공급업체에 대한 의존도가 높다는 점이 반영됐다. 그러나 이 프레이밍은 핵심을 놓친다.

결정적 질문은 아키텍처 적합성이다.

외부 플랫폼은 도입 속도를 높일 수 있다. 내부 팀은 시스템과 데이터에 대한 깊은 맥락을 보유한다. 성패를 가르는 것은 AI 이니셔티브가 주변 클라우드 환경에 얼마나 잘 통합되느냐다.

서드파티 역량이 내부 표준과 연계 없이 도입되면 파편화가 가속된다. 반대로 AI 시스템이 핵심 거버넌스 프레임워크와 무관하게 독립적으로 개발되면, 아키텍처 드리프트가 눈에 띄지 않게 쌓여간다.

이에 대응해 많은 기업이 다른 모델로 수렴하고 있다. AI 프로젝트를 사일로에 격리하는 대신, 외부 AI 전문성을 내부 딜리버리 환경에 직접 내재화하는 방식이다. 모델은 처음부터 프로덕션 수준의 거버넌스를 기준으로 구축·테스트된다. 인프라, 컴플라이언스, 옵저버빌리티는 사후 정리 작업이 아니라 일급 요건으로 다뤄진다.

이 접근법은 모든 AI 역량을 내부에서 완전히 갖추기 어렵다는 현실을 인정하면서도, 지속 가능한 확장에 필요한 아키텍처 일관성을 보존한다.

실행 단계에 진입한 AI, 환경 설계도 달라져야

에이전틱 AI는 실행 영역으로 확실히 진입했다. 엔터프라이즈는 모델을 훈련하고, GPU 워크로드를 실행하며, 지능형 시스템을 운영 워크플로에 직접 내재화하고 있다. 동시에 많은 기업이 파이프라인 현대화, 보안 공백 해소, 점점 더 분산되는 클라우드 자산 전반의 일관된 거버넌스 확보라는 과제를 여전히 안고 있다.

기업이 맞닥뜨리는 마찰은 알고리즘의 문제가 아니다. 아키텍처의 문제다.

애플리케이션 배포용으로 설계된 클라우드 환경이 이제 거버넌스를 갖춘 재현 가능한 실행 단계 AI 시스템을 지원해야 하는 상황을 맞이했다. 이 전환은 저절로 이루어지지 않는다. 의도적인 환경 설계가 필요하다.

모델은 잠재력을 열어준다. 그 잠재력이 프로덕션과의 충돌에서 살아남을 수 있는지를 결정하는 것은 아키텍처다. AI가 실제 의사결정과 실제 워크플로에 계속 영향을 미치는 지금, 확장에 성공하는 기업과 그렇지 못한 기업을 가르는 기준은 모델의 참신함이 아니라 주변 플랫폼의 내구성이 될 것이다.
dl-itworldkorea@foundryco.com