2010년대 초반, 기업은 ‘클라우드 퍼스트(Cloud First)’ 전략을 적극 수용했다. 2010년부터 2016년 사이, 비용 절감, 효율성 향상, 무제한 확장성이라는 장밋빛 전망에 힘입어 애플리케이션과 데이터를 퍼블릭 클라우드로 대거 이전했다. 하지만 기대와 달리 상당수 기업은 장기적인 재정적 영향, 데이터 복잡성, 성능 요건을 충분히 고려하지 않은 채 무계획적으로 클라우드로 전환했고, 그 결과 예상치 못한 비용 증가와 성능 저하 문제에 직면했다. 이에 따라 많은 기업이 워크로드를 다시 온프레미스 또는 하이브리드 환경으로 되돌리고 있다.

이와 유사한 움직임이 AI 퍼스트(AI First) 전략에서도 반복되고 있다. 명확한 전략 없이 AI 기술을 무분별하게 도입하는 현상은 클라우드 도입 초기에 나타났던 문제를 다시금 떠올리게 한다. 전략적 계획 없이 AI를 도입할 경우 또다시 예산 낭비와 성과 부족이라는 뼈아픈 대가를 치르게 될 가능성이 크다.

클라우드 퍼스트의 교훈

초기에는 클라우드 전환이 노후 인프라를 대체하는 이상적인 해법처럼 보였다. 하지만 많은 기업이 실질적인 검토 없이 ‘남들이 하니까 우리도’라는 포모증후군 때문에 서둘러 클라우드로 마이그레이션하면서 문제가 발생했다. 워크로드 성능, 거버넌스, 비용 분석 등의 핵심 요소를 간과한 채 이전을 강행한 것이다.

그 결과, 몇 년 후 클라우드에서 운영되는 워크로드가 예상보다 훨씬 많은 비용이 든다는 사실이 드러났다. 아키텍처 최적화 미비, 과도한 데이터 송출 요금, 불투명한 클라우드 요금 모델에 대한 이해 부족 등이 주요 원인이었다. 이에 따라 많은 기업이 많은 비용과 노력을 들이고도 다시 하이브리드나 온프레미스로 회귀하고 있다.

이 같은 실패는 단순한 실행 오류가 아닌, 전략적 계획 부재에서 비롯된다. 어떤 워크로드가 클라우드에 적합한지 분석하고 그에 맞게 최적화해야 했지만, 당시 기업은 클라우드 도입을 일종의 ‘무조건 따라야 할 규범’처럼 받아들였다.

AI 도입, 지금이 적기인가?

AI는 분명 결정 지원, 업무 자동화, 비즈니스 혁신 등 다양한 측면에서 혁신 기술이다. 하지만 현재 많은 기업이 AI의 적합성과 ROI를 제대로 따지지 않은 채 무작정 도입에 나서고 있다. 일부는 AI에 적합하지 않은 문제를 해결하는 도구로 사용하고, 또 일부는 AI를 지원하는 인프라의 역량을 한참 넘어서는 수준으로 확장하고 있다.

더 큰 문제는, AI 프로젝트의 총소유비용이나 데이터 복잡성, 그리고 최근 강화되고 있는 데이터 프라이버시 및 윤리 규제를 충분히 이해하지 못한 채 추진된다는 점이다. 이런 성급한 접근은 비용만 많이 들고 최적화되지 않은 시스템을 만들어, 결국 비즈니스 가치를 창출하지 못할 가능성이 높다.

AI 도입 움직임은 클라우드 전환 초기의 분위기와 매우 흡사하다. 클라우드 실패 사례에서 얻을 수 있는 가장 중요한 교훈은 ‘전략적 계획이 성공의 핵심’이라는 것이다. 단지 경쟁사를 따라가기 위해 AI를 도입하기보다는, 자사 비즈니스 목표에 AI가 정말 적합한 해법인지부터 냉정히 따져봐야 한다.

모든 문제에 AI가 필요한 것은 아니다. IT 책임자는 다음과 같은 질문을 스스로 던져야 한다.

• AI를 통해 달성하고자 하는 구체적인 목표는 무엇인가?
• 더 간단하고 비용 효율적인 대안은 없는가?
• 성공의 기준은 무엇이며, 어떻게 측정할 것인가?
• 필자는 AI 컨설턴트로서 이런 질문을 던질 때마다 많은 고객이 당황하는 모습을 본다. 사실 필자는 입을 다물고 고액의 컨설팅 비용만 받아도 된다. 실제로 많은 AI 아키텍트가 그렇게 하고 있을지도 모른다. 그러나 기업은 기술을 잘못 활용할 경우 기존 애플리케이션 개발·운영 방식보다 몇 배나 많은 비용이 든다는 사실을 잊어서는 안된다. 어떤 기업은 이로 인해 비즈니스 존폐 위기를 맞을 수도 있다. AI든 아니든, 해결하려는 문제와 제공하고자 하는 가치에 대한 질문은 기술 도입의 출발점이다.

성공적인 AI 도입 전략의 조건

대규모 AI 프로젝트에 무작정 착수하기보다, 명확한 사용례에 기반한 소규모 파일럿 프로젝트부터 시작하는 것이 현명하다. 이를 통해 기술의 효과성과 비용, 위험 요소를 사전에 파악할 수 있다. AI 기술은 빠르게 발전하고 있다. 오늘날의 최첨단 모델이나 도구도 시간이 지나면 금세 구식이 될 수 있다. 따라서 장기적인 관점에서 기술 도입의 지속 가능성을 면밀히 검토해야 한다.

기업은 기술 환경 변화에 유연하게 대응하고, 장기적으로 비용 효율성을 유지할 수 있는 모듈형 시스템을 구축해야 한다. 특히 파일럿 프로젝트를 계획할 때는 다음 사항을 반드시 고려해야 한다.

• 데이터를 준비한다. AI 시스템의 성능은 데이터 품질에 달려 있다. 그러나 많은 기업이 데이터 상태를 점검하지 않은 채 성급하게 AI 프로젝트에 착수한다. 데이터 정확성, 일관성, 품질을 확보하는 것이 우선이며, AI 시스템이 필요한 데이터를 효율적으로 접근·처리할 수 있도록 데이터 파이프라인을 구축해야 한다.
• 현실적으로 접근한다. 클라우드 서비스와 마찬가지로 AI도 숨은 비용이 많다. 대규모 데이터셋 학습, 컴퓨팅 자원 사용 등은 상당한 비용이 든다. 기업은 현재 자원과 인프라 수준을 기반으로 총소유비용(TCO)과 실행 가능성을 면밀히 분석해야 하며, 낙관적 기대만으로 프로젝트를 추진해서는 안 된다.
• 기술력을 확보한다. 도구만으로 문제를 해결할 수는 없다. AI를 성공적으로 활용하려면, 시스템을 설계·구현·운영할 수 있는 전문 지식을 갖춘 팀이 필요하다. 기업은 내부 인력의 역량 강화에 투자하고 교차 기능 AI팀을 구성하는 것은 물론, 비즈니스 요구와 기술 사이의 간극을 메울 수 있는 전문 인재를 확보해야 한다.
• 거버넌스를 구현한다. AI 도입에는 윤리, 보안, 운영의 위험이 따른다. 이를 관리하기 위해 AI 성능 모니터링 체계와 위기 대응 구조를 명확히 마련해야 한다. 특히 민감한 데이터를 다루는 경우, 데이터 프라이버시 및 규제 준수를 위한 거버넌스 기준이 필수적이다. 또한 AI가 의사결정을 내리는 방식에 대한 투명성 확보와 기술 오남용 방지도 중요하다.

AI 퍼스트 전략은 엄청난 기회를 내포하고 있지만, 과도한 열정은 클라우드 퍼스트 시대의 실수를 되풀이할 위험을 안고 있다. 교훈은 분명하다. 의사결정권자는 즉흥적인 도입이 아닌, 전략, 계획, 엄격한 실행을 기반으로 한 장기적 접근을 택해야 한다. 이런 신중하고 체계적인 기업만이 AI 중심의 미래를 선도하게 될 것이다. 반면, 준비 없이 뛰어든 기업은 근시안적인 AI 구현을 원래대로 되돌리는 값비싼 대가를 치를 가능성이 높다.

지금이 바로 계획을 세워야 할 시점이다. ‘먼저 움직이고 나중에 생각한다’는 전략은 통하지 않는다.
dl-itworldkorea@foundryco.com