지난 2년간 많은 기업이 클라우드와 AI 프로젝트의 실패율이 기존 IT 프로젝트보다 약 3배나 높다고 토로했다. 또한, 클라우드와 AI 프로젝트는 기존 프로젝트보다 더 오랜 시간이 걸린다고 밝혔다. 대다수 IT 업계 전문가에게는 놀라운 일이 아닐 것이다. 하지만 클라우드 컴퓨팅과 AI 모두 IT 속도를 높여줄 기술로 기대되지 않았던가?

많은 기업이 클라우드와 AI 프로젝트가 지연되는 주된 원인으로 3가지를 꼽았으며, 각 문제에 대한 해결 방안도 공유했다. 1위부터 거꾸로 살펴보자.

그전에 전제를 하나 짚고 넘어가자. 클라우드는 이미 오랜 역사를 가지고 있지만, AI는 이제 막 본격적인 궤도에 오른 기술이다. 따라서 클라우드 프로젝트는 시간이 지나며 점점 더 성숙해지는 모습을 보이고 있으며, 기업은 클라우드 도입 과정에서 얻은 교훈을 AI 프로젝트에도 적용할 수 있을 것이다. 지금까지는 클라우드 관련 프로젝트 관리가 점차 개선되는 반면, AI 쪽은 아직 그 수준에 이르지 못하고 있다.

3위. 필수 역량 부족

전체 기업의 절반 이상(56%)이 내부에 프로젝트 수행에 필요한 핵심 역량이 부족하다고 답했으며, 이를 확보하는 데 예상보다 더 오랜 시간이 걸린다고 밝혔다. 흥미로운 점은, 이런 문제를 지적한 기업조차도 처음에는 인력 구성이 충분하다고 생각했다는 것이다. 즉, 이미 적절한 인력이 있다고 판단했거나 필요한 역량을 쉽게 확보할 수 있다고 봤다는 의미다.

두 경우 모두 실제 문제는 클라우드와 AI 역량을 갖춘 인재는 있었지만, 정말로 필요한 역량이 없었다는 점이다. 기업이 진짜 필요로 했던 것은 아키텍트였지만, 보유 인력은 개발자나 운영 전문가에 집중돼 있었다. 그 결과 프로젝트는 기획 단계에서 멈춰 섰다. 기획을 제대로 수행할 수 없었기 때문이다. 또한, 새로운 기술을 비즈니스 맥락 속에서 구조적으로 설계할 수 없었다.

2위. 비현실적인 기대로 인한 잘못된 요구사항

프로젝트 초기 단계에서의 기획과 사업성 검토 결과, 설정된 요구사항이 현실적으로 충족될 수 없다는 사실이 드러나면서 실제 작업에 들어가기 전에 재정의 기간이 필요해진다. 전체 기업의 69%가 이 문제를 경험했다고 답했다. 이에 자연스러운 질문이 따라온다. 문제는 요구사항인가, 아니면 프로젝트인가? 해당 문제를 지적한 기업은 대부분 전자, 즉 ‘요구사항 설정 방식’에 근본적인 원인이 있다고 분석했다.

클라우드의 경우, 경영진이 흔히 ‘클라우드는 언제나 비용을 절감한다’고 믿는 것이 문제로 지목됐다. 하지만 최근에는 클라우드에서 다시 데이터센터로 워크로드를 되돌리는 ‘클라우드 송환’ 사례가 늘어나고 있다. 다행히 이제 대부분 기업 IT 조직은 클라우드 프로젝트의 비용 대비 효과를 평가하는 방법을 잘 알고 있어, ‘불가능한 수준의 비용 절감’을 약속하는 프로젝트는 기획 단계에서 걸러진다.

AI의 경우는 사정이 다르다. 최고 경영진뿐 아니라 현업 부서 관리자도 AI에 대한 기대치가 매우 높다. 특히 후자의 경우, 온라인에서 제공되는 생성형 AI 서비스를 직접 사용해본 경험이 있어 기술에 대한 자신감이 과도한 경우가 많다. 이런 제안 가운데 약 1/4은 데이터 보안 문제로 거버넌스 정책에 위배돼 조기에 중단되고, 그 중 절반은 이 단계에서 완전히 폐기된다. 나머지 제안 역시 진행 과정에서 다양한 문제가 드러난다.

대다수 기업은 AI가 실제로 무엇을 할 수 있는지 충분히 이해하지 못하고 있다고 인정한다. 이는 곧 현실적인 AI 프로젝트를 설계하기 어렵다는 의미다. 가장 큰 격차는 ‘AI로 달성하려는 비즈니스 목표’와 ‘그 목표에 도달하기 위한 구체적 경로’ 사이에서 발생한다. 한 CIO는 현업 부서가 제안한 AI 프로젝트를 “AI 낚시 여행 초대장”이라고 표현했다. 목표가 ‘매출 향상’이나 ‘경쟁력 강화’, ‘재고 비용 절감’처럼 비즈니스 언어로만 제시되기 때문이다. 사실 이런 목표를 달성하기 위해서는 먼저 ‘어떤 방식으로 그 목표를 실현할지’를 탐색하는 별도의 프로젝트가 필요하다. 그 결과를 바탕으로 실제 실행 가능한 프로젝트가 정의돼야 한다.

이런 문제가 기존 기술 프로젝트에서는 왜 많이 발생하지 않을까? 이들 기업의 설명에 따르면, 과거에는 현업 부서가 새로운 기술을 활용하기 위해 IT 부서와 협력하는 것이 일반적이었기 때문이다. 반면 AI는 현업 부서가 IT의 도움 없이도 직접 실험하고 효과를 평가할 수 있어, IT가 뒤늦게 개입하는 경우가 많다. 한 AI 담당 IT 책임자는 “초기 단계에서 IT와 협업하면 결과가 크게 달라진다”라고 강조했다.

하지만 이런 문제는 실무 경험이 있는 전략적 AI 파트너와 협력하는 기업에서는 훨씬 덜 발생한다. ‘전략적 솔루션 업체’는 기업 전반에 깊이 관여하며 신뢰를 얻은 파트너를 의미한다. 여기에 AI 전문성을 결합하면 비즈니스 목표와 기술 실행 간의 간극을 메울 수 있다. 이런 조합은 ‘비즈니스 목표를 실행 가능한 단계로 전환하는 문제’를 근본적으로 해결한다.

1위. 실행 중에 ‘방식 자체’를 의심하는 상황

전체 기업의 74%가 공통적으로 겪는 가장 큰 문제는, 프로젝트가 이미 진행 중인 단계에서 이해관계자가 수행 중인 작업을 보고 ‘접근 방식 자체’를 의심하는 경우다. 이 문제가 까다로운 이유는 프로젝트가 한참 진행된 후에야 비로소 드러난다는 점이다. 왜 이렇게 늦게 문제를 인식하게 될까? 흥미로운 점은, 이 문제를 경험한 기업이 클라우드나 AI 같은 신기술을 IT 인력과 경영진이 바라보는 관점의 차이에서 원인을 찾았다는 것이다. 특히 AI의 경우 이런 인식 차이가 가장 뚜렷하게 나타난다.

기업 IT 조직은 모든 것을 기존 IT 인프라의 관점에서 생각하는 경향이 있다. 기업은 서버, 네트워크, 애플리케이션에 막대한 비용을 투자했고, 이를 통해 비즈니스 프로세스를 운영해왔다. IT 담당자의 관점에서 IT는 ‘무언가를 수행하는 것’이다. 반면, 현업 부서나 경영진은 AI를 ‘질문에 답하는 기술’로 본다. AI의 가치는 ‘행동’이 아니라 ‘답변’에 있다는 것이다. 이런 관점의 차이는 매우 근본적인 것이어서, 실제 프로젝트 결과를 접하기 전까지는 서로의 이해가 엇갈린다는 사실을 깨닫기 어렵다. 한 AI 개발자가 기존 애플리케이션에서 제조 공정의 부품 및 상품 효율을 크게 개선한 AI 애플리케이션을 보여주자, 현업 관련자는 당황한 어조로 “이것과는 어떻게 대화하는가?”라고 물었다는 일화가 이를 잘 보여준다.

이 사례는 흔히 말하는 ‘자율 에이전트’ 이야기를 떠올리게 하지만, 실제로는 다르다. 여전히 인간이 의사결정을 내리고 AI는 정책적 수준에서 IT의 일부로 종속돼 있다. IT 입장에서는 AI가 단순히 애플리케이션 구성 요소 중 하나일 뿐이다. 하지만 현업 관리자의 입장은 다르다. AI가 질문에 대한 응답을 생성해내는 구조이기 때문에, AI는 관리자를 통해 직원의 손을 통해 작동한다고 본다. 즉, AI는 ‘직원의 역량을 높여주는 도구’다. 두 관점 모두 논리적이지만 서로 다르다.

이 차이는 프로젝트에 직접적인 영향을 미친다. ‘생성형’, ‘에이전트’, ‘자율성’ 같은 AI 용어가 이해관계자마다 전혀 다른 의미로 해석되면서, 실제 구현 결과를 눈으로 보기 전까지는 충돌을 인식하지 못한다. 이 단계에서의 갈등 해결은 결국 ‘타협’으로 귀결된다. 실제로 기업 IT 부서가 설계한 워크플로우 연계형 AI 프로젝트 가운데 약 1/3은 결국 대화형 기능을 포함하게 된다. 비록 단순히 AI의 작업 상태를 관리자가 모니터링하기 위한 수준이라 하더라도 말이다.

클라우드 프로젝트의 경우, 현업 부서가 목표를 직접 설정하지 않기 때문에 이런 인식 차이가 크게 문제되지는 않는다. 대신 가장 큰 문제는 ‘효과에 대한 사전 검증 부족’이다. 예를 들어, 클라우드 송환은 클라우드 비용을 충분히 검증하지 않은 결과다. 즉, 기대했던 혜택이 실제로 유효한지 확인하지 않은 채 추진하다가 테스트 단계에서야 현실과 마주하게 되는 것이다.

문제 해결 방안

그렇다면 이런 문제는 어떻게 해결할 수 있을까? 핵심은 기업이 언급한 ‘전략 솔루션 업체’ 개념에 있다. 클라우드나 AI 프로젝트를 위해 전략 솔루션 업체를 반드시 선정해야 할까? 현실적으로는 어렵다. 기업은 이런 신뢰 관계를 구축하는 데 10년 이상이 걸린다고 말한다. 다행히도, 전략 솔루션 업체가 수행하는 역할은 내부적으로도 충분히 구현할 수 있다. 클라우드나 AI 프로젝트를 성공적으로, 그리고 제때 완수하려면, 이해관계자 모두가 비즈니스 목표와 기술 역량을 지속적으로 이해하고 공유해야 한다. 전략 솔루션 업체는 이를 촉진하는 역할을 하지만, 내부적으로도 같은 효과를 낼 수 있는 구조를 만들 수 있다.

클라우드 프로젝트 성공 사례가 많은 기업은 공통적으로 ‘클라우드 전담팀’을 구축하고 있다. 아직은 초기 단계지만, 전략 솔루션 업체 없이 AI를 성공적으로 활용하는 기업은 ‘AI 전담팀’을 구성하는 추세다. 이 팀은 현업 관리자와 IT 전문가로 구성되며, 양측 모두 AI의 작동 원리와 활용 방식을 충분히 교육받는다. 이를 통해 양측이 동일한 시각에서 AI 접근 방식을 선택하고, 사업성과를 직접 검증하며 협력적으로 추진할 수 있다.

AI 시대가 새로운 언어를 배우게 한다는 사실은 이미 잘 알려져 있다. 이제 필요한 것은, 비즈니스와 기술이 공통의 언어로 소통할 수 있도록 노력하는 일이다. 그리고 IT 내부에서도 그 언어를 제대로 익히는 것이 무엇보다 중요하다.
dl-itworldkorea@foundryco.com