퍼블릭 클라우드 시장은 폭발적인 성장 궤도를 계속 이어가고 있으며, 기업은 특히 AI 이니셔티브에 필요한 자원을 확보하기 위해 클라우드로 몰려들고 있다. 클라우드 서비스 업체는 최신 AI 기능을 홍보하기 위해 안간힘을 쓰고 있으며, 수많은 구인 광고(유령 일자리가 많음)를 게시하고 기업 채택을 유도하기 위해 넉넉한 크레딧을 제공한다. 그러나 이런 열정적인 활동 뒤에는 골치 아픈 문제가 있다. 다만 이를 공개적으로 논의하려는 사람이 거의 없다.

통계는 냉정한 현실을 보여준다. 가트너는 AI 구현의 85%가 기대에 미치지 못하거나 완료되지 않는다고 추정한다. 필자는 화려하게 시작했다가 조용히 사라지는 AI 프로젝트를 수없이 목격했다. 기업은 돈을 쓰는 데는 뛰어나지만, AI를 효과적으로 구축하고 배포하는 데는 어려움을 겪고 있다.

AI에 대한 실제 수요

오늘날 클라우드 컴퓨팅 업계에는 당혹스러운 단절이 존재한다. 클라우드 서비스 업체는 GPU 액세스 대기 목록과 대규모 인프라 확장의 필요성을 언급하며 AI 컴퓨팅 자원에 대한 엄청난 수요를 충족시키는 데 어려움을 겪고 있다고 말한다. 그러나 이들의 분기별 수익 보고서는 종종 증권가의 기대치에 미치지 못하는 역설을 만들어 낸다.

클라우드 서비스 업체는 하나같이 AI 인프라에 대한 전례 없는 투자 계획을 강조한다. 일부 업체는 예산의 40% 이상 증액할 계획이지만, 이에 상응하는 수익 성장을 보여주기 위해 분투하고 있는 것으로 보인다.

투자자들의 근본적인 우려는 AI가 여전히 값비싼 연구 프로젝트에 머물러 있다는 점과 이런 역량을 전 세계 경제가 어떻게 흡수하고 활용해 대규모 수익으로 바꿀지 불확실하다는 점이다. 클라우드 서비스 업체는 잠재적인 미래 수요를 현재 시장 현실과 혼동해 인프라 투자와 즉각적인 수익 창출 간의 불일치를 초래할 수 있다.

이는 AI의 장기적인 잠재력은 크지만, 단기적인 시장 역학이 클라우드 업체의 주장보다 더 복잡할 수 있음을 시사한다.

ROI의 수수께끼

데이터 품질은 아마도 성공적인 AI 구현에 가장 큰 걸림돌일 것이다. 기업이 더 복잡한 AI 애플리케이션, 특히 생성형 AI에 도전하면서 맞춤형 고품질 데이터 세트에 대한 수요가 기존 기업 데이터 인프라의 심각한 결함을 드러내고 있다. 대부분 기업은 데이터가 완벽하지 않다는 것을 알고 있었지만, AI 프로젝트가 실패하기 전까지는 어느 정도인지 깨닫지 못했다. 수년 동안 이런 근본적인 데이터 문제를 해결하는 것을 피했고, 그 결과 기술 부채가 누적되어 AI의 야심 찬 계획을 좌초시킬 위험에 처했다.

경영진이 주저하면 문제는 더욱 나빠진다. 많은 기업이 데이터 문제를 해결하는 데 너무 많은 비용이 들기 때문에 생성형 AI 이니셔티브를 포기하고 있다. 자신의 경력도 걱정해야 하는 CIO는 성공이 확실히 보장되지 않는 이런 프로젝트를 꺼린다. 이로 인해 투자의 부족이 지속적인 실패로 이어지는 악순환이 발생하고, 경영진은 더욱 소극적인 태도를 갖게 된다.

ROI 실현이 예상보다 늦어지면서 AI의 잠재력과 실제 구현 사이에 상당한 격차가 발생했다. 기업은 AI의 성공에 필요한 기초 요소, 즉 강력한 데이터 거버넌스와 전략적 계획을 신중하게 평가해야 한다. 안타깝게도, 너무 많은 기업이 이들 요소를 너무 비싸거나 위험하다고 생각한다.

이런 망설임을 감지한 클라우드 서비스 업체는 점점 더 공격적인 마케팅과 인센티브 프로그램으로 대응하고 있다. 무료 크레딧, 체험판 연장, 쉬운 구현에 대한 약속이 넘쳐난다. 그러나 이런 전략은 종종 실제 문제를 가려버린다. 일부 업체는 빠른 도입과 성공을 과장하기 위해 예산도 확보되지 않은 AI 관련 채용 공고를 남발해 수요가 많다는 신호를 억지로 만들어 내고 있다.

도입 속도를 늦추는 또 다른 중요한 요인은 AI 시스템을 효과적으로 구현하고 관리할 수 있는 숙련된 전문가가 심각하게 부족하다는 점이다. 기업은 전통적인 IT팀이 성공적인 AI 배포에 필요한 전문 지식이 부족하다는 사실을 깨닫고 있다. 클라우드 서비스 업체가 다양한 도구와 플랫폼을 제공하지만, 전문 지식의 격차는 여전히 큰 장애물이다.

이런 상황은 AI를 보유한 기업과 그렇지 않은 기업 간의 격차를 더욱 심화시킬 것이다. 데이터를 성공적으로 정리하고 AI를 효과적으로 구현하는 기업은 생성형 AI를 전략적 차별화 요소로 활용해 비즈니스를 발전시킬 것이다. 그렇지 않은 조직은 뒤처지게 되고, 경쟁 격차를 좁히기 어려울 수 있다.

AI 도입을 위한 전략적 경로

기업 책임자는 지금처럼 성급하고 계획성이 결여된 AI 구현 방식에서 벗어나야 한다. 성공으로 가는 길은 모든 새로운 AI 기능을 쫓아다니거나 클라우드 크레딧을 소진하는 것이 아니다. 그보다는 신중하고 전략적인 개발을 통해서 이루어진다.

데이터를 체계적으로 정리하는 것부터 시작하자. 깨끗하고 잘 정리된 데이터가 없으면 아무리 정교한 AI 도구라도 가치를 구현하지 못한다. 따라서 AI 프로젝트에 뛰어드는 대신 적절한 데이터 거버넌스와 품질 관리 조치에 투자해야 한다.

내부에서 전문 지식을 구축하자. 클라우드 서비스 업체는 강력한 도구를 제공하지만, 기업은 이런 도구를 비즈니스 과제에 효과적으로 적용하는 방법을 이해해야 한다. 기존 직원 교육에 투자하고, 기술과 비즈니스 결과 간의 격차를 해소할 수 있는 AI 전문가를 전략적으로 고용하자.

특정 비즈니스 문제를 해결하는 작고 집중적인 프로젝트부터 시작하자. 규모를 확장하기 전에 통제된 실험을 통해 가치를 입증하는 것이 필요하다. 이런 접근 방식은 자신감을 키우고 내부 역량을 개발하며, 가시적인 ROI를 입증하는 데 도움이 된다.

클라우드 기반 AI의 미래

클라우드 서비스 업체는 앞으로도 앞으로 계속 성장하겠지만, 현재 높은 실패율을 극복할 수 있는 AI 전략을 고객들에게 제시하지 못하면 관련 시장은 위축될 것이다. 기업이 생성형 AI, 에이전틱 AI, 프로젝트 실패로 어려움을 겪는 이유는 잘 알려져 있다. 애널리스트와 CTO에게도 이것은 수수께끼가 아니다. 그러나 기업은 해법에 투자할 의지가 없거나 투자할 능력이 없는 것 같다.

AI 공급과 수요 사이의 격차는 결국 좁혀지겠지만, 클라우드 서비스 업체와 마케팅팀이 예상하는 것보다 훨씬 더 오랜 시간이 걸릴 것이다. 신중한 계획과 적절한 기반 구축에 대한 신중한 접근 방식을 취하는 기업은 처음에는 느리게 움직일 수 있지만, 궁극적으로는 AI 구현에 더 성공하고 더 나은 투자 수익을 실현할 것이다.

앞으로 나아가기 위해서는 클라우드 서비스 업체와 기업이 현실에 맞춰 기대치를 조정하고, 최신 유행에 휩쓸리기보다는 지속 가능하고 실용적인 AI 구현에 집중해야 한다. 기업과 클라우드 서비스 업체 모두가 원하는 것을 얻을 수 있기를 바란다. 사실, 기업과 클라우드 서비스 업체가 원하는 것은 같다.
dl-itworldkorea@foundryco.com