기술 산업의 투자 역사를 통틀어 지금과 같은 시기는 없었다. 수많은 기업이 아직 검증되지 않은 생성형 AI에 수천억 달러 규모의 자금을 동시에 쏟아붓는 상황은 전례 없는 일이다.

마이크로소프트, 아마존, 메타, 구글은 2025 회계연도에만 총 3,640억 달러를 지출할 것으로 예상된다. 이 가운데 마이크로소프트는 단독으로 800억 달러를 AI 인프라 투자에 투입할 계획이다. 이는 빙산의 일각일 뿐이다. 여기에는 엔비디아, 인텔과 같은 반도체 기업의 투자도, 앤트로픽, 오픈AI 등 생성형 AI 스타트업의 지출도 포함되지 않았다. 더 나아가 전 세계 기업 고객이 AI 도입에 쓰는 비용 역시 반영되지 않은 수치다.

거대한 투자 흐름 속에서 간과되고 있는 충격적인 질문이 있다. 만약 생성형 AI가, 그 지지자들이 주장하는 효과와 가치를 실제로 제공하지 못한다면 어떨까? 혹시 이것이 역사 속에서 반복돼 온 기술 거품 중 가장 큰 실패 사례로 기록되는 것은 아닐까?

세계 최대이자 가장 가치 있는 AI 기업인 마이크로소프트는 모든 약속이 환상이거나 과장으로 드러날 경우 그 누구보다 큰 타격을 입을 수 있다. 그리고 이런 가능성을 뒷받침하는 정황이 점점 더 드러나고 있다. 맥킨지, 가트너, MIT 등 주요 기관의 애널리스트와 연구팀은 이제 공개적으로 말하고 있다. “생성형 AI 붐은 현실보다 과대평가된 측면이 크다”라는 것이다.

그들의 주장이 사실이라면, 이는 마이크로소프트의 미래에 어떤 의미를 갖게 될까?

대부분 기업 “AI 도입 성과 미미하다” 평가

마이크로소프트와 주요 AI 기업은 여전히 AI 기술에 낙관적인 입장을 보이고 있다. 이유는 단순하다. 전 세계 기업 고객이 이 분야에 거대한 자금을 베팅하고 있으며, 그 규모는 매년 수백억 달러에 달하고, 지금도 가속화되고 있기 때문이다. 시장조사업체 IDC에 따르면, 기업은 올해에만 생성형 AI에 619억 달러를 지출할 전망이다. 이 수치는 다른 AI 기술 투자를 제외한 금액으로, 지난해와 비교해 거의 두 배에 달한다고 IDC는 설명했다.

기업이 투자를 확대하고 있음에도 불구하고 실제 성과는 기대에 미치지 못하고 있다. 맥킨지의 최근 보고서에 따르면, “기업 10곳 중 8곳이 생성형 AI를 활용하고 있다고 답했지만, 같은 비율의 기업이 수익 측면에서 유의미한 효과를 얻지 못했다”라는 결과가 나왔다. 맥킨지는 이를 “생성형 AI의 역설”이라고 표현했다.

맥킨지만 이런 우려를 제기한 것은 아니다. MIT가 발표한 ‘생성형 AI 격차: 2025년 비즈니스에서의 AI 현황(The GenAI Divide: State of AI in Business 2025)’ 보고서는 더욱 충격적인 결과를 담고 있다. 기업 내 생성형 AI 파일럿 프로젝트의 95%가 실패하고 있다는 것이다. 데이터 분석 기업 S&P 글로벌(S&P Global)의 조사 결과도 비슷하다. 기업의 42%가 2024년 말까지 대부분의 AI 파일럿을 중단했으며, 이는 전년 대비 17% 증가한 수치다.

가트너는 수십 년 동안 새로운 기술의 호황과 침체를 ‘하이프 사이클(hype cycle)’이라는 지표를 통해 추적해 왔다. 가트너는 AI 하이프 사이클 역시 꾸준히 분석해 왔으며, 최근 보고서에서 “2024년 발표된 AI 하이프 사이클에서는 생성형 AI를 기업에 큰 영향을 미칠 수 있는 잠재적으로 변혁적인 기술로 평가했다. 그러나 올해 생성형 AI는 ‘환멸의 골짜기(Trough of Disillusionment)’ 단계에 들어섰다”라고 말했다. 조사 결과에 따르면, 기업은 2024년 생성형 AI 프로젝트에 평균 190만 달러를 투자했음에도 불구하고, CEO가 투자 수익률에 만족한다고 답한 경우는 30%에 그쳤다.

마이크로소프트에 의미하는 바

마이크로소프트는 AI 투자를 기반으로 시가총액 3조 달러 기업으로 성장했다. 따라서 기업이 AI 프로젝트에서 실질적 가치를 찾지 못하는 상황이 이어진다면, 마이크로소프트의 재무적 미래는 위태로워질 수 있다. 그러나 여러 기관의 부정적인 조사 결과에도 불구하고 희망적인 해석도 있다. 이들 기관은 공통적으로 “기업이 AI 투자에 만족하지 못하는 이유는 아직 기술을 가장 효과적으로 활용할 방법을 찾지 못했기 때문”이라고 지적했다. 결국 기업이 최적의 활용 방안을 마련하게 된다면, AI 투자는 상당한 성과를 가져올 수 있다.

예를 들어, MIT 조사에서 외부 전문가나 전문 기업과 협력해 프로젝트를 진행할 경우 성공률은 67%에 달하는 것으로 나타났다. 반면, 내부에서만 구축했을 때는 성공률이 33%에 그쳤다. 맥킨지 역시 유사한 결론을 내놨다. 기업의 업무 흐름에 특화된 AI 에이전트를 활용하면 상당한 이점을 얻을 수 있다는 것이다. 맥킨지는 “에이전트 도입은 효율성을 개선에 그치지 않는다. 운영 민첩성을 비약적으로 강화하고 새로운 매출 기회를 창출한다”라고 설명했다.

가트너 수석 예측가 존-데이비드 러브록은 뉴욕타임스와의 인터뷰에서 “AI가 환멸의 골짜기 단계를 지나게 되면, 매우 유용한 생산성 도구로 자리 잡을 것”이라고 전했다.

마이크로소프트도 이런 상황을 잘 인지하고 있다. 2025년 개발자 행사 ‘빌드(Build)’ 컨퍼런스에서 경영진은 “AI 에이전트의 시대에 들어섰다”라고 선언하며, 코파일럿을 기반으로 기업이 자체적으로 에이전트를 구축할 수 있도록 지원하는 계획과 함께 ‘에이전틱 웹(agentic web)’ 비전을 공개했다.

또한 마이크로소프트는 기업을 대상으로 코파일럿 활용 가이드라인을 제공하고 있다. 이 가운데는 ‘기업 전반에 걸친 변혁적 에이전트 배포 방법: 퍼스트 고객으로서의 마이크로소프트(How to deploy transformational enterprise-wide agents: Microsoft as Customer Zero)’라는 제목의 문서도 포함돼 있다.

결론

AI에 대한 부정적인 소식은 새삼스러운 일이 아니다. 새로운 기술이 성공할지 실패할지는 초기 단계에서 늘 불확실했다. 지금처럼 중도 포기율이 높게 나타나는 현상은 표면적으로는 부정적으로 보일 수 있다. 그러나 기업이 적극적으로 실험에 나서고 있다는 신호로 해석할 수도 있다.

아직은 생성형 AI가 메타버스처럼 실패로 끝날지, 아니면 인터넷처럼 비즈니스와 우리의 삶을 변혁할지 단정하기는 이르다. 마이크로소프트의 미래는 결국 이 갈림길에서 어느 쪽으로 향하느냐에 달려 있다.
dl-itworldkorea@foundryco.com