기업 현장은 AI를 향한 기대와 과대광고로 넘쳐나고 있다. 새로운 사업 라인과 생산성·효율성의 획기적 도약을 약속하는 메시지가 AI를 모든 산업 분야에서 최신 필수 기술로 만들었다. 들뜬 헤드라인과 경영진의 공언에도 불구하고, 대부분 기업은 측정 가능한 ROI를 제공하는 신뢰할 만한 AI 사용례를 찾는 데 어려움을 겪고 있으며, 과대광고 사이클은 실제 운영·비즈니스 현실보다 2~3년 앞서 달리고 있다.

IBM의 ‘2030년의 기업(The Enterprise in 2030)’ 보고서에 따르면, C 레벨 임원 중 79%라는 눈길을 끄는 비율이 4년 안에 AI가 매출을 끌어올릴 것으로 예상하지만, 매출이 어디에서 나올지 특정할 수 있는 비율은 약 25%에 그쳤다. 이런 괴리는 비현실적인 기대를 키우고, 아직 실험 단계이거나 미성숙한 이니셔티브에서 빠른 성과를 내라는 압박을 만든다.

컨퍼런스에서 AI가 논의를 지배하는 모습은 현실 세계에서 AI가 더디게 진전하는 속도와 대조적이다. 생성형 AI와 머신러닝의 새 역량은 가능성을 보여주지만, 파일럿 단계에서 영향력 있는 구현으로 옮기는 과정은 여전히 어렵다. 많은 전문가가 이런 상황을 ‘AI 과열 후유증’으로 묘사하며, 구현 난관과 비용 초과, 기대 이하의 파일럿 결과가 AI 잠재력의 광채를 빠르게 흐리게 만든다고 설명했다. 클라우드와 디지털 트랜스포메이션에서도 비슷한 사이클이 나타났지만, 이번에는 속도와 압박이 더 거세다.

너무나도 다른 AI 사용례

AI의 가장 큰 강점인 유연성과 광범위한 적용 가능성은 도전 과제도 만든다. ERP와 CRM 같은 앞선 기술 물결에서는 ROI가 보편적 진실처럼 통했다. 하지만, AI 중심의 ROI는 폭이 넓게, 때로는 극단적으로 갈린다. 일부 기업은 보험금 청구 처리 자동화, 물류 개선, 소프트웨어 개발 가속 같은 작업에서 가치를 얻을 수 있다. 하지만 자금이 충분한 파일럿을 진행한 뒤에도 설득력 있고 반복 가능한 사용례를 찾지 못하는 기업은 여전히 존재한다.

이런 변동성은 광범위한 ROI를 막는 심각한 장애물이다. 너무 많은 기업이 AI를 범용 해법으로 기대하지만, AI 구현은 맥락 의존성이 매우 크다. AI로 해결할 수 있는 문제(그리고 그 해법이 투자 대비 타당한지)는 기업마다 크게 달라진다. 기업마다 조건이 다른 현실은 작고 기대 이하인 파일럿 프로젝트를 양산하고, 이 가운데 대부분은 눈에 보이는 비즈니스 가치를 증명할 만큼 넓게 확장되지 못한다. 요약하면, AI 성공 사례는 많지만, 여전히 수많은 기업이 가시적 성과를 기다리고 있다. 일부 기업은 당분간 성과를 보기 어렵거나, 아예 성과가 나오지 않을 수도 있다.

준비 비용이라는 벽

거의 모든 기업에 공통되는 도전 과제가 하나 있다면, 데이터와 인프라 준비의 비용과 복잡성이다. AI 혁명은 데이터에 대한 갈증이 크다. 정제되고 풍부하며 잘 거버넌스된 정보에서만 번창한다. 현실 세계에서 대부분 기업은 여전히 레거시 시스템, 사일로화된 데이터베이스, 일관성 없는 포맷과 씨름한다. 이 데이터를 수집·정리·통합하는 데 필요한 작업은 AI 프로젝트 자체 비용을 압도하는 경우가 많다.

데이터 문제를 넘어, 연산 인프라라는 과제도 있다. 서버, 보안, 규정 준수, 신규 인재 채용 또는 교육이 연산 인프라 과제에 포함된다. 연산 인프라 요소는 사치가 아니라 확장 가능하고 신뢰할 수 있는 AI 구현을 위한 전제 조건이다. 경제 불확실성이 큰 시기에는 대부분 기업이 완전한 전환에 필요한 자금을 배정하지 못하거나 배정하려 하지 않는다. CIO.com의 보도에 따르면, 많은 리더가 진입 장벽의 핵심을 AI 소프트웨어가 아니라, 의미 있는 진전을 시작하기 전에 선행돼야 하는 광범위하고 비용이 큰 기초 작업으로 꼽았다.

AI 성공을 위한 세 가지 단계

이런 역풍 속에서 기업이 던져야 할 질문은 AI를 포기해야 하는지가 아니라, 실제 비즈니스 요구에 맞춰 더 혁신적이고 더 규율 있으며 더 실용적인 방식으로 어떻게 전진할 것인가다.

첫 번째 단계는 AI 프로젝트를 고가치 비즈니스 문제와 연결하는 일이다. “다른 회사가 모두 하니까”라는 이유로는 AI를 더 이상 정당화할 수 없다. 기업은 전통적인 자동화로는 한계가 있는 비싼 수작업 프로세스, 느린 사이클, 비효율적인 상호작용 같은 문제 지점을 찾아야 한다. 그 다음에야 AI 투자가 의미를 갖는다.

두 번째로, 기업은 효과적인 AI 배포에 필수적인 데이터 품질과 인프라에 투자해야 한다. IT 책임자는 데이터 정리와 아키텍처에 대한 지속적 투자를 지지해야 하며, 신뢰할 수 있고 확장 가능한 결과를 얻기 위해 화려한 AI 파일럿보다 개선 작업을 우선해야 하더라도, 데이터 정리와 아키텍처 투자를 미래 디지털 혁신의 핵심으로 바라봐야 한다.

세 번째로, 기업은 모든 AI 실험에 대해 탄탄한 거버넌스와 ROI 측정 프로세스를 구축해야 한다. 책임자는 매출, 효율성 향상, 고객 만족도 같은 명확한 지표를 요구하고, 모든 AI 프로젝트에서 지표를 추적해야 한다. 파일럿과 본격 배포를 눈에 보이는 성과로 엄격하게 책임지게 만들면, 기업은 무엇이 작동하는지 찾아낼 뿐 아니라 이해관계자의 신뢰와 신용도 구축할 수 있다. 성과를 내지 못한 프로젝트는 방향을 전환하거나 종료해, 자원이 가장 유망하고 비즈니스와 정렬된 노력에 투입되도록 해야 한다.

기업 AI의 앞날이 절망적인 것은 아니지만, 현재의 과대광고가 암시하는 것보다 더 큰 부담을 지고 더 큰 인내를 요구한다. 성공은 번쩍이는 발표나 대규모 파일럿에서 나오지 않고, 강한 데이터, 건전한 인프라, 면밀한 책임성을 바탕으로 실제 문제를 해결하는 표적형 프로그램에서 나온다. 이런 현실에 초점을 맞춘 기업이라면, AI는 약속을 이행하며 수익을 내는 기업 자산으로 자리 잡을 수 있을 것이다.
dl-itworldkorea@foundryco.com