대부분 기업이 AI를 활용하지만, 소수를 제외하면 실질적 가치를 얻는 기업은 많지 않다. 시스코는 이런 기업을 ‘페이스세터(pacesetter, 선도 기업)’라고 정의했다.

시스코의 ‘AI 준비도 지수’ 세 번째 보고서는 30개 시장, 26개 산업에서 8,000명 이상의 비즈니스 책임자를 대상으로 AI 도입 수준을 조사했다. 올해 보고서는 전체 기업의 13%에 불과한 페이스세터가 AI에서 일관되고 측정 가능한 성과를 거두고 있음을 강조했다. 이들이 다른 기업과 다른 점은 효과적인 리더십, 업그레이드된 인프라, 그리고 내부 AI 역량이다.

AI 성과의 핵심은 리더십 지원

페이스세터는 가장 많은 예산을 쓰거나 화려한 파일럿 프로젝트를 운영하는 기업이 아니다. 이들의 차별점은 ‘규율’이다. AI를 부가적 프로젝트가 아닌 핵심 운영의 일부로 다루며, 95%가 AI 투자 효과를 추적하고 있다. 이들은 LLM을 지원할 수 있는 데이터 파이프라인과 성장을 전제로 설계된 네트워크를 구축했다. 그 결과, 전체 기업 평균 약 60%와 비교해 90%가 수익성, 생산성, 혁신이 높아졌다고 응답했다.

아직 AI 활용이 초기 단계라는 점을 고려하면, 이런 조사 결과는 자연스러운 일이다. 클라우드, 모바일, 인터넷이 등장했을 때도 소수의 기업이 먼저 과감히 실험에 나서면서 가치를 실현했다. 이런 이유로 기술 혁신은 거의 모든 산업에서 시장 주도권을 재편한다.

페이스세터의 99%는 명확한 AI 전략을 갖고 있는 반면, 다른 기업은 58%에 그쳤다. 페이스세터는 대부분 변화를 수용하고 직원이 AI를 익히도록 돕는 공식 프로그램을 운영하지만, 다른 기업은 그렇지 않다. 투자 결정도 뚜렷이 다르다. 페이스세터의 79%가 AI를 최우선 투자 대상으로 삼고, 96%는 단기·장기 예산을 모두 마련했다. 반면 다른 기업은 AI를 최우선 투자 분야로 꼽은 비율이 24%에 불과했다.

IT 및 비즈니스 책임자와 대화해 보면, AI에서 실질적 가치를 창출하는 기업과 그렇지 못한 기업의 격차는 ‘리더십’에서 비롯된다. 현재 AI 시스템은 누구나 활용할 수 있기 때문에, 문제는 기술이 아니라 리더십이다. AI 프로그램은 최고 경영진이 명확한 방향성과 체계적 계획을 가지고 추진해야 한다. 그래야 기업 전체에서 AI의 효과를 객관적으로 측정할 수 있다.

AI를 위한 인프라 준비가 필수

시스코는 인프라에서도 큰 차이를 발견했다. 페이스세터는 미래 수요를 대비한 네트워크를 설계하고 있으며, 71%가 새로운 AI 프로젝트를 위해 즉시 확장이 가능한 네트워크를 갖추고 있다고 답했다. 약 3/4은 향후 1년 내 데이터센터 용량 확대에 투자할 계획이며, 현재 2/3는 AI 워크로드를 처리할 수 있는 인프라를 보유하고 있다.

페이스세터의 93%는 AI 대응에 완벽히 준비된 데이터 시스템을 갖췄다고 응답했으며, 이는 다른 기업(34%)에 비해 크게 앞선 수치다. 내부 데이터를 완전히 중앙화한 비율도 76%로, 다른 기업(19%)보다 월등히 높다. 84%는 거버넌스 체계를 갖추고 있고, 95%는 AI 효과를 측정할 수 있는 성숙한 프로세스를 보유하고 있다.

AI는 적절한 인프라 없이는 성공할 수 없는 기술 혁신이다. AI는 방대한 데이터를 생성하고, 대규모 연산과 낮은 지연 시간, 고용량 네트워크가 필수다. 과거에는 이른바 ‘베스트 에포트(best effort)’ 기반 네트워크로도 운영할 수 있었지만, 이제는 그렇지 않다. 데이터센터에서 캠퍼스, 지사까지 대부분 기업 네트워크는 전면적인 재정비가 필요하다.

AI 확산의 핵심은 올바른 프로세스 구축

페이스세터의 62%는 AI 사용례를 발굴하고 파일럿 프로젝트를 진행하고 실제 업무로 확대하는 명확한 프로세스를 갖추고 있다. 반면 페이스세터 아닌 기업 가운데 이런 성숙 단계에 도달한 곳은 13%에 불과하다. 대부분 페이스세터는 자사 AI 모델의 정확도가 최소 75%에 이른다고 답했으며, 절반 가까이는 1년 내 50~100%의 ROI를 기대한다고 밝혔다. 이는 평균치를 훨씬 웃도는 수준이다. 시스코는 지난 6개월 동안 기업에 실질적 ROI를 입증하라는 압박이 커지고 있다고 지적했다. 경영진과 IT 책임자뿐만 아니라 경쟁사도 구체적 성과를 요구하고 있다는 것이다.

반면 다른 기업은 아직 준비 초기 단계에 머물러 있다. 83%가 1년 내 AI 에이전트를 도입할 계획이라고 밝혔지만, 실제로는 네트워크가 그 규모나 복잡성을 감당할 준비가 되어 있지 않다고 인정했다. 시스코는 이를 ‘인프라 부채(infrastructure debt)’라고 표현했다. 인프라 업그레이드를 미루거나 보안 검토를 생략하고, 숙련 인력을 채용하지 않는 등 AI 시대의 기술 부채(technical debt) 버전이라는 것이다.

이런 지름길은 처음에는 사소해 보이지만, 시간이 지나면 AI의 진정한 가치를 실현하지 못하게 만드는 더 큰 문제로 이어진다. 시스코는 조기 경고 신호로 과도한 연산 비용, 예측 불가능한 하이브리드 인프라 운영비, 자원 압박 등을 꼽았다. 많은 기업이 보안 문제와 데이터 중앙화에서도 어려움을 겪고 있다. 페이스세터도 같은 도전에 직면하지만, 이를 해결할 수 있는 체계와 역량을 갖추고 있다.

AI 준비도는 기업 경쟁력의 핵심 지표

보고서에 따르면 AI 준비도는 명확한 경쟁 우위 요소다. 많은 기업이 AI의 ‘가치’를 이야기하지만, 실제로 이를 실현하는 기업은 페이스세터뿐이다. 페이스세터는 다음과 같은 AI 준비도의 6대 요소에 꾸준히 투자해왔다.

• 명확한 AI 전략을 수립하고,
• 데이터센터 용량 확대에 투자하며,
• AI 에이전트가 활용할 수 있도록 깨끗하고 중앙화된 데이터를 통합하고,
• 거버넌스에 안전장치와 실시간 모니터링을 포함하고,
• 내부에 숙련된 AI 인재를 확보하며,
• 전사 차원의 AI 전환 지원 계획을 갖추고 있다.

시스코는 다른 기업도 이 6대 원칙을 따를 경우 AI에서 일관된 성과를 얻을 수 있다고 조언했다.

AI 전략은 ‘작게 시작해 크게 확장하라’

보고서에 따르면, AI에 대한 관심이 부족한 기업은 없다. 하지만 많은 기업이 최적의 전략을 고민하느라 실제 운영 단계로 나아가지 못하고 있다. 필자는 “문샷(moon shot)”보다 “칩샷(chip shot)”을 생각하라고 조언하고 싶다. 즉, 처음부터 전사적 AI 도입으로 모든 문제를 해결하려 하기보다, 작게 시작해 학습을 반복하며 확장하라는 것이다. 그런 접근만이 실패를 피하고 지속적인 개선을 가능하게 한다.

무엇보다 중요한 것은 우선 AI 도입을 ‘시작하는 것’이다. 이후 필요에 따라 조정하면 된다. 올해 초 한 컨퍼런스 연사는 “AI 시대에는 패스트 팔로워(fast follower) 전략이 통하지 않을 것”이라고 말했다. AI의 발전 속도가 너무 빠르기 때문이다. 시스코 보고서가 지목한 페이스세터 기업은 이미 경쟁을 앞지를 준비를 마쳤다. 이번 보고서를 경고등이자 기회로 받아들이고, 지금 바로 AI 여정을 시작해 그 격차를 좁혀야 한다.
dl-itworldkorea@foundryco.com