무모하게 돌진하는 IT 리더 가운데 생성형 AI 실험 실패율이 높은 기업은, 프로젝트를 중단한 뒤에도 유지 보수 비용이 계속 들어가는 첨단 기술 폐기물을 만들어내고 있다.

최근 설문 조사에서는 실패한 생성형 AI 시도가 쓰레기 코드, 버려진 애플리케이션, 보안 문제를 대거 남기고 있으며, 많은 경우 IT 리더 눈에는 이런 문제가 잘 보이지 않는 것으로 나타났다.

리서치 기업 가트너(Gartner)는 지난달 발표한 설문 조사에서 2030년까지 기업의 50%가 지연된 AI 도입이나 지연·중단된 프로젝트로 인한 높은 유지 보수 비용에 직면할 것으로 예상된다고 밝혔다.

가트너 부사장 겸 석학 애널리스트 아룬 찬드라세카란은 “코드, 콘텐츠, 디자인과 같은 AI 생성 산출물을 유지·수정·교체하는 비용이 징벌적 수준으로 치솟으면, 생성형 AI가 약속해온 투자 수익률이 잠식될 수 있다”라고 성명에서 언급했다.

생성형 AI 기술은 몇 주 혹은 몇 달 간격으로 새로운 기능이 쏟아질 정도로 빠르게 발전하고 있어, IT 리더가 변화 속도를 따라잡기 어려운 상황이다.

이 같은 환경에서는 설계가 부실한 AI 업그레이드가 시간이 지날수록 유지 보수 비용이 증가하는 ‘기술 부채’를 만들어낼 수 있다. 단기 처방식 수정 작업은 도구와 코드의 재사용 가치를 떨어뜨려, 장기적으로 유지 보수 비용을 더 끌어올린다.

한 벤처 캐피털 업계 관계자가 최근 동작 방식이 서로 다른 AI 도구를 기존 레거시 엔터프라이즈 도구 위에 땜질하듯 통합하는 방식 역시 기술 부채를 키울 수 있다고 지적했다.

리서치 기업 옴디아(Omdia), 컨설팅 기업 맥킨지, 미국 매사추세츠공과대학, 리서치 기업 포레스터의 연구에 따르면 생성형 AI 프로젝트 실패율 전망치는 최대 95%에 달한다.

리서치 기업 HFS 리서치(HFS Research)는 지난달 발표한 연구에서 새로운 AI 도구가 비용을 절감하고 생산성을 높이는 효과를 내는 동시에, 새로운 기술 부채를 더 쌓을 수도 있다고 분석했다. 이번 연구는 소프트웨어 기업 언콕(Unqork)과 공동으로 수행됐다.

HFS 설문 조사에 참여한 응답자 가운데 약 43%는 AI가 새로운 기술 부채를 만들어낼 것으로 예상했고, 80%가 넘는 응답자는 비용 절감과 생산성 향상을 기대한다고 답했다.

장기적으로는 55%가 AI가 전체 기술 부채 총량을 줄일 것으로 봤고, 45%는 오히려 늘어날 것으로 전망했다.

HFS 리서치 최고경영자(CEO) 필 퍼스트는 취약하고 코드 의존도가 높은 아키텍처에서 AI가 기술 부채를 ‘가속’할 것이라며, 기업은 기반을 재설계하고, 통합을 제품화하며, 거버넌스를 내재화해야 한다고 언급했다.

많은 IT 리더에게 생성형 AI의 가치는 기반 기술 그 자체보다 비즈니스 변혁에 더 있다고, 올해 마이크로소프트의 이그나이트(Ignite) 컨퍼런스에서 진행된 파이어사이드 챗 패널이 전했다.

통신 기업 루멘(Lumen)에서는 IT 의사결정권자가 먼저 해결하려는 비즈니스 문제를 정의한 뒤, 그 목표를 달성하는 데 필요한 AI 도구와 기술을 찾아 나선다고 루멘 커넥티드 에코시스템 수석부사장 션 알렉산더가 이그나이트에서 설명했다. 루멘은 이 같은 과정을 거친 뒤 결과를 측정한다.

화이자 컨슈머 테크놀로지·엔지니어링 담당 부사장 팀 홀트는 패널 토론에서 화이자에서는 먼저 AI를 신뢰하는 접근법을 확립한 다음, 각종 비즈니스 기능을 AI 환경으로 끌어들이는 전략을 채택했다고 전했다. 홀트는 “앞으로 기업이 분명히 나아갈 방향은, 구성원 모두가 ‘지금까지 존재해온 방식 그대로 따라오며 이 프로세스를 해결했다’고만 생각하던 관점을 바꾸는 것이다”라고 말했다.

이어 홀트는 “이제는 과감하게 프로세스를 해체하고 새롭게 상상해 보자라는 방향으로 전환하고 있으며, 이 변화는 매우 흥미롭다”라고 덧붙였다.

기술적 배경 지식이 제한적인 리더가 AI 전략을 주도하는 경우도 늘어나고 있으며, 이들은 방정식의 기술 요소보다 결과와 성과 측면에 더 집중하고 있다. 화학 기업 바스프(BASF)의 글로벌 온라인 커뮤니케이션 총괄 모나 리멘슈나이더는 농업 솔루션 부문에서는 AI를 미래 비즈니스 전략의 근간을 이루는 핵심 축으로 보고 있다고 언급했다.

리멘슈나이더는 “AI 기술을 활용해 어떤 방식으로 가치를 창출할 수 있을지를 고민하는 과정이 전략의 일부를 이룬다”라고 말했다.

가트너는 그럼에도 불구하고 IT 리더는 AI 시스템의 구현 과정을 면밀히 점검하고 아키텍처 안정성을 고려해야 한다고 조언했다. 이러한 점검이 부족하면 보안과 규제 준수 같은 영역에서 위험 요인이 간과될 수 있고, 나중에 IT 리더에게 부담으로 돌아올 수 있기 때문이다.

그 외 보안 문제로는 제대로 관리되지 않은 AI 프로젝트에서 발생하는 불량 애플리케이션과 데이터 유출 등이 포함된다. 가트너는 2030년까지 기업의 약 40%가 승인받지 않은 섀도 AI로 인해 보안 또는 규제 준수 사고를 겪게 될 것이라고 전망했다.

HFS 설문 조사 응답자 가운데 59%는 보안 취약점을 주요 우려로 꼽았고, 그다음으로 레거시 시스템 통합 문제를 지적한 비율이 50%였다.

가트너는 IT 리더에게 AI 도구 사용을 공식적으로 승인하고 사용 지침을 마련할 것, 특정 업체 종속을 피할 것, 상호운용성을 확보할 것을 권고했다. 엔비디아와 같은 업체는 자사 GPU 사용을 강제하는 독점 소프트웨어 스택을 보유하고 있다. 그러나 많은 기업이 AI 구현을 위해 오픈 스탠더드 기반 접근으로 방향을 바꾸고 있다.
dl-itworldkorea@foundryco.com