AI 투자 열풍 속에 수많은 기업 AI 프로젝트가 중단되면서, 높은 실패율의 원인이 기술이 아니라 사람이라는 지적이 나오고 있다. 최근 자료는 정체된 AI 프로젝트 상당수가 빈약한 비전, 부실한 운영, 부족한 자원 탓에 발생했다는 것을 보여준다.

경영진의 ‘AI 우선’ 전략에 대한 의지가 강해지면서 예산과 시스템, 도구가 부족한 상황에서 무리하게 추진해야 하는 CIO와 IT 의사결정권자에게 압박이 가해지고 있다. J. 골드 어소시에이트의 대표 애널리스트 잭 골드는 경험이 쌓이면 IT 책임자의 역량이 향상되겠지만 학습 곡선이 매우 가파르다고 지적했다. 골드는 “이는 과거 데이터베이스 초기 도입, 웹·브라우저 기반 앱 전환 등 신기술이 던진 난제와 크게 다르지 않다”라고 말했다.

초기 단계 벤처캐피털(VC)은 AI 기술의 검증자 역할을 수행한다. 파트너는 AI 스타트업 창업자 못지않게 깊이 관여하며 기술 리더와 회의에 참석하고, 프로토타입을 만들고, 포트폴리오 기업을 지원한다.

하지만 VC와 CIO는 AI를 바라보는 위험 감수 성향과 우선순위가 다르다. 브레이크아웃 벤처스의 매니징 파트너 줄리아 무어는 “CIO가 프로젝트에 관여하는 방식은 완전히 다르다. CIO는 프로젝트 실패로 해고될 가능성을 고민한다”라고 말했다.

이런 맥락에서 벤처캐피털이 이야기하는 성공적인 AI 프로젝트를 위한 조언을 정리했다.

1. AI가 비즈니스를 어떻게 바꿀지 생각한다

액시엄 파트너스(AXIOM Partners)의 창업자이자 파트너인 산드야 벤카타찰람은 AI가 기존 비즈니스 구조, 운영 계층, 조직도, 프로세스를 빠르게 변화시키고 있다며, “CIO 입장에서 장기적으로 바라보면 AI가 만드는 결과를 더 명확하게 볼 수 있다”라고 말했다.

산드야 벤카타찰람은 “오늘날 새로운 역량 상당수는 인간이 수행하던 일을 AI가 직접 처리하거나 인간이 내던 결과물을 만들어내는 형태로 등장하고 있다. 이는 기존 소프트웨어 도구를 모방하거나 자동화하던 방식과 다르다”라고 설명했다.

이런 변화는 레거시 시스템과 프로세스를 반드시 대체하게 될 것이다. 산드야 벤카타찰람은 고객지원 분야가 가장 먼저 뒤흔들릴 영역이라고 지적했다. 또한, “AI 관점에서 세일즈포스를 누가 먼저 흔들 수 있을까? 콜센터에서 상담원이 전화를 받던 구조가 AI 기반 응대로 바뀌었고, 상당한 비용 절감 효과가 발생했다”라고 설명했다.

2. AI 기술 자체가 아니라 결과에 집중한다

줄리아 무어는 IT 리더가 AI 프로젝트를 기술 중심이 아니라 결과 중심으로 설계해야 한다고 조언했다. 무어는 “창업자는 기술이 아니라 기술의 파급 효과를 본다. 배경에 있는 AI 기술이 아니라 특정 산업군을 바꿀 수 있는지에 중점을 둔다”라고 설명했다.

스카우트 벤처스의 창업자이자 매니징 파트너인 브래드 해리슨은 CIO가 반복적이고 시간이 많이 드는 업무를 자동화해 가치를 창출하는 고효율 분야에 집중할 수 있다고 분석했다. 해리슨은 “CIO는 장기적으로 바라보고 프로토타입을 만들고, 기술 자체를 걱정하기보다 결과를 고민하고, 큰 그림을 봐야 한다”라고 강조했다.

3. 오늘이 아니라 내일 필요한 것을 고민하라

벤처캐피털은 일반적으로 현재 구매자의 요구가 아니라 미래 변화를 보고 투자한다. IT 리더도 이런 관점에서 자사 업계가 AI로 어떻게 바뀔지 생각해야 한다. 산드야 벤카타찰람은 AI의 진정한 가치는 레거시 스택과 프로세스를 대체하는 데 있으며, 단기 성과나 산발적 AI 프로젝트는 의미가 없다고 지적했다.

자체 LLM을 구축하는 등 내부 워크플로우에 AI를 단순 추가하는 방식은 낭비인 경우가 많다. 벤카타찰람은 대기업이 자체 도구나 인프라를 구축하는 데 시간을 허비하는 경우가 많은데, 이미 대형 연구기관이 상용화한 기술을 중복 개발하는 것일 뿐이라고 설명했다.

AI 도구는 6개월마다 바뀌며, 기술이 아니라 큰 그림 결과에 집중해야 한다. 산드야 벤카타찰람은 “AI 코딩 코파일럿처럼 17번째 반복 제품이나 검색 방식을 또 바꾸려는 시도에는 투자하지 않는다. 이들 모두 유용하고 가치 있지만 다음 단계의 혁신은 아니다”라고 강조했다.

액시엄 파트너스의 투자 포트폴리오는 서클8 같은 HR 업체와 캔녹-EDR 같은 핀테크 업체를 포함한다.

4. 더 빠르게 움직이기 위해 파트너십을 맺어라

엔터프라이즈 조직이 AI가 요구하는 속도로 변화하기는 어렵다. 대부분 기업은 지금 컴퓨팅과 AI에서 벌어지는 변화 속도에 맞춰 움직이도록 설계되지 않았기 때문이다. 브래드 해리슨은 “이런 이유로 IT 리더는 일반적으로 훨씬 빠르게 움직이는 AI 네이티브 스타트업과 협력해야 한다”라고 조언했다.

스카우트 벤처스는 국방 분야에서 AI 도구를 개발하는 기업에 투자하고 있다. 스카우트 벤처스는 매년 포트폴리오 기업을 록히드마틴, L3해리스(L3Harris), IBM, 레드햇 같은 엔터프라이즈 파트너와 연결하는 행사를 개최한다.

엔터프라이즈 IT 리더는 이런 네트워크를 통해 다양한 AI 문제를 해결하는 창업자 커뮤니티에 접근할 수 있다. 해리슨은 “가치사슬 각 단계 문제를 AI로 풀어내는 방식을 정말 잘 익히고 있고, 그로 인해 놀라운 효율을 내고 있다”라고 평가했다.

벤처캐피털들은 AI 네이티브 업체와의 협력이 시간과 비용을 절약해 주고, 특히 첫 AI 프로젝트를 추진하는 기업의 성공률에 큰 영향을 준다고 입을 모았다.

5. AI 전략을 산업군에 정렬하라

AI 전략은 IT를 핵심 제품과 직접 연결하는 요소이며, 기업의 시장 생존을 좌우한다. IT 의사결정권자는 AI 전략을 기업이 속한 수직 시장에 맞춰 정렬해야 한다.

일부 분야에서는 에이전트 이후 ‘피지컬 AI(Physical AI)’가 차세대 핵심 기술로 꼽힌다. 해리슨의 투자 포트폴리오는 국방, 치안 같은 산업으로 구성돼 있으며, 이 영역은 AI가 물리적 세계와 직접 맞닿는 분야이기도 하다. 해리슨은 국방 산업은 실제 환경에서 검증 가능한 기술을 요구하기 때문에 AI가 실험적이어서는 안 된다며, “AI가 물리 세계와 만나는 지점이 인류에 가장 큰 영향을 줄 수 있는 영역이라고 생각한다”라고 말했다.

브레이크아웃 벤처스는 궁극적으로 인간 건강에 영향을 주는 데이터세트와 도구를 개발하는 초기 단계 AI 업체에 투자한다. 이런 제약·바이오테크 시장에서는 과학 기반 비즈니스가 데이터 기반 비즈니스로 전환되고 있다. 무어는 “생명과학을 보면 물리학, 화학, 생물학 등 훨씬 복잡한 데이터를 다룬다. 그래서 제약 산업은 경쟁이 모두 디지털·데이터 기반으로 전개되기 때문에 한발 앞서가야 한다”라고 강조했다.

6. ‘AI 우선’ 문화를 구축하라

가장 큰 장애물은 기술이 아니라 문화이다. 젊은 ‘디지털 네이티브’, 특히 Z세대 구성원은 AI 도구를 고위 경영진과 전혀 다르게 받아들이고 있다. 해리슨은 “사람이 디지털 세계와 연결되는 방식에 세대 차이가 있다. 디지털 네이티브와 디지털 이민자의 차이”라고 말했다.

해리슨은 IT 리더가 사무실에만 머무르지 말고 직원과 AI 프로젝트에 직접 참여해야 더 유의미한 통찰을 얻을 수 있다고 강조했다. 또, “한 주에 한 시간만이라도 직접 뛰어들어 깊이 있게 생각하면, 훨씬 더 좋아질 것”이라고 덧붙였다.

7. 직접 손을 더럽혀라

IT 리더는 빠르게 변화하는 AI 흐름을 따라가기 위해 내부 프로토타이핑과 실험을 적극 장려해야 한다. 베이시스 셋 벤처스(Basis Set Ventures)의 파트너 존 매니스는 자사 팀에는 머신러닝 엔지니어와 데이터 사이언티스트가 포함돼 있으며, 이들이 브레인스토밍하고 프로토타입을 만들고 도구를 개발한다고 설명했다.

매니스는 데이터베이스용 도구 7개를 직접 써본 팀이 “우리가 그 7개를 다 써봤는데, 그중 6개는 정말 쓰지 말라”라고 말하는 팀이 있다면, CTO와 창업자는 훨씬 즐겁게 일할 수 있을 것”이라며, “현장에서 직접 부딪혀야 한다. 이런 방식은 신뢰를 쌓게 하고, 주변 사람을 어떻게 지원할지 더 현명한 판단을 하도록 우리 스스로를 성장시키는 효과가 있다”라고 강조했다.
dl-itworldkorea@foundryco.com