브렌던 포크는 교훈적인 사례가 될 생각은 없었다. AWS를 떠나 “AI 네이티브 팔란티어”를 만들겠다고 나선 지 3개월 만에 포크는 엔터프라이즈 AI 프로젝트의 방향을 완전히 돌렸다. X 포스트에서 설명한 이유는 18개월에 이르는 판매 주기, 미로 같은 통합 작업, 그리고 판매 후 마진을 갉아먹는 유지보수 등이다. 다시 말해, 소비자용 챗GPT 프롬프트가 즉각적인 만족감을 주는 것처럼 보여도, 기업 환경에서 AI를 작동시키기 위해서는 엄청난 조립 과정이 필요하다는 것이다.

900개의 생성형 AI 파일럿 프로젝트를 정리하고, 실질적인 가치를 제공한 10~15%만 남긴 존슨앤존슨 사례만 봐도 알 수 있다. 그러나 어떤 프로젝트가 성과를 낼지 예측하는 데는 여전히 어려움을 겪고 있다. IBM 컨설팅에 따르면, 기업의 단 1%만이 AI를 개념 증명 단계를 넘어 실제 운영까지 확장하는 데 성공한다.

그렇다고 걱정할 필요는 없다. 이미 이런 상황은 겪은 적 있다. 10년 전, 필자는 기업이 ‘빅데이터’를 효과적으로 활용하지 못해 고전하고 있다고 지적한 바 있다. 하지만, 결국은 빅데이터를 제대로 활용할 수 있게 됐고, 바로 그 ‘결국’이라는 시간을 지금처럼 AI가 모든 것을 한순간에 바꿀 것이라는 광풍 속에서도 기억해야 한다.

포크가 얻은 세 가지 교훈

포크는 스타트업 운영 경험이 탄탄하다. 그는 피그(Fig)를 공동 창업하고 매각 전까지 직접 운영했지만, 기업 시장의 경직된 현실은 예상하지 못했다. 그가 얻은 교훈은 다음과 같다.

• 기업용 AI는 SaaS처럼 팔리지 않고 미들웨어처럼 팔린다. 슬랙에 API를 삽입하는 수준이 아니라, 20년 된 ERP 시스템을 다시 연결해야 한다. 조달 주기는 길고, 맞춤형 작업 범위도 제품 개발 속도를 죽인다. 그리고 언제든 심각한 문제가 터질 수 있다. 포크는 “작은 계약도 큰 계약만큼 일이 많지만 수익은 훨씬 적다”라고 말했다. 맞는 말이다.
• 시스템 통합 업체가 이익을 가져간다. 액센추어나 딜로이트가 구축 작업을 끝낼 무렵이면, 스타트업의 소프트웨어는 전체 서비스 청구서에서 반올림으로 처리될 정도의 비중만 차지하게 된다.
• 유지보수가 혁신보다 더 중요해진다. 기업은 이리 저리 흔들리는 모델을 원하지 않고, 가동시간을 원한다. 기업에는 AI의 비결정론적 특성이 오히려 치명적인 단점이다. 포크는 “기업 프로세스에는 미리 예측하기 어려운 극단적인 예외 사례가 셀 수 없이 많다”라고 지적했다. 최고의 엔지니어들이 기능을 개발하기보다 규정 준수 문서를 작성하는 데 시간을 쓰게 된다.

이런 통찰은 전혀 새로운 것은 아니지만, “GPT-4o가 모든 것을 바꾼다”는 메시지가 프레젠테이션마다 반복되는 시대에는 쉽게 잊힌다. 실제로 GPT-4o는 많은 것을 바꿀 것이다. 그러나 현재 대부분 기업에서는 그럴 수 없다. “느낌대로 코딩한 앱을 바로 배포”하는 식의 접근은 X에서는 통할지 몰라도, 진지한 기업 환경에서는 통하지 않는다.

팔란티어의 ‘봐, 우리가 맞았잖아’ 순간

팔란티어 커머셜 책임자 테드 메이브리는 포크를 비꼬지 않을 수 없었다. “차세대 팔란티어를 만들고 싶다면, 팔란티어 위에 만들어라.” 틀린 말은 아니다. 팔란티어는 스타트업이 고생하며 해결해야 할 데이터 온톨로지, 보안 모델, 워크플로우 연결 같은 막대한 작업을 제품화했다.

그러나 메이브리의 자신감 넘치는 발언은 더 중요한 사실을 가리고 있다. 기업은 AI 플랫폼을 구매하는 것이 아니라, 결과를 구매한다. 팔란티어가 성공하는 것은 새로운 유전 부지를 계획하는 데 필요한 시간을 줄이거나, 국방부가 센서 데이터를 통합해 표적 결정을 내리는 것을 도왔을 때다. 플랫폼 자체는 드러나지 않는다.

회의실이 아니라 개발자가 AI를 주류로 이끈다

필자는 이전 칼럼에서 기술 도입은 ‘하향식’이 아니라 ‘상향식’으로 이뤄진다고 주장해왔다. 쿠버네티스, 몽고DB, AWS 모두 개발자의 열정에서 시작돼 위로 퍼져나간 사례다. 브렌던 포크의 경험은 ‘CIO에게 제안하는 AI 전환’이라는 반대 경로가 여전히 수렁에 불과하다는 사실을 보여준다.

현실적인 접근법은 다음과 같다.

• 적용 범위는 좁지만 높은 가치를 지닌 워크플로우부터 시작하라. 존슨앤존슨의 ‘영업 보조 AI(Rep Copilot)’는 혁신적인 비전이 아니라, 실질적인 영업 지원 도구다. 범위가 좁을수록 ROI가 명확해진다.
• 빠르게 출시하고, 더 빠르게 측정하라. 기업은 KPI를 바꾸지 못하는 프로젝트는 과감히 중단할 준비가 되어 있다. 이를 쉽게 만들어줘야 한다.
• API를 공개하고, 개발자의 신뢰를 얻어라. 개발자는 가트너 리포트를 읽지 않는다. 깃허브에서 코드를 복사해 쓴다. 개발자가 활용할 수 있는 기반을 제공하면, 이후 조달 부서가 자연스럽게 따라오게 된다.

앞으로의 방향

포크는 이제 “현장에 직접 뛰어들겠다”라며, 피드백 루프가 짧은 제품을 출시하겠다고 밝혔다. 바람직한 방향이다. 개발자를 위해 제품을 만들고, 공공요금처럼 단순한 과금 체계를 적용하며, 기업의 약속이 아니라 실제 사용량에 따라 제품 로드맵을 설정하겠다는 것이다. 포천지 선정 500대 기업에서 나오는 큰 돈은 결국 따라오게 되어 있다. 하지만 그 전에 수천 명의 엔지니어가 API를 방화벽을 뚫고 몰래 도입해 놓았을 것이다.

기업용 AI 전환은 죽지 않았다. 단지 역사를 반복하고 있을 뿐이다. 멋진 비전 제안서와 경직된 조직 구조가 충돌하면, 결국 조직 구조가 이긴다. 여기서 배워야 할 교훈은 통합의 수렁을 가리고 실험이 가능하도록 가격 구조를 설계하며, 기술을 실제로 정착시키는 개발자를 끌어들이는 것이다.

포크의 전략 전환은 기업 시장에 가장 빠르게 진입하는 방법이 화려한 회의실 로비가 아니라, 개발자의 뒷문일 수 있다는 사실을 다시 한번 상기시킨다.