IT 업계 전문가가 IT 의사결정권자들에게 공짜 토큰 같은 AI 공급업체의 마케팅 술수에 주의하고, 특정 업체 종속을 피하기 위한 다중 공급업체·다중 모델 전략을 도입하라고 촉구했다.

가트너 시니어 디렉터 애널리스트 맥스 고스는 “단일 업체에 종속될 위험을 감수하기보다는 다양한 AI 도구에서 가치를 이끌어낼 수 있도록 과감하게 다중 공급업체 전략을 채택하라”라고 강조했다.

고스는 단일 AI 공급업체나 단일 모델이 기업의 요구사항을 모두 충족시키는 경우는 드물다고 설명했다.

이런 조언은 AI 공급업체가 고객 선점을 위해 벤처 자본으로 보조된 저렴한 토큰을 앞다퉈 제공하는 상황에서 나왔다. 업체는 자사 모델을 기업에 적극 도입시키기 위해 현장 파견 엔지니어(FDE)를 채용하는 추세이기도 하다.

기업이 특정 AI 모델을 중심으로 비즈니스 프로세스를 구축하기 시작하면, 특정 모델의 생태계에 종속되는 상황에 처하게 된다. J. 골드 어소시에이츠(J. Gold Associates) 수석 애널리스트 잭 골드는 “기업이 토큰 비용을 절감하고 토큰 효율이 높은 모델을 채택하기 위해 하이브리드 전략을 구사하고 있다”라고 전했다.

글로벌 인력 서비스 업체 맨파워그룹(ManpowerGroup) 데이터 사이언스·AI 솔루션 부문장 맥스 러밍은 AI 공급업체의 무료·저가 토큰이 기업으로 하여금 독점 대규모 언어 모델과 에이전트를 중심으로 프로세스와 워크플로를 구축하도록 유인할 수 있다고 경고했다.

다만 AI 환경이 빠르게 진화하는 만큼 다중 모델 또는 다중 공급업체 구도가 자리 잡을지 예측하기는 쉽지 않다. IT 컨설팅 업체 킨드릴(Kyndryl)의 글로벌 AI 전략·소버린 트랜스포메이션 파트너 로건 울프는 “다중 모델로 갈 수 있다고 본다. 결국 사용례와 구현 방식에 달린 문제”라고 말했다.

기업은 여전히 실험적 단계에서 벗어나 AI를 비즈니스 관점에서 실질적인 가치를 내는 강력한 도구로 바라보는 사고방식으로 전환하는 과정에 있다. 울프는 IT 리더가 공급업체 중심이 아닌 사용례 중심으로 AI 전략을 수립해야 한다고 조언했다.

울프는 “금융이나 헬스케어처럼 규제가 강한 분야에서는 안전성, 개인정보 보호, 특정 규정 준수에 훨씬 많은 비중을 두어야 하기 때문에 비용을 이유로 모델을 빠르게 전환하기 어려울 수 있다”라고 설명했다.

위험 부담이 낮은 사용례라면 비용을 크게 늘리지 않고도 모델을 전환할 수 있는 전략이 바람직하다. 울프는 “트래픽 변동이 있는 고객 지원 데이터센터처럼 단순한 사용례의 경우, 부하가 집중될 때는 성능이 더 뛰어난 모델로 전환하고 저녁이나 주말에는 비용을 최적화할 수 있다”라고 말했다.

IT 경력 25년의 서비스나우 최고디지털정보책임자 켈리 로맥은 기업이 자사 AI가 어떻게 구축되는지 반드시 이해해야 한다고 지적했다. 로맥은 “AI가 어떻게 만들어졌는지, 어떻게 디버깅하고 백업하며 역추적하는지 사람이 이해하지 못한 상태에서 AI를 구축해서는 안 된다”라고 강조했다.

로맥은 또한 한 공급업체의 플랫폼을 다른 업체 것으로 교체하는 방식에도 오랫동안 부정적인 입장을 유지해왔다. 로맥은 “지금 보유한 기술을 먼저 살펴보고, 그다음에 최상의 솔루션이 무엇인지 검토하자고 말한다”라고 밝혔다.

로맥은 고객이 이미 보유한 자산과 계약 방향을 파악한 뒤, 아키텍처 원칙과 해결해야 할 문제에 근거해 옵션을 검토한다. 이후 앤트로픽의 클로드와 마이크로소프트의 코파일럿 등 여러 모델을 단일 대규모 언어 모델 게이트웨이를 통해 사내에서 병행 운영한다.

로맥은 “사내에 직원이 직접 활용할 수 있는 다양한 옵션이 있다”라고 전했다.

예를 들어 클로드는 긴 워드 문서를 읽는 데 더 유리하고, 코파일럿은 빠른 요약에 강점이 있다.

로맥은 사내 AI 지출에도 예민하게 대응한다. 로맥은 “매일 토큰 사용량을 확인한다. 같은 직무의 엔지니어 두 명을 보는데 한 명은 10달러, 다른 한 명은 1만 달러를 썼다면 반드시 이유를 따진다”라고 말했다.

특정 공급업체 종속을 피하는 것은 서비스 연속성 측면에서도 중요하다. 최근 몇 달간 오픈AI와 앤트로픽 클로드 서비스에 장애가 발생한 사례가 있으며, 가트너의 고스는 다중 모델 전략이 이런 상황에 대한 대비책이 될 수 있다고 말했다.

고스는 “단일 공급업체의 단일 모델에만 의존하면 위험이 따른다. 다중 모델 전략으로 위험을 완화할 수 있다”라고 강조했다.
dl-itworldkorea@foundryco.com