제약 및 바이오 기업 써모 피셔 사이언티픽(Thermo Fisher Scientific)의 인사 프로세스 활성화 디렉터 시오반 크비센은 지난 1년간 자사 내부 챗봇에 생성형 AI를 적용하기 위해 노력해왔다. 크비센은 “그 여정이 정말 험난했다”고 말했다. AI 기술의 사용량과 가격 책정 모델이 “제각각이고 들쭉날쭉했으며”, “견고하다”고 약속했던 AI 솔루션들이 기대에 미치지 못했던 것이다.

크비센은 “이 길에 모든 시간을 쏟아부었는데, 갑자기 ‘잠깐, 이건 우리가 원하던 대로 작동하지 않잖아’라는 상황이 됐”라며, “일부 생성형 AI 솔루션과 우리가 있는 지점의 본질이 그런 것 같다”라고 덧붙였다.

크비센의 경험이 특별한 것은 아니다. 2026년까지 전체 기업의 80% 이상이 생성형 AI를 도입하거나 활용할 것으로 예상되지만, 거의 모든 기업이 막대한 예산 초과와 기대 불이행을 겪게 될 전망이다. 가트너는 2025년 생성형 AI 관련 지출이 6,440억 달러에 이를 것으로 내다봤으며, 비용 관리가 핵심 과제로 떠오를 것이라고 밝혔다. 이를 해결하기 위해서는 정교한 재무 계획이 필요한데, IDC는 2027년까지 기업의 75%가 생성형 AI 프로젝트에 비용 억제 조치를 통합할 것으로 예측했다.

예상치 못한 비용을 관리하는 것 외에도, 기업은 배포 과정에서 데이터 위험, 모델 부정확성, 통합의 어려움, 인재 부족, 윤리적 문제, 높은 인프라 요구 등 다양한 도전에 직면한다. 불분명한 ROI, 허술한 거버넌스, 업체 종속도 상황을 더욱 복잡하게 만든다.

FOMO로 인한 부실한 계획이 원흉

생성형 AI 배포 비용은 수백만 달러에서 많게는 10억 달러 이상으로 급등할 수 있으며, 이는 기업에 전혀 예상하지 못한 충격이 될 수 있다. AI 기술은 엄청난 가치를 제공할 수 있는 잠재력이 있지만, 철저한 계획과 거버넌스, 비용 통제가 없다면 요금, 교육, 통합, 인프라에 대한 요구가 누적되어 예측 불가능한 투자가 될 위험이 크다.

또한 데이터 정제, 라벨링, 관리도 많은 자원을 소모하지만 필수적인 과정이다. 고품질의 신뢰할 수 있는 데이터가 없다면, 생성형 AI 모델은 ‘쓰레기를 넣으면 쓰레기가 나온다’는 잘 알려진 원칙처럼 부실한 성능을 낼 수밖에 없다.

크비센은 “특히 인사 부문에서는 AI의 환각 현상이 매우 까다롭다”라며, “복리후생 정책에 대한 질문을 받을 때, 있지도 않은 내용을 만들어내 직원들이 실제로 혜택을 받을 수 있다고 오해하게 만드는 상황은 절대 피해야 한다”라고 설명했다.

LLM을 훈련하는 일, 특히 맞춤형 모델일 경우는 연산 자원이 많이 들고 비용도 크다. AI 엔지니어, 데이터 과학자, MLOps 전문가를 고용하거나 외부 계약하는 데도 상당한 비용이 든다.

그럼에도 FOMO, 즉 기회를 놓칠 수 있다는 두려움은 생성형 AI 파일럿 프로젝트를 추진하고, 경영진의 압박 속에 오픈AI의 챗GPT 같은 유행 기술을 적절한 비용 계획 없이 도입하게 만든다. 컨설팅 회사 RHR 인터내셔널의 CIO 브라이언 그린버그는 많은 기업이 과도하게 단순화된 스프레드시트에 의존해 비용을 추적하고, 파인튜닝, API, 컨설턴트, 데이터 준비, 거버넌스 같은 핵심 비용 요소를 누락한다고 지적했다.

그린버그는 “탄탄한 비용 모델은 구현뿐만 아니라 많은 생성형 AI 실험이 실패할 가능성까지 감안해야 하며, 이는 당연한 일”이라고 강조했다. 특히, “기업이 아무런 가드레일 없이, 명확한 목표 없이, AI가 실제로 가치를 더하는 영역을 검증하지 않고 무작정 뛰어들면 가장 큰 비용 문제가 발생한다”라며, “피자 배달을 하려고 람보르기니를 사는 것과 같다. 빠르고 재미있지만 완전히 어울리지 않는다”라고 비유했다.

RHR은 생성형 AI 도입에 대해 신중하고 보안 우선 접근 방식을 취하고 있다. 전담 태스크포스가 프라이버시, 윤리, 기업 통제에 중점을 두고 지속적인 테스트를 주도하고 있다. 그린버그는 “올바른 속도로 나아가야 핵심 워크플로우를 정확히 겨냥하고, 섀도우 IT를 피하며, 구성원의 신뢰를 쌓을 수 있다”라며, “비용을 덜 쓰는 것이 중요한 것이 아니라, 현명하게 쓰는 것이 중요하다”라고 강조했다.

가트너의 수석 리서치 디렉터 네이트 수다 역시 그린버그의 말에 동의하며, 기업이 “기차가 출발하는 플랫폼에 혼자 남고 싶지 않아서” 서둘러 도입하고 있다고 지적했다.

많은 기업이 유망한 파일럿 프로젝트를 추진하지만, 이를 전사적으로 확장하는 데 어려움을 겪는다. 가트너는 향후 2년 내에 에이전틱 AI 프로젝트의 40%, 생성형 AI 프로젝트의 30%가 실패로 중단될 것으로 전망했다. 수다는 “비용은 AI와 생성형 AI의 성공에 있어 가장 큰 단기 위협 중 하나다. 절반에 가까운 기업이 단순히 비용 모델을 잘못 세웠기 때문에 이니셔티브를 철회하는 모습을 보고 있다”라고 말했다.

서드파티 생성형 AI 도구나 플랫폼의 초기 저렴한 비용은 질의응답 기반 과금 모델에 따라 확장 및 라이선스 비용이 상승하면서 빠르게 증가할 수 있다.

수비할 것인가, 확장할 것인가, 뒤집을 것인가

기업은 생성형 AI 또는 에이전틱 AI를 도입할 때 보통 세 가지 전략을 사용한다. 경쟁력을 유지하기 위한 ‘수비(defend)’, 역량을 확장하기 위한 ‘확장(extend)’, 혁신을 통해 새로운 시장을 창출하고 판을 뒤엎는 ‘뒤집기(upend)’가 그것이다.

가장 보편적인 수비 전략은 고객 서비스 챗봇을 통해 응답 속도를 개선하고 이탈률을 줄이는 방식이다. 확장 전략은 통신업체가 사용 패턴을 기반으로 생성형 AI가 맞춤형 요금제를 추천하고 업셀링하는 데 활용하는 방식으로 적용할 수 있다. 뒤집기 전략은 기존 법률·의료 서비스 모델에 도전하는 AI 중심 스타트업이 선택할 수 있는 길이다.

실제로 많은 법률 전문가가 분 단위 청구 방식을 폐기하고, 결과 기반 과금 모델로 전환할 시점이라고 말한다. 생성형 AI 툴이 법률 서비스의 속도를 올리면서 시간이라는 단위가 더 이상 기존의 가치를 가지지 않기 때문이다.

가트너의 수다는 뒤집기 전략이 특히 위험하다고 강조했다. 넷플릭스나 우버 같은 과거의 디지털 파괴자와는 달리, 생성형 AI 기반의 뒤집기 전략은 한 기업만의 발전을 넘어 산업 전체를 뒤흔들 수 있기 때문이다. 수다는 “AI를 통해 단기적 가치를 창출하고 싶다면, 그것은 복권을 사는 것과 같다”라며, “비용이 많이 들고, 시간이 오래 걸리며, 성공 가능성도 낮기 때문에 여기에 도전하는 것은 현명하지 않다”라고 조언했다.

각 AI 전략에 따른 비용도 큰 차이가 있다. 초기 예상보다 5배, 심지어 10배까지 초과하는 경우도 있다. 특히 확장 전략에서는 기업이 작게 시작해 단기 성과를 거둔 이후에 비용이 통제 불능으로 치솟는 경우가 많다.

수다는 “확장 전략이 가장 많은 가치를 창출하고 있지만, 동시에 예기치 않은 비용이 가장 많이 발생하는 곳”이라며, “CEO는 ‘사용자당 월 10달러 정도 들지 않나?’라고 묻고, ‘좋군, 전 직원에게 배포하자’라는 결정을 내린다. 그러고 나서 무슨 일이 벌어지는지 지켜보자는 것이다”라고 설명했다.

기업이 초기 도입에서 일정한 가치를 확인한 후 더 많은 직원에게 생성형 AI 접근 권한을 제공하면서 비용은 급격히 상승하기 시작한다.

생성형 AI 비즈니스의 주요 비용

가트너에 따르면 데이터 전환 비용을 제외하고, 마이크로소프트 코파일럿, 구글 제미나이, 딥시크(DeepSeek) 같은 툴을 사용하는 수비 전략은 직원 1명당 약 500달러의 비용이 발생한다. 반면에 확장 전략은 25~500만 달러, 뒤집기 전략은 2,000만~2억 5,000만 달러가 든다.

수다는 마이크로소프트 365 코파일럿을 사용자당/월 또는 연단위로 과금하는 고정형 가격 모델의 대표적인 예로 들었다. “그래서 지불해야 하는 것은 사용자 수×사용자당 라이선스 요금, 그리고 약간의 통합 비용 정도”라고 설명했다.

그러나 이른바 ‘고정 비용’은 사실상 오해를 불러일으킬 수 있다. 예를 들어 코파일럿의 연간 사용자당 500달러라는 라이선스 비용 외에도 훨씬 더 많은 비용이 필요하다.

대부분 기술 프로젝트와 마찬가지로 생성형 AI 이니셔티브도 다양한 비용 요소를 동반한다. 가장 큰 비용은 주로 개발 관련 항목으로, 엔지니어, 데이터 과학자, AI 전문가, 프로젝트 매니저 고용 및 인력 재교육에 집중된다. 특히 재교육은 현재 많은 기업이 당면한 과제다.

성공적인 프로젝트에서 종종 등장하는 문제는 수다가 ‘늑대처럼 굶주린’ 상황이라고 부른다. 사용자가 챗봇을 너무 좋아해서 멈추지 않고 계속 사용하게 되는 현상이다. 수다는 “한 번의 응답으로는 만족하지 못해, 한 번 사용할 때마다 네 번 질문하고 같은 질문을 하루에 네 번한다”라고 설명했다.

기업은 인프라 비용, AWS나 마이크로소프트 등의 클라우드 호스팅 서비스, GPU 및 데이터 툴 비용도 반드시 감안해야 한다. AWS와 마이크로소프트 같은 업체는 개념 증명부터 전면 배포까지 다양한 시나리오별 비용 추정 프레임워크를 제공한다. 가트너 리서치도 비용 모델링 도구를 제공한다. 핀옵스 재단(FinOps Foundation)은 생성형 AI 워크로드의 비용을 더 잘 추정하는 방법, AI 서비스 비용 예측 방법, 최적화가 비용 예측에 미치는 영향, 온프레미스 vs. 클라우드 환경의 비용 비교 정보를 제공한다.

기업이 자주 범하는 실수는 초기 구축과 훈련에 지나치게 집중하고, 추론 및 운영 같은 지속 비용을 과소평가하는 것이다.

또 다른 핵심 요인은 데이터다. 어떤 데이터를 사용할지, 어디에 저장되어 있는지, 어떻게 준비할지 등은 종종 간과되지만 성공에 매우 중요한 요소다.

마지막으로 팀은 인적 전문성이 얼마나 필요한지 과소평가하거나 내부 구축과 외부 조달 중 무엇을 선택할지 결정하지 못하고 망설이는 경우가 많다. 자체 하드웨어를 보유한 기업도 GPU나 확장성 문제에 직면할 수 있다.

AI 서비스 업체마다 다양한 모델을 제공하며, 모델 간 가격 차이는 엄청날 수 있다. 수다는 “성능이 별로인 모델을 사용할지, 최신 최고 모델을 사용할지에 따라 가격 차이가 수십 배, 심지어 수백 배까지 난다”고 지적했다. 게다가 AI 서비스 업체의 가격 모델은 매우 변동성이 크다. 대부분 업체는 프롬프트의 단어 수 또는 문자 수 기준으로 AI 사용량을 측정한다. 다시 말해 입력과 출력 단위로 과금이 이뤄진다.

토큰이라는 새로운 가격 모델

대부분 AI 서비스 업체와 마찬가지로, 오픈AI의 과금 단위는 ‘토큰(token)’이다. 토큰 하나는 약 4자 또는 영어 단어 0.75개에 해당하므로, 영어 단어 하나는 약 1.33토큰이다. 오픈AI는 사용된 토큰 100만 개 단위로 요금을 부과한다.

AWS의 엔터프라이즈 재무 전략가 크리스 헤네시는 “많은 사람이 입력과 출력 개념을 완전히 이해하지 못하며 익숙하지도 않다. 그래서 비용 모델을 어떻게 만드는지가 중요하다. 많은 기업이 이 부분을 아예 안 하거나 잘못하고 있다”라고 지적했다.

모델별 가격은 매우 다양하다. GPT-4.1 mini는 입력 토큰 100만 개당 0.80달러, 출력 100만 개당 3.20달러이지만, GPT-4.1은 입력 100만 개당 3달러, 출력 100만 개당 12달러이다. 다른 모델은 이보다 더 비쌀 수 있다.

가트너의 네이트 수다는 기업이 우선 저렴한 모델로 실험해, 비싼 모델과 동등한 작업을 수행할 수 있는지 검증하는 것이 좋다고 조언했다. 수다는 “비용을 최소화하는 가장 좋은 방법이 있다. 직원 50명 모두가 챗GPT를 사용할 필요가 없을지도 모른다. 실제 가치를 얻을 수 있는 직원 5명에게만 제공하면 충분할 수도 있다”라고 말했다.

AI 비용 효율성은 세 가지 요소에 좌우된다. 입력/출력 품질, 반복 횟수, 그리고 AI에 적합한 데이터다. 특히 데이터가 전혀 없는 상태에서 시작할 경우 AI 준비가 된 데이터를 확보하는 것이 가장 중요하다. 수다는 “입력 및 출력 토큰 단가 차이는 매우 크다. 초기 구축 비용은 낮지만, 사용을 시작하면 비용이 급격히 오른다”라며, “처음에 사용자가 400명이라면, 4년 차에는 2,000명으로 늘어날 수 있다. 그러면 어떻게 되는가? 사용량이 증가하고, 비용도 4년 차에는 4배로 증가한다”라고 설명했다.

수다는 “생성형 AI는 구글과 같지 않다. 하지만 어떤 기업은 마치 구글처럼 사용한다. 질문을 입력하면 답이 바로 나온다고 생각하지만, 실제로 그런 일은 거의 없다”라고 지적했다. 또 “대답을 받아도 ‘이건 내가 원하던 답이 아닌데’라는 생각이 들고, 다시 질문하게 된다. 이 과정이 반복되면 비용은 순식간에 늘어난다”라고 덧붙였다.

계속 누적되는 숨은 비용

써모 피셔 사이언티픽의 시오반 크비센은 간과하기 쉬운 비용으로 테스트 비용을 꼽았다. 크비센은 “질문을 던지고 테스트할 때마다 비용이 든다. 같은 질문을 500번이나 하지는 않을 것이다. 매번 비용이 발생하기 때문”이라고 설명했다.

크비센은 “예를 들어 ‘채용 절차는 어떻게 되나요?’, ‘내 401(k) 정보는 어디 있나요?’ 같은 일반적인 질문에 AI가 얼마나 자주 정확한 답을 내놓는지 테스트해야 한다. 하지만 테스트마다 비용이 들기 때문에 정확도와 비용 간 균형을 잡고, 결과를 신뢰할 수 있을 만큼 몇 번 테스트할지를 결정해야 한다”고 말했다.

써모 피셔는 현재 서비스나우의 가상 챗봇을 사용하고 있는데, 여기에 생성형 AI 계층을 추가해 더 직관적인 시스템으로 만드는 것을 목표로 하고 있다. 이를 위해 마이크로소프트, IBM 등 다양한 생성형 AI 솔루션을 검토하고 있다.

채용 과정에 생성형 AI를 도입하려는 노력에서도 추가 비용이 발생할 수 있다. 써모 피셔의 인재 영입 담당 부사장 에이미 리터는 자사의 글로벌 제조 부문 채용 플랫폼 일부를 자동화하기 위해 페넘(Phenom)의 생성형 AI 기반 채용 앱을 도입했다고 밝혔다. 인사 담당자가 초기부터 관여하지 못했던 만큼, 지원자가 써모 피셔에서 어떤 환경에서 어떤 개인 보호 장비(PPE)를 착용하고 어떤 역량이 필요한지를 보여주는 직무 미리보기 영상 제작에 별도로 투자해야 했다고 설명했다.

리터는 변화 관리 비용도 자주 간과된다고 지적했다. “우리는 현장을 방문하고 경영진과 소통하며, 내부 지지를 확보하는 데 시간과 자금을 들였다. 그 결과, 런칭 당시 높은 도입률이라는 결실을 얻을 수 있었다”고 말했다.

하지만 페넘의 생성형 AI를 HR 채용 플랫폼에 통합한 성과는 매우 컸다고 리터는 밝혔다. 후보자 선별 시간은 16일에서 단 7분으로 줄었고, 인터뷰 일정 조율도 자동화되면서 연간 약 8,000시간의 후보자 검토 시간, 1만 2,000시간의 인터뷰 일정 관리 시간을 절감했고, 채용 소요 시간은 10% 빨라졌다고 전했다.

AWS의 크리스 헤네시는 인프라 비용 역시 과소평가된다고 밝혔다. 서버팜 구축, 운영, 유지비용은 물론, 매니지드 서비스 비용도 만만치 않다. 헤네시는 “한 보험사는 200개의 개념 증명 프로젝트를 운영하고 있었지만, 기대 가치를 명확히 설명하지 못했다”라며, “대부분 단순한 실험에 불과했다. 우리의 조언은 문제를 명확히 정의하고, 이를 조직 목표에 맞추며, 기대 수익을 측정하는 것이다”라고 강조했다.

파일럿 단계에서 프로덕션 단계로 전환할 때도 비용 발생 위험이 있으며, 온프레미스에서 클라우드로 전환하는 경우도 마찬가지다. 클라우드는 전혀 다른 서비스 및 가격 모델을 이해하고 예측할 필요가 있기 때문이다.

AWS 베드록, 마이크로소프트 애저 AI 스튜디오, 구글의 클라우드 버텍스 AI, IBM의 왓슨.ai, 코히어의 플랫폼 등은 모두 최상급 기반 모델을 단일 API로 사용할 수 있도록 해주는 완전 관리형 서비스다. 헤네시는 “이런 서비스는 모델 단위, 지역 단위로 과금되며, 여기에 토큰까지 고려해야 한다”라고 설명했다.

서비스 업체와 ‘용량 약정’ 계약을 체결하면 비용을 줄일 수 있다. 헤네시는 “용량을 필요한 대로 구매하는 대신, 1개월 또는 6개월처럼 특정 기간 동안 LLM 사용량을 약정하면 최대 60%까지 비용을 절감할 수 있다”고 밝혔다.

결론적으로 생성형 AI 프로젝트 비용은 아직도 많은 불확실성을 안고 있다. 기술 자체가 아직 초기 단계에 있고 계속 진화 중이기 때문이다. 크비센은 “우리는 아직 명확한 해답을 얻지 못하고 있다. 다른 사람들도 이 기술이 어떻게 사용될지 확신하지 못하고 있다. 그래서 미래에 우리의 사용 패턴이 어떻게 될지 파악하기 어렵다. 사람들이 얼마나 빨리 이런 기술로 전환할지 예측하기 어렵기 때문”이라고 말했다. 이어 “우리가 원하는 방식으로 정확히 대답해줄 수 있는 솔루션을 언제쯤 확보할 수 있을까?”라고 반문했다.
dl-itworldkorea@foundryco.com