기업이 개발자의 AI 토큰 사용료로 급여만큼 지불해야 하는 상황이 멀지 않았다.

가트너에 따르면, 이 비용은 향후 2년 내에 일반 소프트웨어 엔지니어의 월급 수준에 도달하거나 초과할 수 있다.

개발자 사이에서 생성형 AI와 에이전트 도구 도입이 늘고 있기 때문만은 아니다. 공급업체가 인프라 투자와 수익성 균형을 맞추려는 과정에서 소비 기반 라이선스 모델로의 전환이 가속화된 탓이기도 하다. 과거의 고정 1인당 SaaS 모델과 달리, 기업은 이제 개발자의 토큰 사용량에 대한 비용도 함께 부담한다.

가트너 수석 애널리스트 니티시 티야기는 가트너의 예측이 월 2,000달러라는 글로벌 평균 급여를 기준으로 한다고 설명했다. 모든 급여가 AI 토큰 사용료를 넘어선다는 의미는 아니다. 예를 들어 미국에서는 연봉이 6자리 이상인 경우도 많다.

그러나 티야기는 그 수준의 지출이 아예 불가능한 이야기는 아니라고 강조하며, “‘내 개발자가 지난달에 2만 달러를 썼다’거나 ‘비즈니스 사용자 한 명이 3만 2,000달러를 소비했다’는 충격적인 수치를 들은 적이 있다”라고 밝혔다.

이 수치가 충격적으로 들린다면, 그게 바로 요점이다. 티야기는 “토큰 비용이 통제·관리되지 않을 경우 업계에 미칠 영향에 경종을 울리기 위한 것”이라고 말했다.

가시성 부족과 미성숙한 감독 체계

티야기는 기업이 AI 코딩 에이전트를 실험 단계에서 대규모 배포 단계로 빠르게 전환하고 있지만, 토큰 비용을 과소평가하는 경우가 여전히 많다고 지적했다.

소프트웨어 엔지니어링 워크로드의 비용 구조가 ‘매우 가변적’이고, 토큰 소비가 산정·청구되는 방식에 대한 투명성이 부족하기 때문이다.

티야기는 AI 코딩 공급업체가 ‘성숙한 내장형 비용 최적화 기능’을 아직 갖추지 못했으며, 업체가 모델을 고도화하는 동시에 수익성을 유지하려는 한 가격은 계속 상승할 가능성이 높다고 말했다.

따라서 기업은 비용 예측과 통제에 어려움을 겪는다. 티야기는 AI 변화 속도가 너무 빠른 탓에 많은 기업이 ROI를 판단할 ‘성숙도와 프레임워크’를 갖추지 못한 상태라고 지적했다. 에이전트 기반 워크플로는 거버넌스가 어렵고, 컨텍스트 윈도우가 비대해지며, 예산은 예상보다 일찍 소진되고, 토큰 지출의 정당성 입증도 어려워진다.

여기에 더해, 비개발자와 같은 경량 사용자도 AI 도구에 점점 익숙해지고 의존하게 되면서 사용량이 늘어나, 토큰 소비와 지출을 더욱 끌어올리고 있다.

티야기는 AI가 매우 큰 가치를 지니지만, 개발자가 소비하는 토큰 수와 생산성 향상 사이에는 ‘직접적인 상관관계’가 없다고 밝혔다. 오히려 토큰 소비를 최적화하거나 줄이는 컨텍스트 엔지니어링 원칙을 적용하는 것이 품질을 높인다.

동시에 “토큰맥싱(tokenmaxxing)은 높은 생산성 향상과 직결되지 않지만, 토큰 소비 최적화는 그렇지 않다”라고 말했다.

그렇다고 기업이 AI 코딩 에이전트를 멀리해야 한다는 의미는 결코 아니다. 토큰 소비 최적화란 AI가 제공하는 품질과 가치를 훼손하지 않으면서 필요한 만큼만 지출하는 것을 뜻한다.

거버넌스가 갖춰진 엔지니어링 운영 모델 없이는 비용이 도구가 목표로 하는 생산성 이익보다 빠르게 치솟을 수 있다는 것이 티야기의 경고다.

기업의 토큰 사용 통제 방안

AI가 순식간에 파이썬 라이브러리 전체를 생성해낼 수 있는 상황에서, ‘작성된 코드 줄 수’라는 전통적 생산성 지표는 더 이상 유효하지 않다. 티야기는 대신 품질, 속도, 고객 만족도 지표로 가치를 측정해야 한다고 말했다.

예를 들어, 개발자가 중요한 기능을 얼마나 빠르게 출시할 수 있는가? 앱 개발과 비즈니스·제품·개발 팀 간 피드백 사이의 시간이 얼마나 단축됐는가? 티야기는 품질을 유지하면서 기능을 신속히 출시하면 경쟁 우위를 확보하고 사용자·고객 경험을 개선할 수 있다고 설명했다.

가트너는 강력한 거버넌스와 비용 통제 체계를 구축할 것도 권고했다. 토큰 임계값을 설정하고, 사용량 모니터링을 자동화하며, 명확한 에스컬레이션 정책을 마련해야 한다.

가트너는 “이런 통제 장치를 엔지니어링 워크플로에 내재화하면 일관성을 확보하고 비용의 무분별한 증가를 막을 수 있다”라고 밝혔다.

또한 기업은 ‘사용례 중심’ 의사결정 프레임워크를 마련해야 한다. AI 코딩 에이전트를 언제 사용할지, 특정 작업에서 어느 수준의 자율성을 부여할지를 명확히 정의해야 한다. 나아가 작업을 ‘개발자 주도’, ‘에이전트를 활용하는 개발자’, ‘완전 에이전트 주도’ 등 세 가지 실행 모델로 분류해야 한다.

기업은 작업 복잡도에 따라 모델을 선택해야 한다. 가트너는 작업을 소규모로 분할해 소형 모델로 처리하되, “복잡도가 요구할 때만 에스컬레이션”하라고 조언했다. 엔지니어링 팀은 워크플로를 의도적으로 라우팅해, 단순하고 빈도 높은 작업은 소형 모델에 배정하고, 복잡하고 고부가가치 작업에만 프런티어 모델을 활용해야 한다.

가트너는 비용 절감 방법 중 하나로 특정 컨텍스트 엔지니어링 관행의 의무화를 꼽았다. 개발자는 AI에 입력하는 컨텍스트를 최적화하도록 훈련받아야 하며, 관련 정보만 포함시키고 내용을 최대한 요약하며 불필요한 데이터를 제거해야 한다.

나아가 팀은 토큰 사용량 검토를 개발 사이클에 내재화해야 한다. 가트너는 토큰 소비가 많은 워크플로를 정기적으로 검토하면 비효율을 파악하고, 관행을 개선하며, 협업을 강화하는 데 도움이 된다고 말했다.

개발자가 비용 효율보다 속도와 편의를 우선시하는 경향이 있는 만큼, 토큰 규율은 개발자의 자율적 선택만으로는 달성할 수 없다는 것이 티야기의 지적이다.

리더를 향한 조언도 내놨다. AI 코딩 비용 상승을 AI 도입 철회나 모든 영역에서 오픈 생성형 AI 모델로의 전환 근거로 삼지 말라는 것이다. 티야기는 “목표는 언제나 가치를 훼손하지 않으면서 비용을 최적화하는 것”이라고 강조했다.

작게 시작해 컨텍스트 엔지니어링에 우선 집중하는 것도 권고사항이다. 현재 소프트웨어 엔지니어링 성숙도를 평가하고 적절한 에이전트 자율성 수준을 선택해야 하며, AI 보조 개발은 최대 20%의 생산성 향상을 가져올 수 있다고 티야기는 밝혔다. “나쁜 수치가 아니다”라는 말도 덧붙였다.

개발자에게는 컨텍스트 엔지니어링을 핵심 역량으로 키울 것을 당부했다. 티야기는 “고용주뿐 아니라 자신의 커리어에도 도움이 될 것”이라고 밝혔다.
dl-itworldkorea@foundryco.com