필자의 팀이 실제 SaaS 워크플로우에 처음 에이전트를 배포했을 때 제품 데모는 얼핏 완벽해 보였다. 그러나 프로덕션 청구서는 그렇지 않았다. 일부 세션에서 까다로운 예외 상황에 직면하자 에이전트는 일반적인 패턴처럼 더 많은 시도를 반복했다. 계획을 다시 세우고 쿼리를 재실행하고 요약을 다시 수행하며 툴 호출도 반복했다. 사용자는 응답이 약간 느려졌다고 느끼는 수준이었지만 재무 부서 관점에서는 비용이 갑자기 급증했다.

이후 일주일 동안 에이전트 설계에 대한 생각을 바꿔야 했다. 에이전틱 SaaS에서 비용은 신뢰성 지표다. 루프 제한과 툴 호출 한도는 수익을 보호하는 역할을 한다.

필자는 이를 ‘에이전트를 위한 핀옵스’라고 표현한다. 루프, 툴, 모델 지출을 관리해서 실제 고객과 접촉할 때 매출 총이익을 지킬 수 있게 해주는 실질적인 방법이다. 필자가 발견한 사실은 제품, 엔지니어링, 재무 담당자가 한 자리에 모여 에이전트 트레이스를 재생하고 사용자 경험을 정의하는 가드레일에 합의할 때 진전이 이루어진다는 점이다.

에이전틱 SaaS에서는 핀옵스가 다르게 보이는 이유

전형적인 SaaS의 매출원가(COGS) 측정은 잘 알려져 있다. 즉, 컴퓨팅, 스토리지, 제3자 서비스, 그리고 지원이다. 에이전틱 SaaS는 여기에 새로운 축인 인지를 추가한다. 모든 계획, 리플렉션 단계, 검색 전달, 툴 호출은 토큰을 소비하며, 모호함은 에이전트가 그 모호함을 해결하기 위해 더 많은 작업을 하도록 유도하는 경우가 많다.

핀옵스 전문가 사이에서는 AI를 자체적인 비용 영역으로 취급하는 경우가 늘고 있다. 핀옵스 파운데이션(FinOps Foundation)은 AI 비용 지출을 관리하기 위한 핵심적인 영역으로 토큰 기반 가격 책정, 토큰당 비용, API 호출당 비용 추적, 이상 탐지를 강조한다.

시트 수도 여전히 중요하지만, 동일한 라이선스를 가진 두 고객의 추론 및 툴 비용이 10배 차이가 나는 경우도 본 적이 있다. 한 기업은 표준화된 워크플로우를 사용했고 다른 기업은 예외적인 경우에 해당했기 때문이다. 비용 모델 없이 에이전트를 배포할 경우 클라우드 지출이 빠르게 늘어날 수 있다.

에이전틱 COGS 스택

필자는 AI 연구개발 책임자로서 설계자 및 CTO와 많은 시간을 보내는데, 대화는 거의 항상 에이전트 아키텍처를 반영하는 COGS 분해로 귀결된다.

1. 모델 추론 : 플래너/실행기/검증기 호출 전반의 토큰으로, 일반적으로 에이전틱 소프트웨어 COGS에서 가장 큰 비중을 차지함
2. 툴과 부수적 영향 : 유료 API(예 : 웹 검색), 레코드당 자동화 수수료, 재시도 및 멱등성 쓰기 보호 장치
3. 오케스트레이션 런타임 : 워커, 큐, 상태 스토리지, 코드와 문서를 위한 샌드박스 실행 환경
4. 메모리 및 검색 : 임베딩, 벡터 스토리지, 인덱스 갱신, 컨텍스트 구축 또는 요약 체크포인트
5. 거버넌스 및 관찰가능성 : 트레이싱, 평가 모음, 안전 필터, 감사 보존
6. 휴먼 인 더 루프(Humans in the loop) : 에이전트의 실수로 인해 발생하는 검토 시간, 에스컬레이션 및 지원 부담

행동과 워크플로우, 작업에 걸쳐 성과가 나타나는 경우 핀옵스는 단위 경제를 어떻게 표준화하는가?

가트너는 비용 압박이 에이전틱 프로그램을 좌초시킬 수 있다고 경고했다. 즉, 단위 경제성은 필수 요건이다.

대다수 SaaS 제품에서 고객은 원시 토큰을 구매하는 것이 아니라, 예를 들어 해결된 케이스, 업데이트된 파이프라인, 생성된 보고서 또는 처리된 예외와 같이 작업을 완료하기 위한 진전을 구매한다. 단위 경제성은 가치가 전달되는 경계에서 측정할 때 실행 가능하며, 그 경계는 에이전틱 SaaS가 성숙할수록 확장된다. 즉, UI의 답변에서 단일 승인 작업으로, 다단계 프로세스로, 최종적으로는 에이전트가 종단간 수행하는 반복적 책임으로 확장된다. 아래 표에서는 이 구조, 그리고 각 범위 수준에서 계측하는 해당 단위 지표와 성과를 볼 수 있다.

계측 지점 : 행동, 워크플로우, 작업

핀옵스 지표 제품과 재무 부서의 합의 : CAPO, 수락된 결과당 비용

초기 파일럿에서 사람들은 토큰 수에 집착한다. 그러나 생산 환경에서 실행되는 확장된 에이전틱 SaaS의 경우 가치에 직접적으로 매핑되는 하나의 숫자, 즉 수락된 결과당 비용(CAPO)이 필요하다. CAPO는 특정 워크플로우에서 하나의 수락된 결과를 전달하기 위해 소요된 총 비용이다.

“수락된 결과”라는 부분이 중요하다. 빠르게 완료됐지만 잘못된 답을 생성한 실행도 여전히 토큰, 검색, 툴 호출을 소비한다. 필자는 수락을 구체적인 품질 관문으로 정의한다. 즉, 자동화된 검증, 사용자의 “적용” 클릭 또는 “7일 이내에 케이스가 다시 열리지 않음”과 같은 다운스트림 성공 신호가 이에 해당한다.

핀옵스에 대한 포레스터 연구를 보면 에이전틱 소프트웨어의 비용 최적화를 위한 운영 모델 성숙도와 단계별 실행 방안 구축의 중요성이 강조된다.

워크플로우와 세그먼트별로 CAPO를 계산한 다음 평균과 분포를 함께 관찰해 보자. 중앙값은 제품이 효율적으로 느껴지는 지점을 알려주고, P95와 P99는 루프, 재시도, 툴 사용량 폭증이 숨겨진 위치를 보여준다.

실패한 실행도 CAPO에 자동으로 포함된다. 분자는 해당 워크플로우에 소비된 총비용(수락 + 실패 + 포기 + 재시도)으로, 분모는 수용된 결과만으로 취급하므로 모든 실패는 성공에 의해 그 비용이 “지불”된다.

각 실행에 결과 상태(수락, 거부, 포기, 시간 초과, 툴 오류)를 태깅하고 그 비용을 실패 버킷에 분배하면 CAPO와 함께 실패 비용 몫(실패 비용 ÷ 총 비용)을 추적하고 문제가 수용률인지, 값비싼 실패인지, 과다한 재시도인지를 확인할 수 있다.

이런 지표는 추론 엔지니어링 팀이 추적할 수 있는 측정 가능한 목표로 자연스럽게 전환된다.

핀옵스의 추궁을 피할 수 있는 예산 가드레일

잘 설계된 에이전트의 예산 계약은 잘 운영되는 서비스의 SLO와 비슷하다. 필자는 이 계약을 모든 모델과 툴 호출이 흐르는 게이트웨이에서 강제 적용되는 5개의 가드레일로 코드화한다.

• 루프/단계 제한 : 계획, 리플렉션, 검증 사이클에 상한을 둔다. 상한에 도달하면 에스컬레이션하거나 명확화를 위한 질문을 한다.
• 툴 호출 한도 : 실행당 총 유료 작업에 상한을 두고, 검색이나 장시간 실행 자동화와 같이 비용이 큰 툴에는 더 엄격한 추가 한도를 적용한다.
• 토큰 예산 : 호출 전반에 걸쳐 실행당 토큰 상한을 적용하고 전문을 다시 전송하는 대신 기록을 요약한다.
• 시간 제한 : 인터랙티브 흐름을 민첩하게 유지하고, 긴 작업은 상태 업데이트가 포함된 명시적 백그라운드 작업으로 전환한다.
• 테넌트 예산과 동시성 : 테넌트별 상한과 이상 탐지 경보로 피해 범위를 제한한다. AWS와 같은 CSP는 대폭 개선됐다.
• 테넌트 예산 및 동시성 : 테넌트별 상한과 핀옵스 이상 탐지 경보로 피해 범위를 제한한다. AWS와 같은 CSP는 2025년 12월 re:Invent에서 추론 서비스에 대해 대폭 개선된 비용 이상 탐지(Cost Anomaly Detection)를 발표했다.

상호작용 설계와 사용자 경험이 어떻게 핀옵스 비용 절감을 이끌 수 있는가?

대다수 핀옵스 절감은 백만 토큰당 비용에 대한 논쟁이 아니라 아키텍처와 상호작용 설계에서 얻게 된다.

AI 기반 데브옵스 플랫폼 업체 얼럿D(AlertD)의 CEO 제프리 헨드리는 “포괄적인 평가 방법을 갖추면 다양한 LLM에 걸쳐 제품 성능을 비교하고 사용할 LLM을 결정할 수 있다. 가장 큰 비용 절감 요인은 데이터 분석에서 성능과 정확도를 유지하면서 가능한 한 작은 모델을 기본값으로 사용하는 동시에 고객이 여전히 원하는 모델을 선택하도록 허용하는 것”이라고 말했다.

비용 곡선을 일관적으로 평탄화하는 세 가지 패턴은 다음과 같다.

• 계획과 실행의 분리. 플래너는 컨텍스트 비중이 크고 비용은 낮을 수 있으며, 실행기는 툴 제약을 받고 행동 지향적일 수 있다. 이를 통해 “행동하는 동안 생각하는” 루프를 줄이고 재시도를 더 쉽게 추론할 수 있다.
• 작업을 처리 가능한 최소 모델로 전달한다. 구조화된 출력을 사용하면 작은 모델에서도 성공적으로 추출, 검증, 라우팅 작업이 가능하다. 합성 또는 검증에 실패한 예외적 경우에만 더 큰 모델을 사용한다.
• 툴을 캐시 가능한 멱등성 툴로 만든다. 모든 쓰기에 멱등 키를 추가하고 반복된 읽기는 캐시한다. 재시도가 안전하게 유지되면 툴 호출 상한의 현실성도 구현된다.

우선 처리 경로 : 에이전트의 수익성을 유지하는 가격

많은 팀이 시트 수를 기준으로 한 가격을 유지할 것이다. 그 방식으로 해야 구매 팀이 이해하기 때문이다. 예측 가능한 수익은 이런 시트에 명시적인 자격을 연결하고 비용이 큰 행동을 위한 통제된 우선 처리 경로를 만드는 데서 나온다.

• 시트와 허용량 : 에이전트 실행이나 행동 크레딧의 월간 예산을 번들로 묶는다. 초과하면 제한하거나 업셀링한다.
• 사용량 애드온 : 계측되는 AI를 별도의 SKU로 판매해서 고급 사용자가 자신의 꼬리 행동 비용을 부담하도록 한다. 다만 이 과정에 주의를 기울여 도입에 마찰을 더하지 않도록 해야 한다.
• 우선 처리 경로 정책 : 중대한 작업이나 실패한 검증 경로에 대해 유료 티어로 뒷받침되는 우선 처리 모델을 사용한다. 데모에 사용되는 배포도 유료 티어에 배치해야 한다.

핀옵스가 비용 가시성에서 ROI까지 이르는 성숙 과정

성숙하게 되면 가격도 번들 접근에서 고객 가치에 직접 매핑되는 결과 중심으로 전환된다.

핀옵스의 초점도 도입 중심의 비용 변동성에서 단위 경제성, 수락 무결성, 예측 가능한 수익으로 이동한다.

에이전틱 SaaS를 위한 실무적인 30-60-90일 핀옵스 계획

• 0-30일 : 3~5개의 규모가 큰 워크플로우를 선택하고, 명시적인 수락 관문을 정의하고, 테넌트와 워크플로우에 연결된 고유한 ID로 모든 실행을 기록해서 비용과 품질을 종단간 추적할 수 있도록 한다.
• 31-60일 : 라우팅과 검증 캐스케이드를 추가하고, 검색과 툴 출력을 캐시하고, 스키마, 타임아웃, 멱등 키로 툴을 강화한다.
• 61-90일 : 가격을 자격과 정렬하고, 호출 시 플레이북과 함께 이상 경보를 설정하고, 매월 CAPO와 꼬리 지출을 검토한다.

dl-itworldkorea@foundryco.com