많은 기업이 AI 에이전트 실험과 개념 증명을 파일럿 단계에서 프로덕션으로 옮겨야 한다는 압박을 받고 있다. 데브옵스 팀은 AI 에이전트가 프로덕션 배포를 위한 필수 요구사항- 관찰가능성 구현, 모니터링, 기타 에이전틱옵스 관행 등-을 충족하도록 보장해야 하는데, 시간이 얼마 남지 않았다.

데브옵스 팀이 반드시 찾아야 하는 답은 AI 에이전트의 관찰가능성을 보장하기 위한 최소 요구사항이다. 먼저 데브옵스 관찰가능성 관행에서 기본 사항을 추출하고, 데이터 파이프라인을 위한 데이터옵스 관찰가능성과 AI 모델을 위한 모델옵스를 계층으로 추가할 수 있다.

기업은 관찰가능성 표준을 확장해야 한다. AI 에이전트가 역할 기반 작업을 처리하고, 더 복잡한 워크플로우를 위해 MCP 서버와 통합되고, 인간 개입(human-in-the-middle)과 자율 운영을 모두 지원하게 되면 표준 확장의 필요성은 더욱 커진다.

관찰가능성에서 핵심 질문은 결국 ‘누가, 언제, 어디서, 왜, 무엇을, 어떤 정보를 사용해 했는가?’다. 어려운 부분은 이 정보를 중앙화하고, 의사결정이나 행동의 주체가 AI 에이전트인지 인간인지에 관계없이 원활하게 작동하는 관찰가능성 데이터 표준을 마련하는 것이다.

고객 참여 및 AI 기반 컨택센터 솔루션 전문 업체 베린트(Verint) CTO 롭 스쿠디어는 “데브옵스는 사람에게 적용하는 것과 똑같은 콘텐츠 및 품질 프로세스를 AI 에이전트에도 적용해야 한다”라며 “인간의 상호작용과 AI 에이전트의 상호작용을 100% 모니터링하는 AI 기반 솔루션을 활용하면 된다”라고 말했다. “다음 단계는 AI와 인간 에이전트를 함께 관찰·관리·모니터링하는 것이다. 성능 감독과 지속적인 개선, 두 가지 모두 중요하기 때문”이라고 덧붙였다.

전문가들에게 관찰가능한 AI 에이전트를 구현하기 위한 주요 개념과 모범 사례를 들어봤다.

1. 성공의 기준과 운영 거버넌스 정의

관찰가능성은 AI 에이전트의 입력, 의사결정, 운영에 대한 데이터를 수집하기 위한 상향식 프로세스다. AI 에이전트의 비기능적 요구사항을 심층적으로 파악하고 관찰가능성 표준을 정의하기 전에, 먼저 하향식 목표와 운영 목적, 규정 준수 요구사항을 검토해야 한다.

엔터프라이즈 AI 거버넌스 플랫폼 업체 데이터이쿠(Dataiku) AI 전략 책임자 커트 뮤멜은 관찰 가능한 에이전트를 위해 다음 세 가지 규칙이 필요하지만 많은 팀이 이를 뒤로 미룬다고 지적했다.

• 성공의 기준 정의 : 엔지니어 혼자서는 ‘바람직한 상태’가 어떤 것인지 판단할 수 없다. 분야별 전문가가 참여해 경계 사례를 포착하는 평가 데이터 집합을 구축해야 한다.
• 가시성 중앙화 : 데이터 플랫폼, 클라우드 서비스, 다양한 팀 등 모든 곳에서 에이전트가 구축되고 있는 만큼 가시성의 중앙화가 필요하다.
• 배포 전 기술적 운영 거버넌스 확립 : 평가 기준, 가드레일, 모니터링이 포함된다.

관찰가능성 표준은 독자적인 AI 에이전트, 주요 서비스형 소프트웨어 및 보안 기업의 에이전트, 성장 중인 신생업체의 에이전트까지 포괄해야 한다. 기술적 운영 거버넌스에서 유의할 점은 다음과 같다.

• 평가 기준은 서비스 수준 목표와 관련된 사이트 신뢰성 개념을 반영하되, 성능이 낮거나 허용 수준에 미치지 못하거나 위험한 경우에 대한 명확한 경계를 포함해야 한다.
• 가드레일에는 배포 표준과 릴리스 준비성을 판단하는 기준이 포함돼야 한다.
• 모니터링에는 명확한 커뮤니케이션 및 에스컬레이션 절차가 포함돼야 한다.

2. 추적할 정보 정의

AI 에이전트의 관찰가능성은 결코 단순한 일이 아니다. 그 이유는 다음과 같다.

• AI 에이전트는 상태를 가질 뿐만 아니라(stateful) 의사결정 개선을 위한 피드백 루프와 메모리도 갖는다.
• 행동은 사람에 의해 촉발될 수도 있고, AI 에이전트가 자율적으로 수행하거나 MCP 서버를 통해 다른 에이전트에 의해 조율될 수도 있다.
• 에이전트의 행동을 추적하려면 기반 데이터 세트, AI 모델, API, 인프라 구성요소, 규정 준수 요구사항에 대한 버전 관리와 변경 추적이 필요하다.
• 관찰가능성은 주체, 위치, 시간적 고려 사항, 에이전트의 추천에 영향을 미칠 수 있는 조건을 포함한 부가적인 컨텍스트도 고려해야 한다.

이처럼 복잡한 만큼, 추적해야 하는 정보와 관련된 전문가의 제안도 매우 다양하다.

데이터독(Datadog)·서비스나우 구현 전문 IT 컨설팅 기업 랩데브(RapDev)의 클라우드 및 관찰가능성 부문 기술 책임자 로건 롤로프는 “모든 에이전트 상호작용을 분산 트레이스처럼 다뤄야 한다”라며 “드리프트, 지연 문제, 안전하지 않은 행동을 실시간으로 파악하려면 다양한 의사결정 경계에 계측 기능을 두고 프롬프트, 모델 응답, 지연, 그 결과로 발생한 행동을 포착해야 한다”라고 말했다. 이 지표를 토큰 사용량, 신뢰도 점수, 정책 위반, MCP 상호작용과 같은 모델 관련 신호와 결합하면 에이전트가 손상되거나 정의된 범위를 벗어나 행동하는 상황을 탐지할 수 있다는 설명이다.

데브옵스 팀은 마이크로서비스 관찰가능성 원칙을 확장해 AI 에이전트의 상태 기반, 컨텍스트 중심 상호작용을 지원해야 한다.

쿠버네티스 기반 서비스 메시 및 API 게이트웨이 업체 Solo.io의 글로벌 필드 CTO 크리스찬 포스타는 “AI 에이전트는 상태를 가지고 서로 통신하며 세션을 저장·복원할 수 있으므로, 세션·컨텍스트·워크플로우 식별자와 관련된 요소를 간과해서는 안 된다”라며 “상태 기반 환경 전반에서 인과관계와 흐름을 추적할 수 있어야 한다”라고 강조했다. “마이크로서비스의 경우 분산 추적을 제대로 구현하는 것이 항상 기업의 큰 과제였다. 관찰가능성은 선택 사항이 아니다. 관찰가능성이 없으면 AI 에이전트를 운영하면서 규정을 준수할 수 없다”라고 덧붙였다.

비즈니스 프로세스 관리(BPM) 및 저코드 자동화 플랫폼 플로어블(Flowable) CEO 아짐 엠룰리는 “다중 에이전트 시스템에서는 추적 가능성이 책임성으로 이어지는 만큼 고유한 에이전트 자격 증명과 정의된 권한을 포함한 ID 기반 액세스 제어를 확립해야 한다”라고 말했다.

3. 오류, 환각, 위험한 추천 식별

관찰가능한 API와 애플리케이션을 계측하면 엔지니어가 오류를 해결하고 문제의 근본 원인을 파악하고 회복탄력성을 개선하고 보안 및 운영 문제를 조사하는 데 도움이 된다. 자율적으로 작업을 수행하거나 인간 운영자에게 작업을 추천하는 AI 에이전트에도 똑같이 적용된다.

AI 기반 자율 코딩 에이전트 젠코더(Zencoder)의 창업자 앤드루 필레브는 “AI 에이전트가 환각을 일으키거나 의심스러운 결정을 내리는 경우, 시스템 프롬프트·컨텍스트·툴 정의·모든 메시지 교환을 포함한 전체 궤적을 볼 수 있어야 한다”라며 “그러나 이것만으로는 위험 노출을 피할 수 없다. 에이전틱 시스템은 행동 범위가 열려 있고 동적인 환경에서 작동하는 만큼 실시간 검증이 필요하기 때문”이라고 말했다. 초기에는 모든 결과를 사람이 검토하는 방식을 사용했지만 이제는 내장된 자체 검증과 병렬 검증으로 전환되고 있다는 설명이다.

기업이 에이전트를 추가하고 MCP 서버와 통합하고 에이전트가 민감한 데이터 소스에 연결할 수 있도록 허용하면 자율 검증이 필요해진다.

클라우드 네이티브 애플리케이션 관찰가능성 플랫폼 그라운드커버(Groundcover)의 CEO샤하르 아줄레이는 “AI 에이전트를 관찰하려면 모델 호출뿐만 아니라 모델이 활성화하는 전체 추론 과정·툴·코드 경로에 대해서도 시야를 확보해야 한다”라며 “데브옵스가 환각, 문제가 발생한 단계, 안전하지 않은 동작을 신속하게 식별할 수 있어야 한다”라고 강조했다. 전통적인 텔레메트리와 함께 토큰 사용량, 지연, 처리량 같은 실시간 성능 지표를 관찰해 성능 저하를 조기에 감지하고 프로덕션에서 AI의 실제 비용 현황을 관리해야 한다는 설명도 덧붙였다. 에이전트가 코드를 실행하고 민감한 데이터에 액세스하는 경우가 늘고 있는 만큼, 페이로드를 검사하고 MCP 같은 통합을 검증하고 에이전트가 수행하는 모든 작업이 승인·예상된 것인지 확인하는 보안 중심 관찰가능성이 필요하다고도 강조했다.

4. AI 에이전트 관찰가능성이 위험 관리에 대응하도록 보장

AI 에이전트를 운영 워크플로우에 확장하면서 기업은 더 큰 비즈니스 가치와 투자 대비 수익(ROI)을 인식하게 된다. AI 에이전트 관찰가능성 역량의 생태계가 기업 위험 관리 전략의 근본적인 요소가 된다는 의미다.

AI 에이전트 및 애플리케이션 전용 권한 관리 솔루션 오소(Oso) 공동창업자 그레이엄 네레이는 “어떤 데이터 소스에 액세스하는지, API와 어떻게 상호작용하는지 등 에이전트의 관찰가능성이 툴 사용까지 확장돼야 한다”라며 “에이전트가 수행하는 작업을 모니터링하는 것 외에, 다양한 작업의 위험 수준을 분류하고 에이전트 행동의 이상 징후에 대해 알림을 보내도록 해야 한다”라고 말했다.

위험 관리 리더는 무단 에이전트와 데이터 문제, AI 에이전트에 영향을 미칠 수 있는 IT 및 보안 위험을 의식하게 된다. 감사 및 규제 기관은 기업이 AI 에이전트에 대해 강력한 관찰가능성을 구현하고, 예상치 못한 동작과 보안 위협에 대처하기 위한 교정 프로세스를 갖추기를 요구할 것이다.

5. 관찰가능성을 보안 모니터링과 위협 탐지로 확장

보안 운영 센터(SOC)와 보안 애널리스트도 관찰가능성 데이터를 활용하는 주체다. 데이터 보안 태세 관리(DSPM)와 위협 탐지에 사용되는 보안 모니터링 툴에 이 정보를 연결하게 된다.

문서 보안 업체 리댁터블(Redactable) CEO 아만다 르베이는 “통합은 사각지대를 유발하고, 이는 공격자의 표적이 된다”라며 “에이전트가 외부 시스템에 연결될 때 어떻게 반응하는지에 대한 실질적인 인사이트가 필요하다”라고 말했다. “에이전트의 부하 한계 지점이 어디인지, 어디서 컨텍스트를 잘못 읽는지, 보안을 위협하는 경로를 어디서 열어주는지 볼 수 있어야 한다”라고 강조했다.

AI 행위자 위협의 규모가 커지고 정교화됨에 따라 최고정보보안책임자(CISO)도 운영 플레이북을 확장해야 한다.

AI 거버넌스 통합 플랫폼 전문 업체 시큐리티 AI(Securiti AI)의 AI 부문 부사장 마이크 라인하트는 “정보보안·데브옵스 팀은 에이전트로 전송되는 데이터, 데이터와 시스템을 대상으로 에이전트가 수행하는 작업, 사용자가 에이전트에 요청한 내용에 대해 명확한 시야를 확보해 침해 징후를 식별하고 문제를 교정하고 근본 원인 분석을 수행해야 한다”라고 말했다. AI와 AI 에이전트가 중요한 데이터 파이프라인의 일부가 되면 팀은 프롬프트, 통합, 배포 전반에 거버넌스를 통합해 보안·개인정보 보호·엔지니어링 부문 리더들이 데이터 환경과 그에 수반되는 위험에 대한 공통된 시각을 바탕으로 의사결정을 내려야 한다고 강조했다.

6. AI 에이전트 성능 평가

위험 관리와 보안 우려 대응은 AI 에이전트에 관찰가능성을 구현해야 하는 이유 중 하나다. 관찰가능성이 답할 수 있는 또 다른 핵심 질문은 AI 에이전트의 성능을 측정하고 개선 필요성에 대한 지표를 제공하는 것이다.

리댁터블의 르베이는 “AI 에이전트를 평가할 때 에이전트가 어떻게 의사결정을 형성하는지에 대한 시야가 필요하다”라며 “에이전트가 예상된 동작에서 벗어나는 신호를 명확히 파악해야 하기 때문”이라고 말했다. “에이전트가 일반적으로 사용하는 소스를 무시하거나 지름길을 찾는 순간을 살펴야 한다. 이런 변화는 일반적인 관찰가능성 툴이 놓친 오류를 드러낸다”라고 덧붙였다.

IT 운영 자동화 플랫폼 업체 페이저듀티(PagerDuty)의 CTO 팀 아만드푸르는 성능을 평가하기 위해서는 AI 에이전트가 재해 수준으로 실패하는 경우가 아니라 애매하게 실패하는 경우에 주의를 기울여야 한다고 강조했다. “프롬프트에서 출력까지 전체 의사결정 과정을 계측하고 추론 품질과 의사결정 패턴을 기존 성능 지표와 함께 주요 지표로 취급해야 한다”라며 “모든 에이전트 상호작용을 보안 경계로 간주하고, 프로덕션에서 에이전트의 행동을 감사 및 설명 가능하도록 만드는 관찰가능성 계약을 구축해야 한다”라고 말했다.

7. 행동하는 관찰가능성 AI 에이전트에 대비하기

관찰가능성의 자연스러운 진화는 데브옵스 기업이 AI 관찰가능성 에이전트를 사용해 신호를 행동으로 전환하는 시점에 이뤄진다.

오소의 네레이는 “관찰가능성은 기록으로 끝나는 것이 아니다”라며 “에이전트가 잘못된 방향으로 가고 있을 때 손쉽게 조치를 취할 수 있어야 한다”라고 말했다. 액세스 권한을 더 엄격히 통제하거나 특정 툴을 제거하거나 에이전트를 완전히 격리해 무단 행동을 차단하는 방식으로 에이전트의 동작을 손쉽게 제한할 수 있어야 한다는 설명이다.

관찰가능성 데이터는 기업의 에이전트 기반 AI 운영을 모니터링해야 하는 차세대 IT 및 보안 운영 AI 에이전트의 기반이 된다. 관건은 데브옵스 팀이 관찰가능성 표준을 구현할 시간을 충분히 확보할 수 있을지, 아니면 에이전트 배포를 재촉하는 비즈니스 수요가 새로운 AI 기술 부채 시대를 촉발할지다.
dl-itworldkorea@foundryco.com