작업을 수행하는 방식을 혁신한다고 주장하는 새로운 AI 에이전트 플랫폼이 매주 등장한다. 이들의 비전은 매력적이다. AI 에이전트에게 작업을 맡기기만 하면 자동으로 계획을 세우고 실행해서 완벽한 결과를 내놓는다는 것이다. 업계 리더들도 이 비전에 끌리고 있다. 엔비디아의 CEO 젠슨 황은 기업 내에 곧 “수억 명의 디지털 에이전트”가 배치될 것이라고 예측했으며 마이크로소프트 CEO인 사티아 나델라는 아예 “에이전트가 모든 소프트웨어를 대체하게 된다“고 말했다.

비전은 매력적이지만 현실은 상당히 복잡하다.

이 비전을 실현하려면 에이전트는 현재의 미성숙한 상태에서 더 발전해 현대 기업의 요구를 충족하고 구현해야 한다. AI 에이전트를 대규모로 사용하고자 하는 기업은 “기업 수준”으로, 즉 오류를 줄이는 동시에 처음부터 안정성, 보안, 관찰가능성을 보장하도록 설계해야 한다. 또한 이러한 기업용 에이전트는 에이전트 간의 안전한 검색과 협업, 상호작용, 나아가 거래까지 구현하는 “기업 수준” 생태계에서 실행돼야 한다.

간단히 말해 “에이전트 메시”가 필요하다. 에이전트 메시는 기업용으로 준비된 생태계에서 실행되는 기업 수준 AI 에이전트 네트워크다. 이 기사에서는 에이전트를 구축하기 위해 필요한 요소와 대규모로 이를 지원하기 위한 인프라에 대해 살펴본다.

기업에 AI 에이전트가 필요한 이유

기업은 더 빠르게 움직여야 하지만 수동 워크플로우와 단편화된 시스템이 발목을 잡는다. AI 에이전트는 새로운 접근 방식으로, 작업을 어떻게 실행할지 결정할 수 있는 소프트웨어를 제공한다. 기업용으로 만들어진 에이전트는 다음을 포함한 핵심 과제를 해결하는 데 도움이 될 수 있다.

• 정보 과부하 감소. 직원들은 정보를 검색하는 데 많은 시간을 소비한다. 에이전트는 선제적으로 인사이트를 도출해 수동 검색의 필요성을 없앨 수 있다.
• 효율성과 확장성 유도. 에이전트는 여러 단계로 구성된 프로세스를 자동화하므로 직원 수를 늘리지 않으면서 운영을 확장할 수 있다.
• 고객 접촉 강화. 실시간 인사이트와 과거의 맥락을 결합해 모든 채널에 걸쳐 개인화된 경험을 제공할 수 있다.
• 혁신 가속화. 반복적인 작업을 에이전트가 대신 처리하므로 사람들은 더 전략적인 일에 집중할 수 있다.

AI 에이전트는 갈수록 높아지는 기업 복잡성에 대처하는 기술이지만 단순한 챗봇 또는 데모가 아니다. 실제 가치를 얻으려면 처음부터 안정성과 가시성, 보안을 갖추고 기업용으로 적합하도록 에이전트를 구축해야 한다.

대다수 에이전트는 기업용으로 설계되지 않았다는 문제

많은 기업이 에이전트를 연구실 수준의 “과학적 실험”으로 간주한다. 일부는 에이전트와 관련된 “수많은 개념 증명”에 따른 고충을 불평한다. 이 고충의 근본적인 원인은 무엇일까? 현재 대부분의 에이전트가 기업 수준의 표준을 충족하도록 설계되지 않았다는 점이다.

많은 경우 에이전트는 다음과 같은 특징을 지닌다.

• 노트북 또는 대규모 언어 모델(LLM) 샌드박스에서 프로토타입으로 시작된다. 데모 용도로는 좋지만 배포용으로는 적합하지 않다.
• 하나의 운영체제 프로세스에서 실행되는 하나의 파이썬 “main”에 배포되므로 극히 작은 부하에만 실용적이다.
• 실제 환경의 시스템에서 작동하기 위해 필수적인 관찰가능성, 추적가능성, 접근 제어가 없다.
• 다른 에이전트, 서비스 또는 팀과 상호작용하기 위한 표준 방법 없이 고립된 상태로 운영된다.
• 확률적 시스템이 항상 정답을 제시할 것이라는 믿음으로 모델 자체에 너무 많은 의사 결정을 맡긴다. LLM에게 많은 것을 요구할수록 LLM의 정확성과 반복 가능성은 낮아진다.

결과적으로 격리된 시나리오에서는 쓸만하지만 대규모에서는 불안정한 부실한 기초로 이어진다. 기업이 에이전트의 강점을 제대로 활용하기 위해서는 에이전트를 소프트웨어 아키텍처의 1급 구성요소로 취급해야 한다. 이 말은 에이전트를 보호하고 관리하고 계측하고 견고한 인프라에 내장해야 함을 의미한다.

에이전트 사일로의 위험

기업에서 에이전트의 수가 증가하면 익숙한 문제, 즉 사일로가 발생한다. 다양한 팀이 CRM, 데이터 웨어하우스 또는 지식 시스템에 에이전트를 배포하지만 이러한 에이전트는 서로를 인식하지 못한 채 따로 작동한다.

에이전트가 서로 맥락을 공유하지 않으면 작업이 중복되고 인사이트를 놓치게 된다. 예를 들어 CRM 에이전트는 데이터 웨어하우스 에이전트가 관련 시장 동향을 파악했다는 사실을 모른 채 영업을 위한 활동을 제안할 수 있다. 각 에이전트가 부분적인 정보만으로 움직이면서 여러 팀이 서로 겹치는 기능을 구축하게 된다.

이는 단순히 비효율적인 것을 넘어 시스템에 대한 신뢰를 약화시킨다. 서로 협력하지 못하는 에이전트는 중대한 사용례 또는 여러 부서에 걸친 사용례를 지원할 수 없다. 에이전트가 서로를 발견하고 정보를 공유하고 작업을 조율할 방법이 필요하다. 그러나 공통된 프레임워크가 없으면 새로운 에이전트가 추가될 때마다 가치가 아닌 복잡성만 커진다.

필요한 것은 에이전트가 독립적인 도구로서가 아니라 더 큰 범위의 시스템에 속해 그 일부로서 작동할 수 있게 해주는 기반이다. 에이전트 메시의 역할이 바로 여기에 있다.

에이전트 메시 : 기업 수준의 에이전트 생태계

에이전트 메시는 단편화된 여러 에이전트를 연결되고 안정적인 하나의 생태계로 전환하는 방법이다. 그러나 그게 전부는 아니다. 에이전트 메시는 기업 수준의 에이전트가 기업 수준의 에이전트 생태계에서 작동할 수 있게 해준다. 즉, 에이전트가 서로를 찾고 안전하게 협업하고 상호작용하고 거래까지 할 수 있다.

Foundational components of the enterprise-grade agent ecosystem. 

Confluent

에이전트 메시는 기업 수준의 에이전트 생태계를 가능하게 해주는 통합 런타임, 제어 평면, 신뢰 프레임워크다.

에이전트 메시는 두 가지 주요 아키텍처 목표를 충족한다. 첫째, 기업 수준 에이전트를 구축할 수 있게 해주며 둘째, 이러한 에이전트를 지원하기 위한 기업 수준 런타임 환경을 제공한다.

안전하고 확장 가능하고 협업하는 에이전트를 지원하기 위해서는 에이전트 메시에 일련의 기반 구성요소가 필요하다. 이러한 기능을 통해 에이전트는 단순히 실행만 되는 것이 아니라 제어, 신뢰, 성능에 대한 기업의 요구사항을 충족하는 방식으로 실행된다. 에이전트 메시 구성요소에는 다음이 포함된다.

• 마켓플레이스 : 에이전트를 찾고 평가하고 배포할 수 있는 중앙화된 장소. 팀은 여기서 사전 구축된 에이전트를 찾거나 자체 에이전트를 게시해서 재사용을 활성화하고 중복 작업을 줄일 수 있다.
• 레지스트리 : 에이전트의 등록과 인증, 상호 검색을 지원하는 시스템. 이를 통해 에이전트는 정의된 역할, 기능, 권한에 따라 협업할 수 있으므로 맞춤형 통합이 불필요하다.
• 관찰가능성과 거버넌스 : 보안, 추적가능성, 정책 시행을 보장하기 위한 툴과 표준. 감사와 운영을 지원하기 위해 중요한 로깅, 메트릭, 접근 제어, 인증이 포함된다.
• 커뮤니케이션과 오케스트레이션 : 에이전트는 단독으로 움직이는 것이 아니라 워크플로우를 상호 조율해야 한다. 메시는 특화된 LLM과 결정론적 실행 엔진의 지원을 받아 여러 에이전트에 걸쳐 작업 계획과 위임을 지원해서 안정성을 개선하고 오류를 줄인다.

High-level information flow for an enterprise-grade agent ecosystem. 

Confluent

이 그림에는 나오지 않지만 API, 프로토콜, 채팅 인터페이스를 통해 인간 대 에이전트, 에이전트 대 에이전트 통신을 처리하는 상호작용 관리자(Interaction Manager), 그리고 기업 표준에 따라 프로덕션 등급 에이전트를 설계, 테스트, 게시하는 데 필요한 툴과 기본 골격을 제공하는 크리에이터 워크벤치(Creator Workbench) 구성요소도 있다. 이러한 모든 기능이 함께 작동하면서 고립된 일단의 에이전트를 기업 규모에 맞는 하나의 응집력 있고 거버넌스 가능한 시스템으로 바꿔준다.

에이전트 메시 : 기업 수준 에이전트를 향해

기업 수준의 에이전트는 현대 인프라를 모니터링하고 관리하고 보호하는 방식에 따르는 까다로운 표준을 충족해야 한다. 기업 수준 에이전트란 지능적일 뿐만 아니라 관리 가능하고 예측 가능하며 비즈니스에 핵심 시스템 전반에 안전한 배포가 가능한 에이전트다.

이와 같은 모든 조건을 달성하려면 다음과 같은 주요 속성이 필요하다.

• 검색 가능성 : 사용자 또는 다른 에이전트가 쉽게 찾을 수 있어야 한다. 각 에이전트는 고유한 ID, 메타데이터, 명확한 문서와 함께 등록된다.
• 보안 : 에이전트는 mTLS, OAuth2와 같은 강력한 인증 및 권한 부여 방법을 사용해야 한다. 에이전트에 대한 접근은 제로 트러스트 정책을 통해 관리되므로 에이전트는 구성에 명시적으로 정의된 툴 및 협력자와만 상호작용이 가능하다.
• 관찰가능성과 운영가능성 : 각 에이전트는 기존 기업 모니터링과 운영 플랫폼에 통합할 수 있는 메트릭, 알림, 로그를 방출한다. 이를 통해 실시간 시야와 사고 대응이 가능해진다.
• 안정성 : 기업용 에이전트는 장애를 최소화하는 설계가 필요하다. 즉, 예측할 수 없는 LLM 동작에 지나치게 의존하지 않고 가능한 경우 결정론적 작업 실행이 이뤄지도록 보장해야 한다.확장성 : 기업용 에이전트는 런타임에 손쉽게 확장해서 예상된 부하와 피크 부하를 처리할 수 있어야 한다. 개발 관점에서도 확장이 가능해서 개발자가 쉽고 빠르게 에이전트를 구축할 수 있어야 한다. 또한 기업 운영 환경에 맞춰 운영 측면에서도 확장성이 필요하다.
• 신뢰 : 에이전트는 사용 전에 인증을 거친다. 인증은 자동이든 수동이든 가시성과 거버넌스를 위해 기록되고 게시된다.
• 추적가능성과 설명가능성 : 에이전트가 수행하는 모든 동작은 그 동작의 근거와 함께 기록된다. 이를 통해 팀은 결과에서 역으로 의사 결정과 입력을 추적할 수 있으므로 진단과 규정 준수에 유용하다.
• 협업 : 에이전트는 고립된 채로 움직이지 않는다. 에이전트는 분산된 환경에서 다른 에이전트 및 툴과 함께 작동하고 필요에 따라 맥락을 공유하고 작업을 위임한다.

이러한 표준을 충족하는 에이전트는 기업 시스템과 프로세스에 안전하게 통합이 가능하다. 그러나 그 수준에 도달하기 위해서는 기본적으로 이와 같은 기능을 지원하는 인프라가 필요하다. 에이전트 메시는 기업 전반에 걸쳐 에이전트 도입을 확장하기 위한 기반으로서 바로 그 인프라를 제공한다.

에이전트 메시의 기술적 토대

기업 수준 에이전트는 현대 소프트웨어 인프라에 맞아야 한다. 에이전트 메시는 잘 정립된 패턴, 특히 마이크로서비스와 이벤트 기반 아키텍처, 스트림 처리, 제로 트러스트 보안을 기반으로 하므로 익숙한 툴과 워크플로우를 사용해 에이전트를 배포, 관찰, 관리할 수 있다.

Technical architecture for an enterprise-grade agent. 

Confluent

에이전트는 스마트 마이크로서비스

에이전트는 LLM를 두뇌로 하는 마이크로서비스로, 사실상 “스마트” 마이크로서비스라고 할 수 있다. 마이크로서비스는 에이전트에 강력한 운영 기반을 제공한다. mTLS, OAuth2와 같은 기업 수준 보안 표준을 지원하고 쿠버네티스와 같은 플랫폼 내에서 안정적인 실행을 가능하게 하며 도커와 CI/CD 파이프라인을 사용해 손쉽게 배포할 수 있다. 표준 관찰가능성 패턴에 부합하므로 프로메테우스, 오픈텔레메트리, 스플렁크와 같은 기존 툴을 사용해 에이전트를 모니터링하고 운영할 수 있고, 따라서 정립된 기업 워크플로우 내에서 관리가 가능하다.

에이전트는 자율적이며 툴 중심이다

각 에이전트에는 하나 이상의 언어 모델과 호출 가능한 도구 모음이 있다. 에이전트는 사용자 입력과 가용한 기능에 따라 동적으로 작업 계획을 생성한 다음 단계별로 실행하면서 툴을 조율하고 API를 호출하고 필요한 경우 다른 에이전트와 협업한다.

에이전트는 대화를 조율한다

기업 사용례에는 장기간 여러 에이전트 간에 실행되는 상호작용, 흔히 말하는 대화가 포함되는 경우가 많다. 대화가 이뤄지는 기간은 밀리초부터 분, 며칠 또는 그 이상일 수 있다. 따라서 에이전트 간 또는 사람과 에이전트 간의 인계는 장애에 강해야 할 뿐만 아니라 에이전트에 필요한 경우 부가적인 사람의 피드백도 원활하게 허용해야 한다.

에이전트는 상태를 유지(stateful)한다

에이전트는 대화 상태를 유지하고 관리하도록 설계되므로 여러 단계 또는 세션에 걸쳐 맥락을 추적하고 실패 후 대화를 다시 시작할 수 있다.

에이전트는 비동기적이다

에이전트는 태생적으로 비동기적이다. 인간의 의사소통 방식과 비교해서 생각하면 에이전트를 이해하는 데 도움이 된다. 인간은 많은 경우 즉각적인 피드백을 받기 위해 요청-응답 상호작용을 하지만 이메일이나 문자 메시지와 같이 응답이 훨씬 늦게 올 수 있는 비동기적인 의사소통도 사용한다. 인간은 이 같은 지연을 조율이 이뤄지는 방식의 일부로 받아들인다. 에이전트도 마찬가지다. 에이전트는 툴을 기다리거나 작업을 위임할 수 있다는 면에서 원래부터 비동기적이다.

에이전트는 이벤트 중심이다

이벤트 중심 아키텍처는 에이전트의 작동 방식을 뒷받침한다. 에이전트는 엄격한 점 대 점 통합에 의존하기보다는 동적으로 서로를 검색하고 통신하고 구독할 수 있어야 한다. 에이전트는 아파치 카프카, 아파치 플링크와 같이 확장 가능한 분리된 통신을 지원하는 기술을 통해 공유 이벤트 스트림을 활용하고 주제를 구독하고 새 데이터에 반응하고 실시간으로 출력을 게시한다.

제로 트러스트 거버넌스

에이전트는 상호작용이 허용되는 데이터, 툴, 협력자를 정의하는 엄격한 정책 하에 운영된다. 접근은 메시를 통해 명시적으로 선언되고 실행되므로 승인되지 않은 동작을 방지하고 기업 보안 표준을 준수할 수 있다.

상호운용 가능한 AI의 미래

기업용 에이전트의 다음 단계는 배포된 에이전트의 수가 아니라 배포된 에이전트가 얼마나 잘 구축되고 관리되는지에 따라 정의될 것이다. 에이전트가 실제 비즈니스 가치를 제공하려면 기업 수준에 이르러야 한다. 즉, 안전하고 관찰 가능하고 안정적이며 더 광범위한 시스템의 일부로 작동하도록 설계돼야 한다. 이는 양질의 프롬프트나 똑똑한 워크플로우만으로 되는 것이 아니며 대규모 환경에서 거버넌스와 조율, 제어를 지원하는 아키텍처가 필요하다.

에이전트 메시는 이 아키텍처를 위한 토대를 제공해서 에이전트가 실험적인 프로토타입에서 프로덕션에 사용 가능한 시스템으로 발전할 수 있게 해준다. 기업 AI의 미래는 신뢰, 통합, 확장할 수 있는 에이전트를 구축하는 데 달려 있다.

*필자인 션 팰코너는 컨플루언트(Confluent)의 AI 혁신가이고, 에릭 브로더는 IBM의 최고 컨설턴트이자 AI 아키텍트로 재직하고 있다.
dl-itworldkorea@foundryco.com