에이전트 중심 개발에는 비결정성, 토큰 비대화 같은 함정을 피하기 위해 새로운 형태의 시스템 사고가 필요하다. 또한 모델이 목표를 달성하기 위해 거짓말을 하거나 정보를 임의로 만들어내는 현상과 같은, LLM으로 인해 발생하는 시급한 보안 공백도 존재한다. 연구자들은 이를 에이전트 이탈(agentic misalignment)로 지칭한다.

다른 시스템과 통합되고 다양한 선택지를 거쳐 다단계 워크플로우를 실행하는 에이전트를 구축하기 위해서는 적절한 사전 계획이 중요하다. 이와 같은 이유로 에이전트 아키텍처 설계에는 새로운 플레이북이 필요하다.

에이전틱 AI 플랫폼 업체 어라이브드(AIRRIVED)의 CEO 아누라그 거투는 “에이전틱 시스템을 구축하려면 자동화가 아니라 자율성에 맞게 설계된, 근본적으로 새로운 아키텍처가 필요하다. 에이전트에는 런타임, 두뇌, 손, 메모리, 가드레일이 필요하다”고 말했다.

에이전틱 AI는 가능성을 보여주지만 AI에서 ROI를 달성하기란 쉽지 않다. 알테릭스(Alteryx)에 따르면 에이전틱 AI 실험에서 측정 가능한 효과를 확인한 조직은 전체의 절반 미만이며, AI가 정확한 의사결정을 내릴 것으로 신뢰하는 조직은 1/3 미만이다.

그렇다면 성공적인 엔터프라이즈급 에이전틱 시스템을 이루는 요소는 무엇일까? 이 글에서는 단일 벤더 플랫폼 내에서 시스템을 어떻게 구축할지에 집중하기보다, 에이전틱 시스템 전반에 공통적으로 나타나는 특성을 살펴보고 개발자와 설계자를 위한 실용적인 지침과 그동안 얻은 교훈을 살펴본다.

에이전틱 시스템의 아키텍처 구성요소

에이전틱 시스템은 이를 가능하게 하는 몇 가지 빌딩 블록으로 구성된다. 이는 상호 연결된 소프트웨어 아키텍처 망을 형성하며, 다양한 구성요소가 각기 다른 목적으로 사용된다. 아카마이의 클라우드 에반젤리스트 아리 웨일은 “AI 에이전트 구축은 신경계를 만드는 것과 같다”고 말했다.

이 시스템은 추론, 메모리, 컨텍스트 수집, 조정, 검증, 그리고 인간 개입 루프 가드레일을 위한 여러 계층으로 형성된다. 서비스나우의 램지는 “에이전틱 시스템을 지탱하는 것은 AI, 워크플로우 자동화, 엔터프라이즈 통제의 결합”이라고 말했다.

추론 모델

에이전틱 시스템을 기본 구성요소로 나눈다면 먼저 기반 모델부터 시작해야 한다.

젠틱(Jentic)의 엔터프라이즈 아키텍처 책임자 프랭크 킬코민스는 “추론 모델이 중심에 위치한다”고 말했다. 이 추론 엔진은 사용자의 프롬프트와 현재 컨텍스트, 사용 가능한 기능을 결합해 계획을 수립한다.

적합도는 추론 모델마다 다르다. 쇼피파이의 맥나마라는 “우리는 에이전틱 느낌을 주는 모델을 찾는다. 적절한 양의 툴 호출을 지원하고 프롬프트와 조정이 쉽고 강력한 지시 기능이 있는 모델”이라고 말했다.

컨텍스트와 데이터

다음으로 에이전트에는 컨텍스트가 필요하다. 컨텍스트의 형태는 내부 회사 데이터, 조직 지식과 정책, 시스템 프롬프트, 외부 데이터, 저장된 과거 대화, 그리고 에이전틱 메타데이터 등이 될 수 있다. 에이전틱 메타데이터란 사용자 프롬프트, 추론 단계, 툴 및 데이터 소스와의 상호작용을 의미하며, 이를 통해 에이전트의 동작을 관찰하고 디버깅할 수 있다.

소나(Sonar)의 AI, 에이전트, IDE, 개발 툴 부문 제품 디렉터인 에드가 쿠스버그에 따르면 데이터 소스에는 데이터베이스와 API, 검색 증강 생성(RAG) 시스템과 벡터 데이터베이스, 파일 시스템과 문서 저장소, 내부 대시보드 또는 구글 드라이브 같은 외부 시스템이 포함된다.

조직은 이러한 데이터를 체계화하고 검색 프로세스를 간소화하기 위해 에이전틱 지식 기반을 활발히 구축하고 있다. 동시에 에이전틱 컨텍스트 관리 시스템을 구동하는 시맨틱 검색 프로세스에서도 패턴이 나타나고 있다.

아마존의 비즈니스 인텔리전스 엔지니어 아누샤 코비는 “메모리 측면에서 대부분의 팀은 pgvector와 같은 벡터 저장소와 데이터 카탈로그나 지식 그래프 같은 구조화된 시스템을 결합한다”고 말했다.

툴과 탐색

그러나 에이전트가 동작하려면 정적 컨텍스트 외에 데이터베이스, 툴, API에 대한 읽기 및 쓰기 액세스 권한이 필요하다.

금융 서비스 기업 블록(Block)의 데이터 및 AI 책임자 재키 브로사머는 “에이전트를 더 강력하게 만들 때 가장 중요한 작업은 AI와 기존 시스템을 연결하는 방법에 있다”고 말했다.

이러한 기능을 실현하기 위해 업계에서 에이전트와 시스템을 연결하는 범용 커넥터로 빠르게 부상하고 있는 기술은 모델 컨텍스트 프로토콜(MCP)이다. 대규모 환경의 에이전트를 위해 MCP 기능을 통합하고 카탈로그화하는 MCP 레지스트리도 등장하고 있다.

에이전틱 아키텍처에서 MCP 사용에 대한 공개 사례 연구도 많다. 예를 들어 LLM 기반 소프트웨어 개발을 위한 블록의 오픈소스 구스(goose) 에이전트, 워카토(Workato)의 클로드 기반 엔터프라이즈 워크플로우를 위한 MCP 사용 등이 여기에 포함된다.

정의된 워크플로우

또 다른 유용한 구성요소는 일반적인 절차를 위한 명확히 문서화된 워크플로우를 확보하는 것이다. 여기에는 MCP 서버 또는 직접 API 호출 간의 상호 연결된 다단계 작업이 포함된다.

서비스나우의 램지는 “중요한 것은 이러한 에이전트가 정의된 워크플로우를 통해 조정되므로 자율성이 혼란으로 이어지지 않고 예측 가능하고 관리되는 방식으로 확장된다는 것”고 말했다.

젠틱의 킬코민스는 “명확하고 기계가 읽을 수 있는 기능 정의”를 사용해 달성할 수 있다면서 이러한 동작을 문서화하는 방법으로 오픈API 이니셔티브가 내놓은 산업 표준인 아라조(Arazzo) 사양을 언급했다.

멀티 에이전트 오케스트레이션

그러려면 에이전트에는 서로 통합되고 지속적인 피드백 루프에 맞춰 들어갈 수 있는 기능이 필요하다.

어라이브드의 거투는 대규모에서는 일반적으로 멀티 에이전트 시스템이 필요하다면서 “하나의 범용 에이전트 대신 추론 에이전트, 검색 에이전트, 행동 에이전트, 검증 에이전트와 같은 특화된 에이전트 팀을 두는 경우가 많다”고 말했다.

이 현실에 필요한 것은 연결 조직이다. 아마존의 코비는 “계획-실행-평가 루프를 위한 오케스트레이션 계층이 중심에 필요하다”고 말했다.

코비는 오케스트레이션의 일반적인 구성요소로 저수준 오케스트레이션 프레임워크인 랭그래프(LangGraph), 멀티 에이전트 오케스트레이션을 위한 파이썬 프레임워크인 크루AI(CrewAI), 그리고 에이전트가 다단계 작업을 자동화하도록 돕는 베드록(Bedrock) 에이전트 등이 있다고 덧붙였다.

에이전트 간 통신을 위한 A2A 프로토콜과 같은 개방형 표준과 프로토콜도 AI 에이전트가 효과적으로 협업할 수 있도록 하는 데 중요하다.

보안과 권한 부여

LLM에는 환각을 일으키거나 예상한 범위를 벗어나는 경향이 있는 만큼 보안은 안전한 에이전틱 시스템을 구축하는 데 있어 가장 중요한 요소일 것이다.

거투는 “이제는 제안하는 소프트웨어가 아니라, 직접 행동하는 소프트웨어를 보호해야 한다. 에이전트가 액세스 권한을 변경하거나 워크플로우를 트리거하거나 사고를 조정할 수 있는 상황에서 거버넌스가 동반되지 않을 경우 모든 의사결정이 잠재적인 제어 실패가 된다”고 말했다.

킬코민스에 따르면 에이전트 행동은 잠재적으로 매우 큰 반경에 영향을 미치며, 특히 통제되지 않은 연쇄 실행의 경우 그 여파는 더욱 광범위하다. 킬코민스는 권한 승격과 민감한 데이터 노출을 방지하기 위해 명확히 정의된 권한 설정을 권장했다.

에이전틱 시스템에서는 세밀한 보안 방법이 필요하다. 코비는 “에이전트는 무엇을 조회하고 어느 툴을 호출할지를 런타임에 결정하므로 권한 범위를 기존과 같이 설정해서는 안 된다”고 말했다. 전문가들은 인간이 개입하지 않는 미래의 인터넷에 대비하기 위한 핵심은 적시 권한 부여가 될 것이라고 말한다.

코비는 “개인 정보 컬럼을 조회하지 말 것”과 같은 안전 규칙이 프롬프트 창에서 구현되면 안 된다. 프롬프트 지시만이 아니라 ID 및 액세스 관리 정책과 구성에 가드레일이 포함돼야 한다”고 말했다.

인간 체크포인트

고급 인증과 권한 부여가 구현된다 해도 민감한 작업에는 인간의 승인이 필요하다.

맥나마라는 쇼피파이의 경우 “인간 개입 루프를 설계에 기본값으로 반영한다”고 말했다. 쇼피파이는 프로덕션 시스템에 대해 완전히 자율적으로 변경이 이루어지지 않도록 방지하는 승인 게이트를 도입했다. 이를 통해 사이드킥(Sidekick)의 AI 생성 콘텐츠를 실제 라이브로 올리기 전에 상점 운영자가 검토할 수 있다.

특히 금융 거래 분야를 비롯한 다른 업체들도 비슷한 입장이다. 블록의 브로사머는 “우리의 일반적인 원칙은 프로덕션 시스템에 영향을 미치는 모든 작업에는 인간 체크포인트가 필요하다는 것”이라며 캐시 앱(Cash App) 내의 에이전트인 머니봇(Moneybot)에서 핵심적인 요소는 사용자 확인이라고 설명했다.

평가 역량

에이전틱 시스템을 구축하기 위해서는 의도한 결과를 내는지 평가하기 위한 충분한 사전 테스트도 필요하다.

예를 들어 쇼피파이는 사람이 하는 테스트와 전문화된 LLM 기반 평가자를 통한 사용자 시뮬레이션, 두 가지를 모두 사용해서 에이전트 출력에 대한 엄격한 배포 전 평가를 수행한다. 맥나마라는 “LLM 평가자가 인간 평가자와 대체로 일치하는 판단을 한다면 신뢰할 수 있다”고 말했다.

다른 전문가들도 엔터프라이즈급 에이전틱 시스템에서 평가의 중요성에 동의한다. 거투는 “에이전트를 규제 대상 시스템처럼 취급해야 한다. 변경 사항을 샌드박스에서 처리하고, 시뮬레이션 환경에서 에이전트를 테스트하라”고 말했다.

행동 관찰가능성

마지막으로, 또 하나의 핵심 계층은 관찰가능성이다. 에이전틱 시스템에서는 전통적인 모니터링이나 장애 탐지를 넘어 에이전트가 왜 실패했는지, 또는 왜 특정 행동을 선택했는지와 같은 고도화된 신호를 포착할 수 있어야 한다.

소나의 쿠스버그는 “시작부터 관찰가능성을 내장해야 한다. 프롬프트, 툴 호출, 중간 의사결정, 최종 출력에 이르기까지 실행의 모든 단계에서 투명성이 필요하다”고 말했다.

에이전트 행동에 대해 충분한 관찰가능성을 확보하면 시간에 지남에 따라 지속적으로 시스템을 개선할 수 있다. 쿠스버그는 “투명성은 개선을 이끄는 연료와 같다”고 말했다.

컨텍스트 최적화 전략

AI 에이전트에 최소한의 관련성 높은 데이터를 제공하는 것이 데이터 과부하보다 훨씬 낫다는 데는 전문가들 사이에서 이론의 여지가 없다. 이는 컨텍스트 윈도우 포화와 출력 품질 저하를 방지하기 위해 중요하다.

브로사머는 “신중한 데이터 선별이 데이터 볼륨보다 훨씬 더 중요하다. 에이전트 출력의 품질은 컨텍스트의 품질에 따라 좌우된다”고 말했다.

블록의 경우 엔지니어들이 명확한 README 파일을 유지하고 일관적인 문서화 표준과 잘 구조화된 프로젝트 계층을 적용하며, 에이전트가 관련 정보를 찾는 데 도움이 되는 다양한 시맨틱 규칙을 준수한다.

소나의 쿠스버그는 “에이전틱 시스템에 필요한 것은 더 많은 데이터가 아니라 적시의 적절한 데이터”라며 “효과적인 시스템은 에이전트에 다양한 탐색 툴을 제공하고 충분한 컨텍스트를 확보했다고 판단할 때까지 검색 루프를 실행할 수 있도록 한다”고 말했다.

현재 지배적인 원칙은 점진적인 정보 공개를 채택하는 것이다. 쇼피파이는 이를 적극적으로 적용해 모듈형 지시 전달을 사용한다. 맥나마라는 “적시 컨텍스트 제공이 핵심이다. 과도한 시스템 프롬프트를 쏟아내기보다는 필요할 때 툴 데이터와 함께 관련 컨텍스트를 제공한다”고 말한다.

일부에서는 컨텍스트에 시맨틱 뉘앙스도 포함돼야 한다는 점을 강조한다. 코비는 “에이전트가 ‘활성 사용자’의 의미가 제품과 마케팅에서 서로 다르다는 것을 모르면 확신을 갖고 오답을 내놓게 된다. 이 문제는 포착하기가 어렵다”고 말했다.

아키텍처 모범 사례

에이전틱 시스템 개발에 대한 권장 사항은 그 외에도 많다. 첫 번째는 모든 것을 에이전트화할 필요는 없다는 인식이다.

LLM과 MCP 통합을 연계하는 방법은 확장성이 높고 상황 인식 추론과 대응이 필요한 새로운 상황에는 유용하다. 그러나 반복적이고 결정적인 프로그램된 자동화의 경우, 특히 컨텍스트가 정적이고 보안이 엄격한 상황에서는 MCP가 과할 수 있다.

킬코민스는 어떤 동작이 적응형이고 어떤 동작이 결정적인지를 판단하고, 후자를 코드화할 것을 권장한다. 이렇게 하면 에이전트가 의도적으로 정의된 프로그램된 동작을 실행할 수 있으므로 안정성이 향상된다.

에이전틱 프로세스에 적합한 영역을 판단하기 위해서는 재사용 가능한 사용 사례도 찾아야 한다. 램지는 “에이전틱 AI를 성공적으로 구축한 조직은 대부분 마찰이 큰 프로세스를 파악하는 것부터 시작한다”면서 여기에는 직원 서비스 요청, 신규 인력 온보딩 또는 고객 사고 대응이 포함될 수 있다고 말했다.

거투는 에이전트는 구체적인 비즈니스 목표가 부여될 때 가장 잘 작동한다면서 “데모가 아니라 의사결정에서 시작하라. 에이전트를 상태 없는 챗봇처럼 다루거나 하룻밤 사이에 인간을 대체하는 방식으로는 성공할 수 없다”고 말했다.

에이전트의 자율성을 좁히는 것이 더 나은 결과로 이어진다는 의견도 있다. 쿠스버그는 “에이전트는 제너럴리스트가 아닌 스페셜리스트가 될 때 가장 잘 작동한다”고 말했다.

예를 들어 쇼피파이는 툴을 확장할 때 명확한 경계를 설정한다. 맥나마라는 “툴이 20개에서 50개 사이가 되면 경계가 흐려지기 시작한다”고 말했다. 작업별 에이전트를 통해 역할 경계를 구분하는 방식을 제안하기도 하지만 쇼피파이는 저수준 툴을 사용한 하위 에이전트 아키텍처를 선택했다.

맥나마라는 “초기에는 멀티 에이전트 아키텍처를 피하는 것이 좋다. 쇼피파이는 현재 적절한 접근 방식으로 하위 에이전트를 도입하고 있는데, 핵심 원칙 중 하나는 시나리오별로 툴을 만드는 것이 아니라 매우 저수준의 툴을 구축하고 시스템을 학습시켜 자연어를 그 저수준 언어로 번역하도록 하는 것”이라고 말했다.

그 외에 에이전틱 시스템 설계와 개발에 대한 전문가의 조언은 다음과 같다.

• 개방형 인프라 사용 : 개방형 에이전트와 벤더 중립 프레임워크를 사용하면 목적에 가장 적합한 모델을 사용할 수 있다.
• API 우선 사고 : 우수한 API 설계와 기계가 읽을 수 있는 명확한 정의는 조직이 AI 에이전트를 준비하는 데 도움이 된다.
• 데이터 동기화 유지 : 공유 데이터를 동기화 상태로 유지하는 것도 과제다. 이벤트 기반 아키텍처는 데이터를 최신 상태로 유지할 수 있다.
• 접근과 통제의 균형 : 에이전틱 시스템을 안전하게 유지하기 위해서는 공격적 보안, 포괄적인 감사 로그, 방어적 데이터 검증이 필요하다.
• 지속적 개선 : 산업과 AI 기술이 발전함에 따라 에이전트 드리프트를 방지하기 위해 에이전틱 시스템 개발에는 지속적인 유지보수가 필수적이다.

에이전틱 시스템의 미래

에이전틱 AI 개발은 지금까지 눈부신 속도로 발전했다. 이제는 에이전틱 시스템 패턴이 정립되기 시작하는 단계에 이르렀다.

미래를 내다보면, 전문가들은 향후 멀티 에이전트 시스템 개발이 더 확대되고, 이는 더 복잡한 오케스트레이션 패턴의 필요성과 개방형 표준에 대한 의존도로 이어질 것으로 예상한다. 일부는 지식 노동 전반에 걸친 대대적인 변혁을 예측하기도 한다.

블록의 브로사머는 “2026년에는 특히 코딩을 시작으로 복잡한 지식 작업을 생산하기 위한 에이전트 ‘팩토리’를 구축하는 프레임워크 실험이 이뤄질 전망”이라면서 여기서 가장 까다로운 측면은 기존 정보 흐름을 에이전틱 사용 사례에 맞게 최적화하는 것이라고 말했다.

이런 미래에는 지연을 낮추기 위해 중앙화된 클라우드 아키텍처에서 특정 워크로드를 옮기는, 대체 클라우드와 엣지 기반 추론이 더 강조될 수 있다.

아카마이의 웨일은 “경쟁력 있는 AI의 미래를 위해서는 단순한 처리 성능이 아니라 근접성이 필요하다. 에이전트는 실제 세계에서 사용자, 디바이스, 데이터와 상호작용하면서 이벤트가 전개되는 과정 속에서 행동해야 하기 때문”이라고 말했다.

종합하면, 에이전틱 시스템 구축은 고도로 복잡한 작업이며 이를 위한 방법은 여전히 성숙되는 과정에 있다. 이러한 프로젝트를 의미 있고 지속 가능한 방식으로 대규모로 실현하기 위해서는 에이전트에 의미 있는 자율성을 부여하는 동시에 새로운 기술, 마이크로서비스와 유사한 설계 사고, 그리고 보안 가드레일의 결합이 필요하다.

미래는 에이전틱이다. 그러나 에이전틱 시스템을 뒷받침하는 스마트한 시스템 설계의 유무에 따라 성공적인 결과를 얻을 수도, 실패한 파일럿이 될 수도 있다.
dl-itworldkorea@foundryco.com