생성형 AI 시대를 위한 API를 개발한다고 가정해 보자. 이 API는 자연어 입력을 지원하고, 대형 언어 모델의 지능을 활용하며, SaaS 및 엔터프라이즈 시스템과 통합돼 의사 결정을 자동화하고, 다른 생성형 AI 기반 API와 연결돼 비즈니스 프로세스 오케스트레이션을 가능하게 한다.

AI 에이전트를 이해하는 한 가지 방법은 작동 방식을 살펴보는 것이다. AI 에이전트는 RAG 기반 LLM의 추론 능력을 비즈니스 맥락 지식과 결합하고 반독립적으로 행동할 수 있는 기능을 갖추고 있다. 일반적인 LLM이 자연어 입력을 받아 질문에 답하는 역할을 한다면, AI 에이전트는 실제로 작업을 수행하는 비즈니스 파트너에 가깝다. 더욱 정교한 자율 에이전트는 인간의 개입 없이도 대부분 작업을 수행하도록 설계된다. 그러나 자율성이 높아질수록 입력을 해석하고 행동을 결정하는 과정에서 더 많은 리스크를 수반한다.

AI 에이전트는 개발자, 비즈니스 사용자 등 다양한 역할을 수행하는 이들에게 프로세스를 자동화하고 지식 기반 협업을 지원하는 파트너로서 미래의 업무 방식을 변화시키고 있다. AI 에이전트는 단순한 생성형 AI 기반 정보 처리 기능을 넘어 다양한 사용례와 적용 가능성 덕분에 기업의 높은 관심을 받고 있다. 많은 AI 에이전트 사용례는 장기적인 실험이 아니라, 실제로 투자받을 가능성이 높은 현실적인 제안으로 평가되고 있다.

TEK시스템(TEKsystems)의 CTO인 람 팔라니아판은 “AI 에이전트는 규칙 기반 시스템에서 자연어 상호작용이 가능한 지능형 생성형 AI 기반 도구로 발전했다”라고 말했다. AI 에이전트는 다양한 사용례에 적용될 수 있다. 예를 들어 조달 분야에서는 공급업체를 평가하고 주문을 진행하며, 고객 지원에서는 복잡한 문제 해결을 수행하고, 의료 분야에서는 진단 요약을 제공하는 데 활용될 수 있다. 프로세스 중심의 업무가 많고 인적 자원이 많이 투입되는 조직은 AI 에이전트를 통해 확장성, 24시간 운영, 효율적인 워크플로우 등의 이점을 얻을 수 있다.

AI 에이전트 vs. API

먼저, AI 에이전트가 API 및 기타 웹 서비스와 어떻게 다른지 이해하는 것부터 시작하자.

• AI 에이전트는 자연어 입력을 비롯해 음성, 이미지, 동영상과 같은 비기술적 입력을 처리할 수 있다. 반면, API는 JSON이나 XML 같은 시스템 지향적 입력만을 수용한다.
• AI 에이전트는 코드화된 비즈니스 규칙 대신 RAG, 언어 모델, 기타 생성형 AI 모델과 연결되어 관련 지식을 활용한다.
• AI 에이전트는 할당된 역할과 허용되지 않는 행동을 정의하는 가이드라인을 기반으로 다음 행동을 추론할 수 있다. 반면, API는 규칙 기반으로 작동하기 때문에 다양한 역할, 의사 결정, 행동을 시뮬레이션하려면 훨씬 더 많은 프로그래밍 작업이 필요하다.
• API와 AI 에이전트 모두 트랜잭션을 수행하고 다른 서비스와 통신할 수 있다. 그러나 AI 에이전트는 자체적으로 결정을 내리고, 다른 AI 에이전트에 자연어 프롬프트를 전달하여 협력할 수도 있다.
• AI 에이전트는 인간과의 협업을 위해 자연어로 출력 결과를 제공한다. 비전문가도 AI 에이전트의 이해 수준과 행동을 검증할 수 있으며, 의사 결정 과정과 API 및 다른 AI 에이전트와의 연결 과정이 자연어로 요약되기 때문에 보다 직관적으로 파악할 수 있다.

포어소트(Forethought) 공동 창업자인 디온 니콜라스는 “고객 서비스와 같은 사용례를 위한 AI 에이전트를 개발하는 경우, 비즈니스 로직을 코드가 아닌 자연어로 구현해야 한다. 또한, AI 에이전트가 인간이 웹사이트와 소통하는 방식과 동일하게 API와 소통할 수 있도록 설계해야 한다. 이를 통해 AI 에이전트가 실제로 행동을 수행하고 문제를 해결할 수 있는 진정한 에이전트형 AI로 발전하며, 실질적인 가치를 제공할 수 있게 될 것이다”라고 말했다.

어떤 종류의 AI 에이전트가 필요한가?

AI 에이전트는 의사 결정 방식과 행동 수행 방식에 따라 여러 유형으로 분류된다. 모델 기반 에이전트는 기존의 규칙을 AI 모델과 지원 데이터로 대체하며, 목표 및 유틸리티 기반 에이전트는 다양한 시나리오를 비교한 후 최적의 행동 방침을 선택한다. 더 정교한 AI 학습 에이전트는 피드백 루프를 활용해 성능을 지속적으로 개선하며, 계층적 에이전트는 그룹으로 협력하여 복잡한 작업을 분해해 처리한다.

API에 자연어 인터페이스를 추가하면 이를 AI 에이전트라고 부를 수 있을까? 정답은 ‘그렇다’이다. 이런 방식으로 구현된 에이전트는 단순 반사형 에이전트로, 규칙을 활용해 자연어 입력을 특정 행동으로 연결하는 역할을 한다.

AI 에이전트 개발을 위한 전제 조건

AI 에이전트를 개발할 때는 플랫폼, 데이터, 통합, 보안, 컴플라이언스와 관련된 필수 요소를 충분히 고려해야 한다.

트레이닷에이아이(Tray.ai)의 공동 창업자이자 CEO인 리치 월드런은 “AI 에이전트의 성공을 위해서는 데이터 통합, 효과적인 프로세스 자동화, 비정형 데이터 관리 기능을 갖춘 기반 플랫폼이 필수적이다. AI 에이전트는 엄격한 데이터 정책과 보안 프로토콜에 맞춰 설계할 수 있으며, 이를 통해 IT팀이 생산성을 높이는 동시에 컴플라이언스를 준수할 수 있도록 지원한다”라고 말했다.

엔소트(Enthought)의 COO인 마이크 코넬에 따르면, 모델을 훈련하고 검증하려면 문제 도메인을 정확하게 반영하는 대량의 정제된 데이터가 필요하며, 일부 애플리케이션의 경우 레이블링된 데이터도 필수적이다. 코넬은 “강력한 데이터 파이프라인은 실시간 데이터 스트림을 전처리, 변환, 공급함으로써 모델을 정제하고 변화하는 환경에 맞춰 지속적으로 조정하는 데 기여한다. 에이전트의 맥락 이해력과 의사 결정 능력을 향상하려면 도메인별 온톨로지나 임베딩의 필요성도 고려해야 한다”라고 덧붙였다.

보안과 규정 준수와 관련해 이뮤타(Immuta)의 연구 부문 부사장 조셉 레겐스버거는 AI 에이전트가 고유한 정체성을 가지므로 복잡한 AI 체인과 지식 그래프에 대한 접근을 관리할 때 인간 사용자와 동일한 수준의 제어가 필요하다고 설명했다. “규제와 비즈니스 계약의 잦은 변화를 접근 제어 솔루션에 반영하고, 이를 모든 인간 및 기계 사용자에게 일관되게 적용”해야 하며, 변화하는 비즈니스 규칙을 지속적으로 반영하지 않으면 AI 에이전트가 오래된 사용 계약에 기반해 개발될 수 있으므로 최신 규정을 준수하는 것이 필수적이라고 강조했다.

AI 에이전트 개발 플랫폼 선택

애피안, 아틀라시안, 시스코 웹엑스, 클라우데라, 페가(Pega), 세일즈포스, SAP, 서비스나우, 워크데이 등 주요 엔터프라이즈 플랫폼은 자사 워크플로우와 사용자 경험에 AI 에이전트 기능을 통합했다고 발표했다. 예를 들어, 워크데이의 리크루터 에이전트는 HR 담당자가 인재를 찾고 채용하는 과정을 지원하며, 아틀라시안의 AI 기반 가상 서비스 에이전트는 1단계 지원 요청을 자동화해 처리한다.

일부 플랫폼은 도메인 전문가나 비기술적 비즈니스 사용자가 직접 AI 에이전트를 개발할 수 있는 기능도 제공한다. 세일즈포스의 에이전트 빌더(Salesforce Agent Builder)가 대표적인 예다. 사용자가 에이전트의 역할을 설명하고 수행할 작업과 관련된 주제를 선택하면, AI가 이를 플랫폼에서 실행 가능한 활동으로 매핑한다. 이 외에도 AI 에이전트 구축 기능을 제공하는 플랫폼으로 시스코 웹엑스 AI 에이전트 스튜디오(Cisco Webex AI Agent Studio), 서비스나우 에이전틱 AI(ServiceNow Agentic AI), 트레이닷에이아이의 머린 에이전트 빌더(Tray.ai Merlin Agent Builder) 등이 있다.

AI 에이전트 개발에는 여러 옵션이 있다. 첫 번째는 플랫폼 업체가 제공하는 서비스형 AI 에이전트로, 기업의 데이터를 활용해 에이전트 분석을 수행한 후 트랜잭션을 실행할 수 있는 API를 제공하는 방식이다. 두 번째 옵션은 로우코드/노코드, 자동화, 데이터 패브릭 플랫폼을 활용하는 것이다. 이들은 보다 범용적인 AI 에이전트 개발 도구를 제공하며, 비개발자도 직접 맞춤형 에이전트를 구축할 수 있도록 지원한다.

코파도(Copado) SVP 데이비드 브룩스는 “앞으로 AI 에이전트 개발에는 로우코드와 프로코드 도구가 혼합되어 사용되겠지만, 비즈니스 애널리스트가 직접 솔루션을 구축할 수 있도록 지원하는 로우코드가 주도적인 역할을 할 것이다. 이를 통해 비즈니스의 핵심 요구를 해결하는 AI 에이전트를 빠르게 반복 개발할 수 있으며, 프로그래머들은 AI 에이전트를 활용해 서비스와 통합 기능을 구축하여 보다 높은 수준의 자동화를 구현할 것”이라고 전망했다.

세 번째 옵션은 코드 기반 개발을 통해 AI 에이전트를 네이티브로 개발하는 방식이다. 이를 위해 AI 에이전트 빌더나 LLM 애플리케이션 프레임워크를 활용할 수 있으며, 보다 세밀한 제어와 맞춤형 기능을 구현할 수 있다.

아이세라(Aisera) CEO 아비 마헤슈와리는 “AI 에이전트를 파이썬이나 C++와 같은 코드로 직접 개발할 수도 있고, 오토젠(AutoGen), 랭그래프(LangGraph), 크루AI(CrewAI) 같은 프레임워크를 사용할 수도 있다. 하지만 이런 방법은 확장성이 부족하거나 충분한 가드레일을 제공하지 못할 수 있다”라고 언급했다. 또한 데이터 레이크나 레이크하우스와 같은 현대적인 데이터 인프라가 필요하고 데이터가 해당 도메인과 밀접하게 연관돼 있어야 하며, “LLM의 파인 튜닝이나 RAG 같은 기술을 활용해 데이터를 원활하게 통합하는 것이 중요하다”라고 강조했다.

AI 에이전트 개발의 얼리 어댑터가 되고자 하는 기업은 데이터 관리 플랫폼, 개발 도구, 그리고 더 스마트한 데브옵스 프로세스를 재검토해야 할 것이다. 이를 통해 AI 에이전트를 대규모로 개발 및 배포할 수 있는 환경을 구축하는 것이 중요하다.

IBM 왓스 제품 관리 이사인 메리암 아쇼리는 “AI 에이전트 개발을 가속화하려면 설계부터 맞춤화, 배포, 모니터링까지 대규모 운영이 가능한 강력한 도구 세트가 필요하다”라고 조언했다. 여기에는 함수 호출에 최적화된 모델, 에이전트를 조율하고 엔터프라이즈 도구와 연결하는 미들웨어, 최적화된 런타임, 기술적 가드레일, 거버넌스 기능 등이 포함되며, 이를 통해 AI 에이전트가 의도한 대로 작동하도록 보장해야 한다. 또한 개발자를 위한 프로코드 도구부터 비즈니스 사용자가 일상적인 워크플로우에 쉽게 AI 에이전트를 통합할 수 있는 로우코드 및 노코드 도구까지, 다양한 사용자와 기술 수준을 고려한 툴링도 필수적이다.

AI 에이전트 테스트 방법

LLM의 테스트와 정확성 검증을 위해서는 인간 테스터, 자동화 도구, 합성 데이터를 활용한 기본적인 정확도 테스트가 필요하다. 보다 정교한 방법으로는 보조 AI 모델을 활용하거나, 생성적 적대 신경망(generative adversarial networks, GANs)을 사용해 대규모 테스트를 수행하는 방식이 있다.

카우치베이스(Couchbase)의 AI·데이터·애널리틱스 제품·전략 부문 부사장인 라훌 프라단은 “정교한 관찰가능성 도구, 피드백 루프, 폴백 메커니즘을 활용해 정확성을 테스트하면 AI 에이전트에 대한 신뢰를 구축하는 데 도움이 된다. 이런 접근 방식은 자율적으로 작업을 수행할 수 있는 AI 에이전트 활용에 진전을 이룰 것”이라고 강조했다.

앤서로켓(AnswerRocket) CTO이자 공동 창업자인 마이크 핀리는 AI 에이전트의 정확성 테스트를 다음의 두 단계로 진행할 수 있다고 설명했다.

• AI 에이전트는 사용된 사실이나 인용된 정보의 출처를 명확히 문서화하고, 모든 의사 결정 과정에서 입력값과 논리적 단계가 포함된 문서화된 근거를 제공해야 한다.
• AI 검증자(AI verifier)는 다른 AI 에이전트의 작업을 모니터링하는 감독 에이전트(Supervisor Agent) 역할을 수행하며, 어조 변화와 같은 미묘한 신호를 감지해 AI 에이전트의 정확성을 검토해야 한다.

업무 환경의 재편에 대비해야 할 때

LLM과 RAG는 생성형 AI의 가능성과 관련해 큰 주목을 받았으며, 이제는 AI 에이전트가 다양한 비즈니스 워크플로우에서 생산성을 어떻게 높일 수 있는지 잠재력을 보여주고 있다. 점점 더 많은 플랫폼이 AI 에이전트 기능을 제공하고, 개발 환경이 확장 가능해지면서 인간과 AI의 새로운 역할과 책임이 등장할 가능성이 크다.

오거리(Augury) 전략 부문 VP 아르템 크루페네브는 “AI 에이전트는 업무 환경을 재편하며, ‘에이전트 관리자(Agent Managers)’와 같은 새로운 역할을 만들 것이다. 이들은 특정 AI 에이전트를 감독하고 전략적인 방향을 설정하며, 비즈니스 역할과의 조화를 보장하는 역할을 수행하게 될 것이다. 이는 마치 현재의 팀 관리자가 팀을 운영하는 것과 유사하다”라고 말했다.

이어 “멀티 에이전트 시스템이 확장함에 따라, HR 부서와 유사한 조직이 등장해 교육, 조정, 성과 지표에 중점을 두고 인간과 AI 에이전트가 함께 일하는 하이브리드 인력을 관리하게 될 수도 있다. 이런 하이브리드 접근 방식은 인간의 직관과 기계의 효율성을 결합하여 생산성을 더욱 향상시킬 수 있다”라고 덧붙였다.

AI 에이전트의 성장 열쇠는 단순히 개발의 용이성에 있는 것이 아니다. 조직이 이를 얼마나 신뢰할 수 있는지, 그리고 직원들이 AI 에이전트의 역량을 얼마나 수용할 것인지에 달려 있다.
dl-itworldkorea@foundryco.com