2022년 말 챗GPT의 등장과 함께 생성형AI가 기술 업계에 급부상하자, 기업은 고객 문의 응답, 지원 티켓 처리, 콘텐츠 생성 등 다양한 작업을 자동화하는 도구로 빠르게 이 기술을 도입했다.

챗GPT에 이어 수많은 경쟁 챗봇이 잇따라 등장했지만, 초기 챗봇 대부분은 정적인 도구에 머물렀다. 챗봇 자체는 사용자와의 실시간 상호작용이나 외부 애플리케이션과의 통합을 통해서는 학습하지 못했고, 챗봇의 기반이 되는 LLM만 개발 단계에서 정해진 데이터로 학습할 수 있었다.

이런 한계를 넘어서기 위해 등장한 것이 에이전틱 AI(Agentic AI)다. ML(machine learning), NLP(natural language processing), 문맥 이해 같은 기술을 활용한 에이전틱 AI는 독립적으로 작동할 수 있으며, 다른 에이전트와 협력해 복잡한 작업을 수행한다.

맥킨지는 한 보고서에서 “복잡한 워크플로우를 스스로 처리할 수 있는 가상의 동료를 떠올려보라”라며 “이 기술은 새로운 차원의 생산성과 혁신을 예고한다”라고 설명했다.

뮬소프트(Mulesoft)와 딜로이트가 발표한 ‘2025 커넥티비티 벤치마크 보고서(2025 Connectivity Benchmark Report)’에 따르면, IT 리더의 93%가 향후 2년 내 자율적인 AI 에이전트를 도입할 계획이라고 답했으며, 이 중 절반 가까이는 이미 도입한 상태라고 밝혔다.

에이전틱 AI의 작동 원리와 활용 방식

챗봇과 마찬가지로 AI 에이전트도 1960년대부터 존재해 왔다. 하지만 AI/ML, 딥러닝, 그리고 GPT-3나 챗GPT 같은 트랜스포머 모델의 발전 이전까지는 특정 작업에 적응하거나 데이터를 기반으로 학습하는 능력이 없었다. 하지만 기술의 도약 덕분에 AI 에이전트의 활용 범위는 획기적으로 넓어졌다.

일반적으로 에이전틱 AI 시스템은 트랜스포머 기반 LLM을 핵심으로 삼고 여기에 추론 능력, 메모리, 강화학습, 다양한 도구 통합 기능을 더해 구성된다. 언어를 이해하는 LLM의 기능을 바탕으로 명령을 해석하고 그에 맞는 응답을 생성한다.

간단히 말하면 AI 에이전트는 LLM과 전통적인 소프트웨어 애플리케이션을 결합한 형태로, 특정 작업을 독립적으로 수행하는 시스템이다. 자율적으로 작동하며, 목표 달성을 위해 계획을 세우고 결정을 내리며, 행동을 취한다. 이런 과정에서 인간의 지속적인 개입 없이도 운영될 수 있다.

언스트앤영(Ernst & Young) 기술 컨설팅팀의 수석 컨설턴트 삼타 카푸어는 “이것은 비즈니스 가치를 실현하는 방법이다. 비즈니스 프로세스를 어떻게 혁신할 것인지에 집중하는 것이 핵심”이라고 말했다.

예를 들어 직원이 휴가를 신청하면, 에이전틱 AI는 해당 날짜를 HR 시스템에 자동으로 입력하고 다른 관련 시스템에도 그 기간 동안 해당 직원이 부재하다는 사실을 반영한다. 직원이 마음을 바꿔 휴가 날짜를 변경하더라도 에이전트가 HR 시스템 내 일정을 스스로 다시 조정한다. 카푸어는 “단순한 명령어 몇 개만 입력하면 AI 에이전트가 나머지 작업을 알아서 처리한다”라고 설명했다.

에이전틱 AI는 소프트웨어 코드를 자율적으로 작성하고, 이를 개발자에게 기본 코드 형태로 제공할 수 있다. 개발자는 코드를 검토해 정확성을 확인하고 필요한 경우 수정하면 된다. 하지만 코드 리뷰까지 수행하는 에이전트도 존재한다. 가장 큰 이점은 이 모든 과정이 몇 시간이나 며칠이 아닌 단 몇 초 만에 가능하다는 것이다.

AI 기반 코드 생성 도구는 소프트웨어 엔지니어링 분야에서 점점 더 보편화하고 있다. 뜻밖일지도 모르지만 생성형 AI 도구를 실험 중인 많은 기업에 가장 손쉬운 활용례다. 새로운 애플리케이션을 만들 때 최소한의 기본 코드를 제안해주는 수준이라 하더라도, 이런 자동화 도구는 수작업으로 코드를 작성하고 수정하는 데 들던 수시간의 작업을 줄여줄 수 있으므로 도입률이 급속히 증가하고 있다.

가트너는 오는 2027년까지 전체 개발자의 70%가 AI 기반 코딩 도구를 사용할 것으로 전망했다. 이는 2023년 9월 기준 10% 미만이었던 수치에서 급격히 증가하는 것이다. 또한 향후 3년 이내에는 전체 기업의 80%가 AI로 보강된 테스트 도구를 소프트웨어 엔지니어링 툴 체인에 통합할 전망이다. 이는 2024년 초 약 15% 수준에서 크게 확대되는 셈이다.

코딩을 넘어 에이전틱 AI는 주변 환경을 인지하고 그 정보를 바탕으로 결정을 내리고 행동을 취하며, 때로는 시간이 지남에 따라 학습하고 적응함으로써 작업을 자율적으로 수행하도록 설계돼 있다. 에이전트가 점점 더 정교하게 과제를 수행하도록 만드는 핵심 기술은 바로 강화학습이다. 강화학습은 에이전틱 AI가 스스로 성장하고 진화할 수 있는 기반이다.

카푸어는 “게임을 할 때 이기거나 지는 결과가 나오는데, 지면 그 이유를 되짚어보고 다음번에는 다르게 플레이하게 된다. 에이전틱 AI도 마찬가지다. 수행해야 할 KPI가 명확하게 설정돼 있기 때문에 스스로 목표를 달성했는지 판단할 수 있고, 이후에는 그 작업을 다르게 수행하도록 자기 자신을 보완한다”라고 설명했다.

에이전틱 AI의 의사결정은 자율성과 목표 지향성을 중심으로 구조화돼 있다. 넷앱(NetApp) 리서치 및 데이터 사이언스 부문 부사장 아룬 구루라잔은 “에이전틱 AI 내부에는 보상 체계가 존재하며, 이는 주로 강화학습에 기반해 구성된다. AI는 환경과의 상호작용을 통해 보상을 극대화하는 방법을 학습하게 된다”라고 말했다.

‘감지-생각-행동’ 에이전트의 구조와 유형

구루라잔은 에이전틱 AI가 ‘감지–사고–행동(sense-think-act)’이라는 순환적인 과정을 따른다고 설명했다. 이 과정은 다음과 같은 단계로 구성된다.

• 지각(Perception) : 시스템이 환경이나 사용자로부터 입력 정보를 수집한다.
• 추론 및 계획(Reasoning and Planning) : 일반적으로 강력한 LLM로 구성된 에이전트의 중심 두뇌가 과제를 추론하고, 가능한 행동을 생성 및 평가한다.
• 의사결정(Decision-making) : 강화학습 전략과 과거 상호작용에 대한 기억, 때로는 인간의 피드백이 결합돼 최적의 행동을 선택하도록 돕는다.
• 실행(Execution) : 선택된 행동이 실행되며, 이 과정에서 내부 또는 외부 도구를 API 통합 방식으로 호출할 수 있다.
• 피드백 루프(Feedback Loop) : 결과를 평가하고 이를 바탕으로 향후 의사결정을 개선해나가는 지속적인 학습 과정을 형성한다.

작업의 복잡성에 따라 활용할 수 있는 에이전트 유형은 다양하다. 대표적으로 다음과 같다.

• 반응형 에이전트(Reactive agents) : 미리 정의된 규칙에 따라 환경에 대한 반응만을 수행한다. 과거 이력을 저장하거나 학습하지 않는다. 대표적으로 단순한 게임 AI가 이에 해당하며, 고객 서비스 챗봇이나 자동 조절이 가능한 스마트홈 기기 등에서도 활용된다. 가장 기본적인 형태의 에이전트다.
• 계획형 에이전트(Deliberative agents) : 내부 모델과 추론 능력을 활용해 장기적인 관점에서 정보에 기반한 결정을 내린다. 자율주행 차량, 공급망 관리 시스템, 의료 의사결정 시스템 등에 활용된다.
• 하이브리드 에이전트(Hybrid agents): 반응형과 계획형 접근을 결합해 보다 효율적인 의사결정을 내릴 수 있다. 예를 들어, 로봇이 즉각적인 장애물에 반응하면서 동시에 목표 지점까지의 경로를 계획하는 경우가 이에 해당한다. 하이브리드 AI는 비즈니스 자동화 작업에서도 활용된다. 반응형 에이전트가 이메일 응답 같은 일상 업무를 처리하는 동안, 계획형 에이전트는 전체 워크플로우를 최적화하고 효율성을 높이는 데 집중한다.

요약하자면 하이브리드 에이전트는 의사결정 과정에서 즉각적인 반응과 신중한 계획 수립을 모두 통합해 작동한다.

넷앱의 구루라잔은 “기존 AI, 또는 예측 기반 AI는 보통 스토리지 시스템에서 드라이브 고장을 예측하는 것처럼 매우 좁고 구체적인 문제 해결에 최적화돼 있다. 에이전틱 AI는 훨씬 더 유연하고, 상황에 맞게 적응하고 추론하며 전략을 수립할 수 있다”라고 설명했다.

예를 들면 에이전트가 데이터 스토리지 시스템을 관리하면서 대시보드를 모니터링하고 병목 현상을 파악하며, 장애를 예측하고 오류를 사전에 방지하는 방식으로 작동해 시스템의 SLA를 안정적으로 충족시키는 상황을 상상해 볼 수 있다.

구루라잔에 따르면, 넷앱은 시스템 가동 시간 극대화나 에너지 사용 최소화 같은 목표를 기준으로 보상 모델을 설정하고, 여기에 인간의 선호도, 실시간 데이터, 명령어를 결합해 AI가 스스로 행동을 최적화하고 성능을 지속적으로 향상시킬 수 있도록 지원한다.

생각의 사슬(Chain-of-Thought)처럼 인간의 사고 과정을 모방하는 추론 기법이나 작업을 단계적으로 나누고 행동 계획을 세우는 리액트(ReAct) 같은 방식은 AI가 복잡한 작업을 체계적으로 처리하도록 돕는다. 메모리 모듈은 작업의 연속성이 필요한 상황에서 문맥과 중간 결과를 저장하며, 인간 피드백을 기반으로 한 강화학습은 시스템의 출력 결과를 인간의 가치관에 맞게 미세 조정한다. 여기에 도구 통합 기능까지 더해지면, 단순한 텍스트 생을 넘어 웹 검색, API 호출 등 훨씬 복잡한 작업도 수행한다.

API 통합의 진화와 에이전틱 AI의 다음 단계

현재 에이전틱 AI 활용례 중 가장 진보된 형태는 API 통합을 통한 작업 수행이다. 에이전틱 AI에서는 API 통합을 통해 에이전트가 현실 세계와 상호작용한다. 외부 정보를 필요로 하는 작업이 발생하면 에이전트가 API 호출을 생성하고 파라미터를 구성하며, 인증 과정을 거쳐 응답을 처리한 뒤 작업을 완료하거나 후속 조치를 이어간다.

넷앱 구루라잔은 “에이전트가 데이터베이스 검색, 이메일 전송, 다른 ML 모델 실행처럼 외부 정보가 필요한 작업을 수행해야 할 때, 해당 작업과 API 문서를 이해한 기반 위에서 API 호출을 생성하게 된다”라고 설명했다.

API를 실행하려면 올바른 파라미터로 요청을 구성하고 인증 절차를 거쳐야 하며, 그에 따라 API가 데이터를 반환하거나 특정 작업을 수행한다. 에이전트는 이 응답을 처리해 작업을 마무리하거나 필요한 경우 후속 조치를 취한다.

구루라잔에 따르면, 에이전틱 AI가 더욱 성숙하기 위해서는 여전히 해결해야 할 과제가 남아 있다. 대표적으로는 API의 탐색성과 적응성의 한계, 표준화 부족이나 문서화 미비 같은 기술적인 문제다.

변화 관리(Change Management) 역시 에이전트가 적절한 API를 선택하는 데 어려움을 주는 요인이다. API 보안과 인증은 여전히 매우 중요한 요소로, 민감한 데이터를 보호하기 위해 강력한 프로토콜과 접근 제어가 필수적이다. 예를 들어, 서비스 수준 자격증명을 구현하면 에이전트의 권한을 세분화할 수 있어 읽기 전용 접근이나 특정 작업만 허용하는 등의 통제가 가능해진다.

최근에는 에이전트를 활용한 새로운 연구가 활발히 진행되고 있다. 예를 들면 목표 기반 프로그래밍(goal-based programming)을 이용해 상충하는 과제 목표를 해결하는 다목적 최적화(multi-objective optimization) 분야가 주목받고 있다. 또한 시스템 차원의 휴리스틱(heuristics)을 일반 규칙으로 정의해 핵심 원칙이나 제약 조건, 안전 기준 등을 반영할 수 있는 방식도 연구되고 있다.

휴리스틱은 에이전틱 프레임워크에 다음과 같은 방식으로 통합할 수 있다. ▲제한된 데이터를 요구하는 목표를 걸러내는 등 목표를 필터링하고 ▲목표 자체를 수정해 안전성이 효율성보다 우선하도록 하며 ▲강화학습을 통합해 목표 간의 우선순위에 가중치를 부여하는 방식이다.

향후에는 에이전트가 특정 작업을 위해 스스로 API를 생성할 수 있는 능력이 필요하다는 전망도 나온다. 현재 대부분 에이전트는 사전에 존재하는 API에 의존하고 있기 때문이다. 이에 대해 구루라잔은 “인공일반지능(Artificial General Intelligence, AGI)으로 나아가는 긍정적인 진전이 될 것”이라고 말했다.
dl-itworldkorea@foundryco.com