생성형 AI가 AI 모델에 질문을 보내고 답을 받는 것이 전부였던 예전의 단순한 시절을 기억하는가? 질문에 대한 컨텍스트를 제공하고 안전과 보안을 위한 가드레일을 추가하기 위해 벡터 데이터베이스를 추가할 수도 있다. 당시에는 어렵게 들렸지만, 돌이켜 보면 아주 쉬운 일이었다.

현재 가장 관심을 모으는 기술은 에이전틱 AI 시스템이다. 채팅봇, 벡터 데이터베이스, 안전 장치가 아닌, 다양한 규모와 유형의 데이터, 모든 위치에서 실행되는 모델, 그리고 인간과 LLM 사이의 단순한 프롬프트-응답 상호작용 대신, 복잡하고 동적으로 진화하는 논리적 워크플로우로 연결된 에이전트 군단이 존재한다. 경우에 따라 확률적 워크플로우라고도 한다.

데이터와 에이전트를 연결하는 새로운 프로토콜, 에이전트 간 연결을 위한 새로운 프로토콜, 모든 것을 연결하는 오케스트레이션 프레임워크가 등장했다. 이 모든 복잡성 때문에 기업이 에이전틱 AI를 채택하는 속도가 느릴 것으로 생각할 수 있지만, 매우 잘못된 생각이다.

4월 중순에 발표된 클라우데라의 설문조사 결과에 따르면, 응답자의 57%는 이미 AI 에이전트를 구현했다고 답했으며, 96%는 향후 12개월 내에 AI 에이전트의 사용을 확대할 계획이라고 답했다. 설문조사는 14개국 1,500명의 기업 IT 책임자가 참여했다.

다른 설문조사에서도 비슷한 결과가 나왔다. 2월에 발표된 스냅로직(SnapLogic)의 설문조사에 따르면, 50%가 AI 에이전트를 사용하고 있다. 또한, 응답자의 92%는 AI 에이전트가 향후 12~18개월 내에 의미 있는 비즈니스 성과를 달성할 것이라고 확신하고 있으며, 79%는 내년에 AI 에이전트에 100만 달러 이상을 투자할 계획이라고 밝혔다.

가트너에 따르면, 에이전트형 AI는 2025년의 최고 전략 기술이다. 2029년까지 일반적인 고객 서비스 문제의 80%는 사람의 개입 없이 자율적으로 해결될 것이다. 또한, 2028년까지 엔터프라이즈 소프트웨어 애플리케이션의 33%에 에이전트형 AI가 포함될 것이며, 모든 일상 업무 결정의 15%가 자율적으로 이루어질 것으로 예측한다.

가트너 애널리스트 시드 나그는 “분명 마케팅 과대광고에 그치지 않는다. 많은 환경에서 여러 작업을 자동화하는 데 매우 중요한 요소가 될 것”이라고 말했다.

현재 마케팅 부서에서는 ‘에이전트 워싱’ 현상이 일어나고 있다. 지난 3년간 IT 솔루션 업체가 모든 애플리케이션에 ‘AI’ 라벨을 붙인 것처럼, 이제 채팅봇이 포함된 모든 것이 에이전트로 분류되고 있다. 그러나 일반적으로 IT 책임자들이 AI 에이전트와 챗봇을 구별하는 기준은 에이전트가 자율적인 행동을 취할 수 있다는 점이다.

더 이상 질문에 답하는 데 국한되지 않는 AI 에이전트는 사용자를 대신해 작업을 수행할 수 있으며, 때로는 다른 에이전트 및 시스템과의 광범위한 상호 작용이 필요한 매우 복잡한 작업도 수행할 수 있다. 오늘날 기업이 AI 에이전트를 활용하는 방법을 하나씩 살펴보자.

에이전트형 AI를 활용한 소프트웨어 엔지니어링

소프트웨어 개발은 생성형 AI의 획기적인 사용례 중 하나이며, 에이전트형 시스템의 주요 사용례이기도 하다. 브라질, 독일, 인도, 미국에 있는 2,000명의 개발자를 대상으로 한 깃허브 설문조사에 따르면, 2024년 중반까지 97%가 AI 코딩 도구를 사용할 것으로 나타났다. 해커랭크(HackerRank)가 102개국 1만 3,000명 이상의 개발자를 대상으로 실시한 설문조사에 따르면, AI는 현재 전체 코드의 평균 29%를 생성하고 있다.

우선, 모델을 훈련시킬 수 있는 공개 코드베이스가 풍부하다. 또한 대형 기업은 자체 코드 저장소를 보유하고 있으며, 여기에는 변경 로그, 버그 수정 사항 등 AI 시스템을 기업 내 코딩 방법에 맞게 훈련하거나 미세 조정하는 데 활용할 수 있는 상세한 정보가 포함되어 있다.

AI 모델 컨텍스트 창이 커짐에 따라 이런 도구는 한 번에 더 많은 코드를 검토해 문제를 식별하거나 수정 사항을 제안할 수 있다. 개발자는 에이전틱 AI를 채택함에 따라 AI 코딩 도구의 유용성은 점점 더 높아지고 있다. 가트너에 따르면, AI 에이전트를 통해 개발자는 더 많은 작업을 완전히 자동화하고 업무 부담을 덜 수 있어 소프트웨어 개발 방식이 변화할 것이며, 이런 변화로 인해 2027년까지 엔지니어링 인력의 80%가 기술 역량을 업그레이드해야 할 것이라고 전망했다.

오늘날, 통합 개발 환경에 내장된 인기 있는 에이전틱 AI 시스템과 코딩 어시스턴트가 여럿 있으며, AI에 초점을 두고 시장에 진출하려는 스타트업도 적지 않다. 오늘날 가장 인기 있는 에이전트 코딩 플랫폼으로는 코그니션 랩(Cognition Labs)의 데빈(Devin), 커서(Cursor), 윈드서프(Windsurf) 등이 있으며, 또한 무료 오픈소스 옵션인 클라인(Cline)도 있다. 오픈AI도 에이전트 소프트웨어 엔지니어를 의미하는 A-SWE라는 자체 에이전트 소프트웨어 엔지니어 플랫폼을 곧 출시할 예정이다.

기존 업체들도 이 분야에 진출하고 있다. 깃허브 코파일럿은 2월에 에이전트 모드를 발표했다. 아마존은 3월에 Q디벨로퍼 플랫폼을 위한 개선된 CLI 에이전트를 발표했다. 4월에는 VS 코드가 에이전트 모드를 출시했으며, 구글도 에이전틱 AI 개발 플랫폼인 파이어베이스 스튜디오(Firebase Studio)를 발표했다.

에이전틱 AI 코드 개발 플랫폼은 챗봇 기반 코드 어시스턴트에서 크게 발전한 기술이다. 챗봇을 사용하면 개발자가 질문을 하고 코드 스니펫을 얻는다. 하지만 에이전틱 AI 플랫폼은 전체 프로젝트를 계획하고, 구성 요소를 작성하고, 테스트를 만들고, 코드가 작동하는지 확인할 수 있으며, 모든 프로젝트 목표가 달성될 때까지 이 과정을 반복할 수 있다.

사이버보안 전문업체 어브노멀 AI(Abnormal AI)의 머신러닝 책임자 댄 시블러는 현재 자사 직원 350명 중 절반 이상, 최대 3/4가 이런 도구를 사용하고 있다고 밝혔다. 시블러는 “우리는 엔지니어의 효율성을 높이기 위해 상당한 투자를 하고 있다”라고 말한다. 어브노멀 AI는 현재 커서를 사용하고 있으며, 다른 플랫폼도 실험 중이다.

모든 사용례에 완전한 에이전트 시스템이 필요한 것은 아니다. 예를 들어, 어브노멀 AI는 아키텍처 및 설계에 챗GPT와 추론 모델을 사용한다. 그러나 소프트웨어 개발의 경우, 챗GPT나 클로드를 사용하고 코드를 복사해 붙여 넣는 것은 비효율적인 방법이다.

시블러는 “다음 단계는 커서 유형의 인터페이스다. 여기서 사용자는 작업 내용을 입력하는 상자가 있고, 에이전트는 코드의 맥락을 이해하고 사용자의 지시에 따라 변경을 가할 수 있으며, 사용자는 이를 검토할 수 있다”고 설명했다.

그러나 가장 발전된 환경은 인간이 코드에 전혀 손을 대지 않고 전체 애플리케이션을 생성할 수 있는 코딩 시스템이다. API를 사용하고 인프라를 프로비저닝할 수 있으며, 어브노멀은 이미 여러 분야에서 이런 도구를 사용하고 있다. 시블러는 “볼트, v0, 러버블(Lovable)은 이 범주에 속하는 세 가지 도구다”라며, ”개인적으로 러버블을 좋아하지만, 인터페이스 디자인에 v0을 사용하면 많은 사용자 워크플로우에서 피그마(Figma)를 대체할 수 있어 큰 성공을 거뒀다”라고 밝혔다.

톰슨 로이터의 제품 부사장 겸 세무, 회계 및 감사 부문의 공동 고문인 케빈 멀리니는 기술 개발을 진지하게 고려하는 모든 기업은 에이전트형 AI 소프트웨어 개발 도구를 사용해야 한다며, “그렇지 않은 기업이 있다면, 왜 그렇게 하지 않는지 모르겠다”라고 지적했다.

톰슨 로이터의 소프트웨어 엔지니어는 다양한 AI 기반 코딩 도구를 사용한다. 멀리니는 “멀티 모델 접근 방식을 취하고 있으므로 특정 업체에 묶여 있지 않다”라며, “그리고 전반적으로 여러 업체의 제품을 사용하는 멀티벤더 접근 방식을 취하고 있다”라고 말했다.

또, 유연성을 확보하면 기업이 현재 진행되고 있는 혁신의 물결을 탈 수 있다며, ”모두가 다각적인 전략을 채택하고, 제품을 탐색하며, 스스로 이해하려고 노력해야 한다”고 덧붙였다.

연구 및 문서 분석용 AI 에이전트

톰슨 로이터는 소프트웨어 개발 및 연구와 같은 업무에 에이전트형 AI를 내부적으로 사용하는 것뿐만 아니라, 고객에게 제공하는 제품에도 에이전트를 구축하고 있다. 특히, 법률, 세무, 감사 및 회계 전문가를 위한 생성형 AI 어시스턴트인 코카운셀(CoCounsel)을 개발했다. 현재 24만 명 이상의 고객이 코카운셀을 사용하고 있으며, 법률 연구 및 문서 분석 기능을 가장 많이 사용되고 있다.

멀리니는 “에이전트 기술은 고객에게 가치를 제공하는 방식을 혁신적으로 변화시키고 있다“라며, ”이를 새로운 소프트웨어 카테고리로 보고 있다. 이는 단순한 채팅봇 인터페이스로 달성할 수 있는 범위를 훨씬 넘어선다”라고 평가했다.

또한, “RAG를 사용한 기본 채팅봇과 하나의 파일 폴더로 구성된 시스템은 질문을 받고 답변을 제공하는 수준이다”라며, “자율성은 거의 없다. 하지만 수십 개의 서로 다른 리포지토리가 있다면 어떻게 될까? 어떤 리포지토리에 액세스해야 할지 어떻게 알 수 있을까? 여러 도구와 기능을 보유하고 있고, 일부 시스템에서 작업을 수행하고, API에서 데이터를 가져오는 경우에는 어떻게 될까?”라고 반문했다.

연구와 같은 간단한 작업도 에이전트 접근 방식의 이점을 누릴 수 있다. 멀리니는 “표면적으로는 간단해 보인다. 하지만 여러 단계가 필요한 질문이 있고, 그 답이 한 곳에만 있는 것이 아닌 경우에는 어떻게 될까?”라고 덧붙였다.

멀리니는 AI 기술이 현재 피드백 루프에 있다며, “이런 모든 구성 요소가 통합되어 시스템에 더 많은 기능과 사용할 수 있는 도구를 제공하고 있다. 이는 더 많은 사용례를 열어주고 있다. 그리고 이것이 바로 우리가 향하고 있는 방향이다”라고 강조했다.

고객 서비스를 위한 에이전틱 AI

고객 지원 챗봇은 간단한 질문에 답할 수 있다. 하지만 AI 에이전트는 더 복잡한 과제를 해결할 수 있으며, 문제를 해결하기 위해 직접 행동할 수도 있다. 물론, 여기에는 많은 위험이 따른다. 챗봇이 고객에게 잘못된 정보를 제공하거나 회사가 제공할 수 없는 할인을 약속한다면, 대형 사고가 될 것이다. 하지만 AI가 자율적으로 행동해 주문을 하거나 취소하거나 할인 및 환불을 할 수 있다면 어떻게 될까?

이것이 바로 보쉬 파워 툴즈(Bosch Power Tools)가 초기 배포에 에이전틱 AI를 인간 에이전트를 지원하는 데 사용하고, 안전 예방 조치로 인간이 프로세스에 계속 개입되어 있는 이유다. 최종 고객은 새로운 에이전틱 AI 시스템에 직접 노출되지 않는다. 보쉬의 생성형 AI 프로젝트 책임자 빅터 응우옌은 ”인간 에이전트를 지원하는 자율적인 AI 에이전트를 구현할 것”이라고 밝혔다.

보쉬는 여러 백엔드 AI 모델과의 통합을 지원하는 AI 플랫폼으로 Cognigy.AI를 사용하고 있다. 응우옌은 “현재 보쉬는 GPT 4.0과 구글 제미나이를 사용하고 있다”라며, “우리는 매우 유연하다”라고 강조했다. 또한 AI 플랫폼은 보쉬의 CRM 시스템 및 티켓팅 시스템과도 통합되어 있다. 응우옌은 “이 플랫폼을 번역 서비스와도 통합해 이메일 텍스트나 문서 첨부 파일을 번역할 수 있다”라고 덧붙였다.

이 시스템은 현재 두 번째 시범 운영 단계에 있으며, 5월부터 실제 사례에 대해 실제 상담원이 사용할 예정이다. 그리고 6월에는 보쉬의 23개 고객 서비스 센터 중 첫 번째 고객 서비스 센터에 배포될 예정이다.

최종 목표는 이 플랫폼을 회사 전체에서 널리 사용하는 것이다. 응우옌은 “보쉬는 매우 큰 회사이며 파워 툴스는 단지 한 부서일 뿐이다”라며, “다른 보쉬 그룹과 협력해 확장 가능한 솔루션으로 만들 것이다. 중앙 IT 부서와 긴밀히 협력해 글로벌 확장성을 확보하기 위해 노력하고 있다”라고 밝혔다.

가장 큰 도전 과제는 에이전트 기술이 아니라 회사 전체에 걸쳐 표준화된 프로세스가 없다는 것이다. 응우옌은 “예를 들어, 독일의 주문 변경 프로세스는 라틴 아메리카의 방식과 다를 수 있다. 에서 하는 방식과 다를 수 있다. 또한 다른 시스템이 사용되고 있다. 화면을 검토하고 가능한 한 표준화했지만, 국가별 특성 중 일부는 항상 남아 있을 것이다”이라고 설명했다.

응우옌은 고객 서비스에 에이전틱 AI를 도입하려는 기업이라면, 데이터와 시스템을 가능한 한 빨리 표준화할 것을 권장한다. “대부분 기업은 AI가 모든 문제의 해결책이라고 생각한다. 하지만 그렇지 않다. 가장 먼저 해야 할 일은 양질의 데이터를 확보하고, 그 데이터를 유지 관리하는 것이다. 데이터를 어딘가에 업로드하는 것은 일회성 작업이 아니다”라고 지적했다.

문서 처리를 위한 AI 에이전트

기업은 수년 동안 채팅봇을 사용해 문서를 처리해 왔다. 생성형 AI는 요약이나 특정 정보 추출에 능숙하다. 그러나 에이전틱 AI를 사용하면 문서 중심의 전체 워크플로우를 자동화할 수 있다.

마케팅 회사인 루트 쓰리 디지털(Route Three Digital)은 최근 구글의 버텍스 플랫폼과 제미나이 생성형 AI 모델을 사용해 고객사를 위한 AI 에이전트를 구축했다. 이 에이전트는 고객사가 문서를 수집하고 정보를 수집해 제안서를 작성하는 데 7일이 걸리던 프로세스를 자동화한다.

루트 쓰리 디지털의 최고 마케팅 및 운영 책임자 샤밀라 싱은 “모든 중요한 정보를 하나의 마스터 문서로 캡처하기 위해 코드를 작성하고 스크립트를 작성한 다음 제미나이를 사용해 텍스트를 정리하고 읽기 쉽게 만들었다”라고 설명했다. 아직 완벽하지는 않다. 최종 문서를 검토하고 필요에 따라 조정하는 인간이 여전히 필요하다. 하지만 지난해 이 도구가 출시되자 고객사는 여러 날이 걸리던 워크플로우를 몇 시간으로 단축하는 효과를 봤다.

다음 단계는 모든 작업을 수행하는 AI 에이전트를 개발하는 것이다. 싱은 “목표는 인간을 빼는 것이다”라고 말했다. 싱은 마케팅은 에이전트 시스템에 대한 사용례 중 상대적으로 위험이 낮은 분야라며, “회사에 큰 타격을 주지 않을 것”이라고 말했다.

마케팅에서 AI의 다른 사용례로는 검색엔진 마케팅과 온라인 광고가 있다. 싱은 “새로운 방법론을 따라가지 못하면 시장 점유율을 잃을 수 있다”라고 덧붙였다.

에이전트의 민주화

구글의 버텍스 AI는 AI 에이전트를 보다 쉽게 구축하고 배포하기 위해 노력하는 수많은 AI 에이전트 구축 플랫폼 중 하나에 불과하다. 4월, 구글은 또한 12월에 출시한 에이전트스페이스(Agentspace) 플랫폼에 코딩이 필요 없는 에이전트 디자이너와 심층 연구 및 아이디어 생성 같은 작업을 위한 사전 구축된 에이전트를 추가했다.

구글은 또한 에이전트 마켓플레이스를 출시하고 협력업체에 개방했다. 현재, 딜로이트, VM웨어, 앰독스(Amdocs), 팔로알토(Palo Alto), 와이프로(Wipro) 등 여러 업체가 138개의 에이전트를 플랫폼에 등록했다.

그러나 구글의 목표는 마이크로소프트의 코파일럿 스튜디오라는 거대한 경쟁자를 따라잡는 것이다. 마이크로소프트의 비즈니스 및 산업 코파일럿 부사장인 찰스 라마나는 3월 업데이트에서 이미 16만 이상의 기업이 에이전트를 구축하는 데 이 플랫폼을 사용했다고 밝혔다. 또 지난 분기에만 40만 개 이상의 맞춤형 AI 에이전트가 생성됐다고 덧붙였다.

이외에도 AWS 베드록 에이전트, 세일즈포스, 서비스나우, 워크데이, SAP 등 많은 IT 솔루션 업체가 AI 에이전트를 제공한다.

또한 AI 모델 제작사는 에이전트 기능을 핵심 제품에 통합하기 시작했다. 예를 들어, 오픈AI는 최근 에이전틱 AI 기능과 도구 사용이 내장된 두 가지 새로운 추론 모델을 발표했다. 앞으로 기업은 서드파티 에이전트나 에이전트 플랫폼이 필요하지 않을 수도 있다.

그러나 에이전틱 AI 기술은 아직 초기 단계이다. 가트너는 시드 나그는 “이 때문에 기업이 에이전틱 AI 기술에 대해 현장 피드백을 제공하기에는 너무 이르다”라며, “아직 상용화될 준비가 된 것은 아니라고 생각하며, 상용화될 준비가 되어 있다 해도 기업이 대규모로 채택할 만한 것은 아니다”라고 평가했다.

에이전틱 AI 기술에 대한 대한 건강한 회의론이 여전히 존재한다. 나그는 “시간이 지나면서 이 회의론은 완화될 것이며, IT 운영, 조달, 구매, 재무 등 다양한 분야에서 점차 확산될 것이다. “아직 그 단계에는 이르지 않았다. 하지만 조금씩 현실로 다가오고 있다”라고 덧붙였다.
dl-itworldkorea@foundryco.com