AI는 불과 2년 만에 큰 변화를 겪었다. 2023년에는 대부분 기업이 LLM(Large Language Model)을 실험적으로 도입해 사용하는 정도였다. 이들 도구는 문서 작성, 정보 조사, 지원 업무 등에 도움을 줬다. 지능적이긴 했지만, 사람의 지시 없이는 스스로 행동하지 못하는 수동적인 도구에 머물렀다.

2025년, 우리는 더 강력해진 존재인 AI 에이전트를 마주하고 있다. AI 에이전트는 단순한 대화형 도구가 아니다. 기억하고 계획하고 툴을 활용하며, 독립적으로 행동할 수 있다. 광범위한 목표만 주어져도 필요한 단계를 스스로 도출해 작업을 수행하며, 모든 단계에서 사람의 개입 없이 업무를 완수할 수 있다. 일부 에이전트는 과정 중 발생하는 문제까지 스스로 해결한다.

초기 성과

이제 AI 에이전트는 연구 단계를 넘어 실제 기업 환경에 투입되고 있다. 예를 들어, 서비스나우는 IT 요청을 처리하는 데 AI 에이전트를 활용한다. 직원이 소프트웨어 설치나 라이선스 갱신이 필요하다고 요청하면, 에이전트가 처음부터 끝까지 전 과정을 처리한다. 별도의 티켓을 발급하거나 대기할 필요도 없다.

깃허브 코파일럿(GitHub Copilot)도 대표적인 사례다. 현재 깃허브 코파일럿에는 개발자의 의도를 이해하고 적절한 툴을 선택하고 의사결정을 내리며, 반복적인 코딩 작업을 스스로 수행하는 에이전트 모드가 도입됐다. 이런 기능을 통해 개발자는 시간을 절약하고 반복 작업에서 벗어날 수 있다.

또 다른 사례는 시스코다. 시스코는 웹엑스(Webex)에 AI 에이전트를 도입해 고객 지원 업무를 고도화하고 있다. 한 에이전트는 고객과 직접 대화를 나누고, 또 다른 에이전트는 실시간 통화 중 사람 상담원을 보조한다. 세 번째 에이전트는 통화를 청취하고, 대화 요약과 감정 분석까지 자동으로 생성한다. 이처럼 여러 계층의 AI 에이전트가 유기적으로 협업해 더 빠르고 정확한 고객 응대를 지원한다.

AI 에이전트가 성공적으로 작동하는 이유는 명확하고 표준화된 절차를 따르는 작업을 수행하기 때문이다. 하지만 최근에는 훨씬 더 복잡한 문제까지 다룰 수 있도록 훈련이 확장되고 있다.

한 비즈니스 애널리스트가 지난 분기 특정 제품의 매출 하락 원인을 분석하려 한다고 가정해보자. 과거에는 사람이 데이터를 분석하고 가능성 있는 원인을 추론한 뒤, 이를 검증하고 개선 방안을 제시해야 했다. 이제는 이런 과정 대부분을 수행할 수 있도록 AI 기반 공동작업(co-pilot)이 훈련되고 있다. 이 시스템은 구조화된 데이터를 수집하고, 군집화한 뒤 다양한 가설을 테스트하고, 인사이트를 도출한다. 아직은 시험 단계지만, 가까운 미래에 에이전트가 복잡한 분석 업무까지 수행할 수 있다는 가능성을 보여준다.

더 나은 접근 방식

초기 성과에도 불구하고, 대부분 기업은 여전히 기존의 낡은 업무 방식에 AI 에이전트를 얹는 방식을 시도한다. 그러나 이 방식은 에이전트의 효과를 제한할 수밖에 없다. 진정한 성과를 얻기 위해서는 업무 자체를 재설계해야 한다. 에이전트를 업무 중심에 배치하고, 사람은 인간의 판단이 필요한 순간에만 개입하는 구조를 만드는 것이다. 이렇게 해야만 에이전트의 잠재력을 최대한 끌어낼 수 있다.

신뢰의 문제도 고려해야 한다. 에이전트가 단순히 추천만 제공할 때는 사람이 결과를 검토하면 되지만, 직접 행동에 나설 경우에는 위험이 커진다. 그렇기 때문에 안전 규칙, 테스트 시스템, 명확한 기록 체계가 매우 중요하다. 신뢰 기반을 마련하는 이런 시스템은 여전히 구축 단계다.

예상치 못한 문제는 에이전트가 작업이 끝나지 않았음에도 완료됐다고 착각하는 경우가 종종 발생한다는 점이다. 사람은 언제 업무가 끝났는지 직관적으로 알 수 있지만, 에이전트는 이를 제대로 판단하지 못하는 경우가 있다. 실제로 일부 테스트에서 다중 에이전트 시스템 실패의 30% 이상은 한 에이전트가 작업을 조기에 완료했다고 오인한 데서 비롯됐다.

에이전트를 개발할 때 개발자는 랭체인, 크루AI(CrewAI)와 같은 툴을 활용해 논리와 구조를 구성하고 있다. 하지만 이를 배포하고 운영하는 단계에서는 대부분 기업이 클라우드 플랫폼에 의존한다. 앞으로는 AWS, 구글 클라우드와 같은 플랫폼이 에이전트 개발부터 실행, 모니터링까지 아우르는 통합 솔루션을 제공할 가능성이 크다.

진정한 장벽은 기술 그 자체보다 사람의 인식에 있다. 어떤 사람은 에이전트의 능력을 과대평가하고, 누군가는 도입을 주저한다. 진실은 그 중간에 있다. 에이전트는 목표 기반의 반복 가능한 작업에 강력한 성능을 보이지만, 아직은 깊이 있는 인간의 사고를 대체할 수준은 아니다.

에이전트의 가치

그럼에도 방향성은 분명하다. 향후 2년 내에 에이전트는 고객 지원과 소프트웨어 개발 영역에서 일상적인 존재가 될 것이다. 코드 작성, 검토, 병합 과정이 더 빨라지고 이 과정을 에이전트가 더 많이, 더 적은 피드백으로 처리하게 된다. 이런 흐름이 확산하면 에이전트를 관리하는 새로운 역할이 생길 수도 있다. 에이전트의 활용 현황을 모니터링하고, 에이전트가 규정을 준수하는지 점검하며, 실제 창출된 가치를 측정하는 역할이다. 이런 역할은 향후 데이터 책임자(Data Officer)처럼 기업 내에서 보편적인 직무가 될 수 있다.

AI 에이전트를 둘러싼 기대는 소란스럽지만 실제 변화는 조용히 진행되고 있다. 에이전트가 세상을 지배하는 것은 아니다. 단지 업무의 일부를 대신 수행하고 있을 뿐이다. 이런 변화는 업무 방식을 조금씩, 그러나 분명하게 바꾸고 있다.

*Aravind Chandramouli는 Tredence의 AI 엑설런트 센터 책임자다.
dl-itworldkorea@foundryco.com