AI 어시스턴트와 AI 에이전트 기반 도구가 업무 현장에서 점차 존재감을 드러내고 있다. 그러나 대부분 기업은 여전히 이를 대규모로 배포하는 데 신중한 태도를 유지하고 있다. 전문가들은 기술 성숙과 함께 상황이 달라질 수 있다고 보면서도, 보안과 거버넌스, 신뢰를 둘러싼 고질적인 과제를 해결하지 못한다면 본격 확산이 쉽지 않을 것으로 전망한다.

2025년 11월 갤럽이 실시한 조사에 따르면, 미국 노동자 가운데 주간 단위로 AI 도구를 사용하는 비율은 2분기 19%에서 3분기 23%로 상승했고, 매일 사용하는 비율은 같은 기간 8%에서 10%로 소폭 늘었다. 상승하고는 있지만, 직장 내 AI 활용이 여전히 제한적이라는 점을 보여준다. 전 세계 노동자 5만 명을 대상으로 한 PwC의 조사에서도 비슷한 결과가 나왔다. 응답자의 14%만이 생성형 AI를 매일 사용하고 있었으며, AI 에이전트와 매일 상호작용한다고 답한 비율은 6%에 그쳤다.

그럼에도 불구하고 애널리스트들은 가까운 시일 내 일부 기업이 파일럿 프로젝트 단계를 넘어설 것으로 내다보고 있다. 협업 소프트웨어 애플리케이션에서의 AI 활용과 관련해 IT 리서치 기업 메트리기(Metrigy)의 수석 애널리스트 어윈 라자르는 올해 실험 중심의 접근에서 벗어나 보다 공격적으로 확산에 나설 조짐이 보인다고 진단했다.

라자르는 기업이 해당 기술을 도입하지 않을 경우 경쟁에서 뒤처질 수 있다는 우려를 점점 더 크게 느끼고 있다고 설명했다. 협업 과정을 간소화하고 시간을 절약할 수 있는 잠재력이 이런 인식을 더 강화하고 있다는 분석이다. 라자르는 “지난해에는 파일럿 프로젝트를 운영하며 어떻게 성공적으로 배포할지를 모색하는 데 초점이 맞춰졌다면, 이제는 실제 업무 환경으로의 도입이 본격적으로 확대되는 흐름을 보게 될 것”이라고 전망했다.

S&P 글로벌 마켓 인텔리전스 산하 451리서치(451 Research)의 수석 애널리스트 에선 레이는 도입 속도가 빨라지고 있다고 말했다. 451리서치 조사에 따르면, 이미 전체 기업의 절반 이상이 AI 에이전트를 실제 운영 환경에 적용했거나 테스트 단계에 두고 있다. 조직 차원에서 생성형 AI 활용을 통합하고 있다는 응답 비율도 향후 12개월 안에 27%에서 40%로 크게 늘어날 것으로 예상된다. 다만 이는 기업이 지속적으로 제기돼 온 배포 상의 난제를 극복할 수 있다는 전제하에서 가능한 시나리오다.

레이는 “진전 여부는 신뢰를 구축할 수 있느냐에 달려 있다. 경영진은 강력한 거버넌스와 가시성, 보안 통제를 요구하고 있으며, 핵심 우려는 데이터 프라이버시와 정확성, 신뢰성에 있다”라고 분석했다.

AI 어시스턴트, 업무 현장서 여전히 확산의 한계

노동자가 활용할 수 있는 다양한 AI 도구가 이미 제공되고 있음에도 불구하고, 실제 업무 현장에서의 배포는 지금까지 제한적인 수준에 머물러 있다. 마이크로소프트 365 코파일럿이 대표적인 사례다. 정식 출시된 지 2년이 지났지만, 기업들의 도입 속도는 여전히 더딘 상황이다.

가트너의 수석 디렉터 애널리스트 맥스 고스는 2025년 11월 바르셀로나에서 열린 가트너 IT 심포지엄/엑스포에서 “과도한 기대와 달리, 마이크로소프트는 코파일럿을 대규모로 배포하는 데 상당한 어려움을 겪고 있다”라고 평가했다.

고스의 발표 도중 진행된 청중 설문조사 결과를 보면, 응답자 대부분은 여전히 파일럿 배포 단계에 머물러 있거나 전체 직원의 20% 미만인 소규모 그룹에만 마이크로소프트 365 코파일럿을 적용하고 있는 것으로 나타났다. 인력 전반에 걸쳐 이를 광범위하게 도입한 기업은 극소수에 불과했으며, 이는 가트너가 관찰해 온 기업 전반의 AI 도입 양상과도 일치한다고 고스는 설명했다.

고스에 따르면, 보안과 거버넌스에 대한 우려, 그리고 AI 어시스턴트를 활용할 수 있도록 노동자를 교육해야 한다는 부담 등 여러 요인이 확산을 늦추고 있다. 투자 대비 효과(ROI)가 명확하지 않다는 점도 확대 계획에 제동을 걸고 있으며, 대규모 배포 국면에서 코파일럿 도입에 실제로 영향을 미치고 있다.

그럼에도 불구하고 마이크로소프트 365 코파일럿에 대한 기업의 관심은 여전히 높다. 이는 마이크로소프트의 마케팅 전략이 일정 부분 효과를 내고 있음을 보여주는 신호로 해석된다. 가트너 조사에 따르면, 향후 12개월 동안 IT 리더들이 AI 어시스턴트와 관련해 가장 우선적으로 고려하는 대상은 마이크로소프트 365 코파일럿이었다. 유료 버전에 대한 관심은 86%, 무료 코파일럿 챗에 대한 관심은 68%로 나타났다.

기업은 다른 AI 어시스턴트에도 관심을 보이고 있다. 가트너 자료에 따르면 IT 리더 56%는 오픈AI의 챗GPT를 직원에게 도입할 계획이라고 답했다. 구글의 제미나이, 앤트로픽의 클로드, 아마존의 Q 역시 주목받는 도구로 꼽혔다.

실제로 대부분 기업은 단일 도구가 아닌 복수의 AI 어시스턴트를 검토하고 있다. 조사 대상 조직 가운데 하나의 도구에만 집중하고 있다고 답한 비율은 8%에 불과했으며, 평균적으로 최소 3개의 엔터프라이즈 AI 어시스턴트를 사용하고 있는 것으로 나타났다. 고스는 “AI 경쟁은 여전히 한창 진행 중이며, 마이크로소프트 역시 실질적인 경쟁에 직면해 있다”라고 평가했다.

AI 도구는 성숙 단계로 접어들다

기업 고객이 신중한 태도를 유지하는 가운데, 소프트웨어 업체는 자사 제품에 AI 기능을 지속적으로 추가하고 있다. 메트리기의 라자르는 협업 소프트웨어 시장에 속한 거의 모든 업체가 현재 에이전트형 AI를 제공한다고 설명했다.

라자르는 “기존에는 필요한 기능을 직접 구축해야 하는 독립형 에이전트에서, 이제는 애플리케이션 안에 이미 포함돼 바로 사용할 수 있는 에이전트로 전환되고 있다”라고 설명했다. 여기에는 프로젝트 관리, 영업 관리, IT 서비스 데스크 지원 등 특정 업무에 맞춰 사용자가 선택할 수 있는 기성형(off-the-shelf) 에이전트도 포함된다. 고객은 에이전트를 사용하기 전에 관련 데이터에 대한 접근 권한을 부여하고 거버넌스 규칙만 설정하면 된다.

라자르는 “적어도 업체 관점에서는 에이전트 중심의 시대가 이제 본격적으로 앞으로 나아가기 시작한 모습이 뚜렷하게 나타나고 있다”라고 덧붙였다.

451리서치의 레이는 “2026년에는 업체가 단순히 어시스턴트를 추가하는 단계를 넘어, 에이전트를 신뢰할 수 있고 설명 가능하며 관리하기 쉬운 형태로 만드는 기능 개발에 집중하게 될 것”이라고 전망했다. 또한 에이전트가 맥락을 기억할 수 있도록 하는 메모리 기능, 의사결정 과정의 투명성, 안전성을 확보하기 위한 가드레일 구축 등이 주요 초점이 될 것이라고 내다봤다.

연결되기 시작하는 에이전트

에이전트의 활용도를 높일 수 있는 대표적인 변화로, AI 어시스턴트가 서로 상호작용할 수 있는 기능이 주목받고 있다.

업무가 단일 애플리케이션 안에서만 이뤄지지 않는 현실과 달리, 하나의 앱에만 묶여 있는 AI 도구는 노동자에게 오히려 불편함을 줄 수 있다. 포레스터의 수석 애널리스트 윌 맥키언-화이트는 “업무는 하나의 소프트웨어 도구 안에만 존재하지 않는다”라며 “대부분 플랫폼이 이제 멀티 업체, 멀티 에이전트 오케스트레이션의 필요성을 인식했을 것”이라고 설명했다.

이 같은 과제를 해결하기 위해 기술 기업들은 에이전트 간 소통을 단순화하는 방안을 모색하고 있다. 대표적인 예가 앤트로픽의 모델 컨텍스트 프로토콜(Model Context Protocol, MCP)과 구글의 에이전트2에이전트(Agent2Agent, A2A) 프로토콜이다.

MCP 서버는 이미 다양한 협업 및 생산성 도구에 내장돼 있다. 라자르는 “업체는 모든 것을 독점할 수 없다는 점을 인식하고 있으며, 자신이 보유한 데이터를 다른 AI와 연동하기 위해 MCP 서버를 구축하고 있다”라고 설명했다.

MCP 서버 활용은 협업 및 생산성 도구를 사용하는 방식 자체를 바꿀 수 있다. 기업이 하나의 주력 AI 모델을 선택한 뒤, 여러 출처의 데이터를 불러와 활용할 수 있게 되기 때문이다. 라자르는 “사용자가 채팅 내용을 요약하거나 회사 전반의 상황을 파악하기 위해 애플리케이션 사이를 오가야 하는 번거로움을 줄여준다”라며 “업무 흐름을 훨씬 단순하게 만들어준다”라고 설명했다.

보안과 거버넌스 과제

MCP 활용은 잠재적인 이점과 함께 새로운 보안 위험도 동반한다. 라자르는 “현장에서 가장 많이 듣는 우려는 MCP 서버의 보안 문제”라며 “MCP 서버는 기업 데이터로 들어가는 관문이기 때문에, 보급이 확대될수록 공격의 최우선 표적이 될 것”이라고 지적했다.

공격자 입장에서 MCP 서버는 데이터 유출은 물론 데이터 오염까지 노릴 수 있는 ‘표적이 풍부한 환경’에 해당한다. 라자르는 “도입에 제약이 생긴다면, 그 이유는 결국 이런 보안 우려 때문일 것”이라고 설명했다.

고스 역시 발표에서, 마이크로소프트 365 코파일럿을 도입하는 과정에서 보안과 거버넌스는 IT 의사결정권자에게 앞으로도 핵심 고려 요소로 남을 것이라고 말했다. 다만 관련 과제의 양상은 계속 변화하고 있다고 덧붙였다.

마이크로소프트 365 코파일럿이 권한이 없는 사용자에게 민감한 기업 데이터를 노출하는 이른바 ‘과잉 공유’ 문제도 여전히 주요 관리 과제로 꼽힌다. 여기에 더해, 기업이 에이전트를 도입하고 노동자들이 자체적으로 에이전트를 만들기 시작하면서 2025년에는 ‘에이전트 난립’ 문제가 새로운 이슈로 부상했다.

고스에 따르면, 2026년에는 마이크로소프트 365 환경에서 ‘멀티모델 에이전트 난립’이 또 다른 과제가 될 수 있다. 마이크로소프트가 오픈AI를 주된 파트너로 두는 구조를 넘어, 앤트로픽 등 보다 다양한 모델과 자사 AI 어시스턴트를 연결할 수 있는 선택지를 제공하고 있기 때문이다.

고스는 “마이크로소프트가 앤트로픽을 통합했을 때, 앤트로픽 모델을 자체적으로 호스팅하지 않기로 결정했다. 해당 모델은 여전히 AWS 환경에 존재한다. 마이크로소프트가 더 많은 모델을 온보딩할수록 오픈AI와 함께했던 것처럼 모든 모델을 직접 호스팅하는 일은 점점 어려워질 것”이라고 설명했다. 따라서 “이제는 마이크로소프트의 신뢰 경계 밖에 있는 에이전트와 모델, 그리고 그 안에 있는 것들을 어떻게 함께 관리할 것인지, 어떤 전략을 가져가야 할지를 고민해야 하는 시점”이라고 강조했다.

에이전트를 관리하는 대표적인 방안은 위험 수준에 따라 거버넌스 통제 강도를 달리 설정하는 적응형 거버넌스(adaptive governance) 방식이다. 이를 통해 코파일럿 스튜디오나 기타 도구를 활용해 사용자가 비교적 위험이 낮은 에이전트를 직접 만들 수 있는 자율적이고 안전한 영역을 구축할 수 있으며, 생산성을 높이면서도 조직 전체를 위험에 노출시키지 않을 수 있다.

거버넌스에 대한 우려가 AI 어시스턴트나 에이전트 도입을 미루는 이유가 돼서는 안 된다. 고스는 “거버넌스는 AI를 가능하게 하는 궁극적인 기반이지만, 이를 제대로 구축해야 하고 충분한 시간을 들여야 한다”라고 말했다. 이어 “코파일럿의 가치에 대해서는 아직 평가가 엇갈리는 부분이 있지만, 바로 지금이 기초를 다질 수 있는 가장 적절한 시점”이라며 “머지않아 대부분 기업이 코파일럿을 대규모로 배포하는 전환점이 올 것”이라고 내다봤다.

그러면서 고스는 “아직 그 단계에 도달하지는 않았기 때문에, 지금이야말로 기반을 바로잡을 좋은 기회”라고 강조했다.
dl-itworldkorea@foundryco.com