AI 에이전트가 시범 운영 단계를 넘어 실제 환경에 도입되면서, 이제는 에이전트 제작 플랫폼을 넘어 AI 오케스트레이션과 AI 거버넌스·리스크·컴플라이언스(GRC) 플랫폼으로 관심이 옮겨가고 있다. 자율성이 높아지면서 IT 부서와 인사 부서 중 누가 관리할지, 또 에이전트를 어떤 방식으로 대할지에 대한 고민도 커지고 있다.

AI 에이전트는 점점 더 깊게 기업 업무 프로세스에 통합되고 있으며, 장기간 유지돼 온 SaaS 모델을 잠식할 수 있다는 논의도 나온다. 기업은 개별 에이전트를 시범적으로 도입하는 수준에서 벗어나, 수백~수천 개의 에이전트를 다중 배치해 실제 업무에 활용하고 있다.

KPMG의 최근 조사(KPMG AI Quarterly Pulse Survey)에 따르면, 대부분 기업이 AI 에이전트 실험 단계를 넘어섰으며, 33%가 일부라도 에이전트를 배치했다고 응답했다. 이는 2분기 연속 11%에 머물렀던 수치에서 3배 증가한 결과다. 이에 따라 AI 에이전트를 단순 소프트웨어로 관리할지, 아니면 자율적으로 목표를 수행하는 인력처럼 대해야 할지에 대한 논의가 불거지고 있다.

예를 들어 인사 관점에서, 에이전트를 사람과 유사한 근무자로 보고 IT 부서가 아니라 인사 부서가 채용·해고를 관리하는 것이 타당할까? 역할과 책임이 겹칠 경우 이를 어떻게 조정할지, 성과 기반으로 평가·보상한다면 공로를 어떻게 인정할지, 공급업체가 프롬프트 엔지니어링을 통해 실제보다 더 많은 공로를 주장하게 만들 가능성은 없는지, 심지어 최근 한 에이전트가 회사의 전체 데이터베이스를 삭제한 사례처럼 에이전트가 통제에서 벗어났을 때 어떤 부작용이 생길지에 대한 우려도 제기된다.

IT 관점에서는 단순한 단계별 조율에서 복잡한 단계 조율, 궁극적으로는 에이전트가 외부 파트너십과 연합을 자율적으로 구성하는 수준으로 오케스트레이션이 어떻게 발전할지가 핵심이다. 마이크로소프트는 순차형, 동시형, 그룹 채팅형, 인계형, 마그네틱형 등 다양한 AI 오케스트레이션 패턴을 지원하며 큰 진전을 이루고 있다. 현재 특정 AI 업체에 대한 평가뿐만 아니라 AI 신뢰 지수가 마련돼 있지만, 개별 에이전트에 대한 신뢰 또는 위험 점수가 필요할지도 논의되고 있다. 에이전트가 특정 업무를 수행할 자격을 어떻게 판단할지, 언제 사람의 개입이 반드시 필요한지도 중요한 이슈다.

CIO와 CAIO가 이런 과제를 단순히 따라잡는 수준이 아니라 선제적으로 대응하기 위해 고려해야 할 4가지 제안은 다음과 같다.

AI 오케스트레이션과 AI 거버넌스 플랫폼의 접점을 탐색하라

현재 AI 에이전트 관리 솔루션은 AI 네이티브 플랫폼과 기존 플랫폼 모두에 걸쳐 있다. 기술적 관리뿐 아니라 윤리·법률·운영 측면까지 아우르기 위해 AI 오케스트레이션과 AI 거버넌스 플랫폼이 빠르게 융합하고 있다.

예를 들어, 서비스나우의 AI 컨트롤 타워(AI Control Tower)는 기업이 모든 AI를 엔드 투 엔드 관리할 수 있도록 지원하며, CAIO, CIO, CTO와 리스크·보안 책임자에게 역할 기반 접근 권한을 제공한다. 이를 통해 기업 전반의 이해관계자를 한자리에 모으고, 역할별 맞춤 보고서와 대시보드를 제공해 에이전트 행동에 대한 통찰을 제공한다. 오케스트레이션과 거버넌스 분야가 빠르게 진화하는 만큼, CIO와 CAIO는 지속적으로 플랫폼의 융합 방향과 자사에 적합한 방안을 검토해야 한다.

AI CoE의 범위를 확장하라

이미 전통적 AI, 머신러닝, 생성형 AI에 집중한 AI CoE(Center of Excellence)가 있다면, 아직 포함하지 않았다면 에이전트형 AI까지 범위를 넓혀야 한다. 또 사내에 글로벌 비즈니스 서비스 조직이 있다면, 인사·IT뿐 아니라 재무, 공급망 등 다양한 기능을 지원하는 GBS 내에 CoE를 두는 것도 고려할 수 있다.

핵심은 사람과 AI 모두의 오케스트레이션이다. 멀티에이전트 컨설팅 기업 매젠틱IQ의 공동 CEO 이안 바킨은 “해답은 더 많은 AI가 아니라 오케스트레이션”이라며, “AI만으로는 기업 규모에서 안전하게 운영하기 위한 판단력, 맥락 이해, 거버넌스 인식이 부족하다”라고 지적했다. 바킨은 “인간의 감독은 선택이 아니라 필수이며, 미래의 업무 환경은 AI만의 세계가 아니라 AI와 사람이 명확한 책임·보고 체계 속에서 역동적으로 협력하는 하이브리드 구조가 될 것”이라고 강조했다.

에이전트 관리 전 과정에 인사 부서를 참여시켜라

KPMG의 조사에 따르면, IT 책임자 10명 중 9명 가까이가 AI 에이전트 도입으로 기존 성과 지표를 재정의하고, 대체 가능성이 있는 직무 종사자의 재교육을 촉진할 것으로 보고 있다.

PMI의 AI 참여·커뮤니티 디렉터 캐슬린 월치는 “AI 에이전트를 소프트웨어 개발 관리 방식으로 운영한다면 이미 뒤처진 것”이라며, “앞을 내다보는 리더는 AI 에이전트를 역동적인 디지털 인재로 보고, 온보딩, 성과 평가, 윤리적·신뢰 가능한 경계 설정이 필요하다고 인식한다”고 말했다. 또, “인사 부서는 디지털 역할과 책임을 정의하는 데 반드시 관여해야 하며, CoE가 에이전트 배포·활용·실험을 이끌어야 한다. 또한 AI 거버넌스를 확립해 조직이 실험하고 타사 사례에서 배우며, AI 에이전트를 책임 있고 전략적으로 확산할 수 있도록 해야 한다”라고 강조했다.

AI 에이전트는 기존 직원 성과 지표뿐 아니라, 인간과 AI가 더 밀접하게 협업하게 될수록 에이전트 성과 지표 재정의도 필요해진다. 궁극적으로 에이전트는 인력과 마찬가지로 비즈니스에 종속돼 IT 관련 업무를 수행할 수 있으며, 플랫폼·인프라 관점에서는 IT가, 사람·프로세스 관점에서는 인사 부서가 관리하게 될 것이다.

아직 하지 않았다면, AI 에이전트 오케스트레이션과 거버넌스의 모든 과정, 즉 전략부터 CoE, 위원회 등에 인사 부서를 반드시 연결해야 한다.

거버넌스를 ‘하한 경쟁’이 아닌 ‘상한 경쟁’으로 만들어라

AI 거버넌스 부재의 잠재적 문제는 매우 명확하다. 매젠틱IQ의 이안 바킨은 “관리되지 않은 AI 에이전트는 IT, 정보보안, 데이터 보안 조직에 혼란을 초래해 기업을 평판·재무·법적 리스크에 노출시킬 것”이라며, “승인받지 않은 모든 에이전트 배포는 잠재적 정책 위반이 되고, 거버넌스 없는 모든 상호작용은 기업 윤리나 규제 기대와 어긋난 예측 불가능한 행동 위험을 초래한다. 이는 먼 미래의 위협이 아니라, AI 우선 전략을 거버넌스 없이 추진하는 기업에서 이미 현실화되고 있는 지뢰밭”이라고 경고했다.

단순히 규제 준수 차원에서 끝나서는 안 된다. EU AI 법안 같은 규제를 지키는 것을 넘어, 산업 발전에 기여하는 방향으로 나아가야 한다. 바킨은 “성공은 배포한 에이전트 수가 아니라, 처음부터 설계에 규제 준수와 통제가 녹아든 상태에서 얼마나 안전하고 효과적으로 결과를 제공하는지로 측정될 것”이라고 덧붙였다.

AI 거버넌스와 AI 안전의 책임은 지금도, 앞으로도 AI 솔루션 업체, 기업, 최종 사용자 모두에게 있다. KPMG 미국 기술 컨설팅 총괄 책임자 마커스 머프는 “에이전트 기반 기업의 토대가 지금 만들어지고 있으며, 리더가 뒤처졌다고 느낀다면 그건 사실”이라며, “진짜 위험은 너무 빨리 움직이는 것이 아니라, 실험을 변혁으로 착각하는 것”이라고 지적했다. 머프는 “승자는 파일럿 수가 많은 기업이 아니라, 지금 데이터 아키텍처 확장, 에이전트 거버넌스 모델, 인력 대비 태세에 투자하는 기업이 될 것이다. 에이전트가 모든 곳에 퍼진 후에는 신뢰, 구조, 전략을 사후에 끼워 넣기에는 이미 늦다”라고 설명했다.

지금 AI 오케스트레이션과 거버넌스에 더 많은 시간을 투자하고, AI 에이전트가 기술 플랫폼·COE·거버넌스 접근 방식에 어떤 영향을 미칠지 고민하는 기업이 향후 몇 달, 몇 년 동안 더 빠르게 확장하고 AI 성숙도를 높일 수 있다.
dl-itworldkorea@foundryco.com