AI 개발 속도가 빨라지고 AI가 스스로를 구축할 수 있다는 가능성이 부상하면서, 기업에서는 다시금 정렬 문제가 화두로 떠오르고 있다. AI가 인류의 이익이 아닌 AI 자신의 이익을 위해 작동하는 사태를 막는 것이 핵심 과제다.

앤트로픽 수석 연구원들은 “AI가 스스로를 구축할 때(When AI builds itself)”라는 제목의 신규 블로그 게시물에서, AI가 인간의 효과적인 감독 속도를 초과하는 속도로 자체 성능을 개선할 수 있는 시스템으로 이어질 수 있다고 경고했다. AI 시스템이 인간의 목표를 안정적으로 추구하도록 보장하는 업계의 오래된 과제인 ‘정렬 문제’가 다시 부각되고 있다는 지적이다.

앤트로픽 인스티튜트 리드 마리나 파바로와 앤트로픽 공동 창업자 잭 클라크는 세 가지 미래 시나리오를 제시했다. AI 역량 성장이 둔화되는 시나리오, AI 효율성 향상이 계속되지만 소프트웨어 개발의 다른 영역에서 병목 현상이 나타나는 시나리오, 그리고 AI 시스템이 완전한 재귀적 자기개선 능력을 갖춰 스스로 후속 모델을 구축하는 시나리오다. 파바로와 클라크는 세 번째 시나리오야말로 사회가 AI 개발에 제동을 걸 준비를 해야 한다고 주장하는 근거라고 밝혔다.

파바로와 클라크는 “이 미래에서 정렬 문제가 해결될지 여부는 우리가 가장 확신하기 어려운 부분”이라고 밝혔다. 고도화된 자기개선 모델이 인간의 필요와 요구를 따를 수 있는 반면, 오늘날 모델에 존재하는 극소수의 정렬 실패 사례가 모델이 후속 모델을 구축하는 과정에서 복합적으로 증폭돼 점점 빈번해지지만 점점 덜 이해되다가 결국 통제력을 잃게 될 수 있다고도 경고했다. “우리가 실제로 어느 추세선에 있는지 파악하는 데 필요한 도구를 구축·통합·검증하지 못할 가능성도 있다”는 것이 두 사람의 설명이다.

앤트로픽의 경고는 미래 AI 개발을 중심으로 구성돼 있지만, 자율 AI 에이전트가 질문에 답하는 단계를 넘어 행동을 취하는 단계로 이동하면서 기업이 이미 직면하기 시작한 거버넌스 문제를 부각시킨다고 애널리스트들은 말했다.

가트너의 수석 프린시플 애널리스트 아시시 바네르지는 “문제는 더 이상 AI가 올바른 답을 내놓느냐가 아니라, 자율 시스템이 올바른 시점에 올바른 권한 범위 안에서 올바른 행동을 취하느냐”라고 말했다.

모델 거버넌스에서 에이전트 거버넌스로

경고는 에이전틱 AI에 대한 기업 투자가 증가하는 가운데 나왔다.

가트너는 2028년까지 일상적인 업무 의사결정의 15%가 에이전틱 AI를 통해 자율적으로 이루어지고, 기업용 소프트웨어 애플리케이션의 3분의 1이 에이전틱 AI 기능을 탑재할 것으로 예측했다. 또한 거버넌스의 허점이 이미 드러나고 있다고 경고하며, 2027년까지 기업의 40%가 프로덕션 환경에서 거버넌스 실패가 명백해진 후 자율 AI 에이전트를 강등하거나 폐기할 것으로 내다봤다.

바네르지는 많은 기업이 AI 에이전트를 고급 생산성 도구로 여기는 접근 방식을 고수하고 있지만, 실제로는 위임된 권한을 갖고 작동하는 디지털 직원에 점점 가까워지고 있다며 “CIO는 AI 에이전트를 더 똑똑한 챗봇으로 취급하는 방식에서 벗어나야 한다”라며 “AI 에이전트는 위임된 권한을 가진 디지털 직원으로 진화하고 있으며, 생산성 도구가 아닌 권한 사용자처럼 관리해야 한다”라고 말했다.

바네르지는 에이전트가 리서치 수행, 코드 작성, 도구 호출, 워크플로 트리거, 권고안 생성 능력을 갖추면서 기업은 무단 행동, 책임 공백, 데이터 노출, 도구 오용, 감사 추적 부족 등 새로운 위험에 직면한다고 말했다. 또한 “인간이 루프를 따라가지 못한다면 휴먼 인 더 루프는 전략이 될 수 없다”라고 조언했다.

포레스터의 부사장 겸 프린시플 애널리스트 찰리 다이는 앤트로픽의 우려가 AI 시스템의 자율성이 높아지면서 기업이 이미 직면한 과제를 반영한다고 말했다. 다이는 “정렬은 이제 운영상의 문제가 됐다”며 “단순히 모델 정확도의 문제가 아니라, 에이전트가 정책 범위 안에서 일관되게 행동하도록 보장하는 문제”라고 말했다.

다이는 현재 거버넌스 접근 방식이 주로 모델과 데이터에 집중돼 있지만, 점점 자율화되는 에이전트는 런타임 동작, 권한, 도구 사용, 의사결정 경계에 대한 감독을 필요로 한다고 주장했다.

에이전트 감독에 대한 우려는 AI 업체와 업계 애널리스트에 국한되지 않는다.

AI 정책·전략 연구소(Institute for AI Policy and Strategy)의 연구원들은 ‘AI 에이전트 거버넌스: 현장 가이드(AI Agent Governance: A Field Guide)’에서 “사회는 이 발전에 대해 크게 준비가 되어 있지 않다”라고 경고하며, 에이전트 거버넌스 문제 탐구와 관련 개입 수단 개발이 아직 초기 단계에 머물러 있다고 밝혔다. 논문은 자율 AI 에이전트의 발전 속도가 이를 감독하는 데 필요한 거버넌스 메커니즘을 앞지르고 있다고 주장했다.

두 애널리스트 모두 생성형 AI 모델을 위해 설계된 거버넌스 프레임워크가 점점 자율화되는 시스템에는 불충분할 수 있다고 주장했다. 다이는 에이전트의 역량이 높아질수록 기업은 런타임 동작, 권한, 도구 사용, 의사결정 경계에 대한 더 강력한 감독이 필요하다고 말했다.

앤트로픽이 우려하는 이유

앤트로픽 연구원들은 AI 시스템이 AI 연구개발 과정 자체에 점점 더 깊이 관여하게 될 경우 이런 거버넌스 문제가 훨씬 더 어려워질 수 있다고 주장했다.

파바로와 클라크는 완전한 자율적 재귀적 자기개선이 불가피하다고 단정하지 않았다. 다만 그 가능성이 개발자, 정책 입안자, 기타 이해관계자 사이에서 준비와 논의를 정당화한다고 주장했다. 또한 역량이 안전 장치보다 빠르게 발전하기 시작할 경우 업계는 결국 개발 속도를 늦출 메커니즘이 필요할 수 있다고 제안하면서도, 그러한 조치 자체에도 위험이 수반된다는 점을 인정했다.

파바로와 클라크는 블로그 게시물에서 “하지만 속도 저하가 단순히 가장 신중하지 않은 행위자들이 기술적으로 따라잡는 기회를 줄 뿐이라면, 결국 모든 이의 안전을 더 떨어뜨릴 수 있다”라고 밝혔다.

포레스터의 다이는 기업에 대한 실질적인 시사점으로, 거버넌스가 더 이상 주로 인간의 검토에 의존할 수 없다고 말했다.

다이는 “감독은 수동적인 방식이 아닌 아키텍처 차원의 문제가 되고 있다”라고 말했다. 에이전틱 시스템을 설계하는 초기 단계부터 제한된 자율성, 내장된 가드레일, 검증 가능한 실행 메커니즘, 폴백 통제 장치를 갖춰야 할 필요성이 점차 커지고 있다는 것이 다이의 설명이다.
dl-itworldkorea@foundryco.com