산업 전반에 걸쳐 CIO는 SaaS 플랫폼, 내장형 코파일럿, 서드파티 도구를 통해 생성형 AI를 기존 거버넌스 프레임워크가 감당할 수 없는 속도로 확산하고 있다. AI는 이제 고객 응대, 채용 의사결정, 재무 분석, 소프트웨어 개발, 지식 노동에 영향을 미치고 있으며, 전통적 의미의 ‘정식 배포’ 절차를 거치지 않은 채 작동하는 경우도 많다.

그 결과 신속한 AI 배포와 책임 있는 보호장치 사이 간극이 커지고 있다. 기업은 AI를 우선 도입한 뒤, 문제가 터진 다음에야 통제 수단을 뒤늦게 덧대느라 허둥대고 있다. 기업 AI의 서로 다른 압박 지점에서 일하는 실무자 5명을 인터뷰한 결과, 이 간극이 지속되는 이유와 IT 책임자가 규제기관·감사기관·고객이 문제를 제기하기 전에 간극을 해소하기 위해 해야 할 일이 드러났다.

AI가 실제 워크플로우에 들어오는 순간 거버넌스가 깨지는 이유

첫 번째 문제는 구조적이다. 거버넌스는 중앙집중적이고 느리게 움직이는 의사결정을 전제로 설계됐다. AI 도입은 중앙집중적이지도 느리지도 않다. 컨설팅 업체 데이터 스트래티지 어드바이저스(Data Strategy Advisors)의 CEO이자 리제네론 파마슈티컬스(Regeneron Pharmaceuticals) 전 최고 프라이버시 책임자 에리카 왓슨은 업종을 가리지 않고 같은 패턴이 나타나고 있다고 지적했다.

왓슨은 “기업은 여전히 의사결정이 느리고 중앙에서 움직인다는 전제하에 거버넌스를 설계한다. 하지만 AI 도입은 그런 방식으로 진행되지 않고, 사업 조직은 솔루션 업체, 코파일럿, 내장형 AI 기능을 쓰면서 매일 의사결정을 내리는데 거버넌스는 누군가가 멈춰서 양식을 작성하고 승인을 기다릴 거라고 가정한다”라고 설명했다.

이런 불일치는 거버넌스 우회를 보장한다. 선의의 팀도 거버넌스가 실제 일이 이뤄지는 지점에 나타나지 않으면 거버넌스를 피해 가게 된다. AI 기능은 학습 데이터 권리, 사후 공유, 책임 소재를 평가하기 전에 먼저 실제 활용에 들어간다.

가장 먼저 문제가 생기는 지점은 데이터 통제와 가시성이다. 직원은 민감 정보를 공개 생성형 AI 도구에 붙여 넣고, 출력물이 여러 시스템을 가로지르며 이동하는 동안 데이터 리니지가 사라진다. 왓슨은 “리더십이 상황을 알아차릴 때쯤이면 데이터는 되돌릴 수 없는 방식으로 이미 사라졌을 수 있다”라고 말했다.

대응 방안. CIO는 모델 거버넌스에서 사용 거버넌스로 전환해야 한다. 기업은 모델을 통제하지 못하더라도 모델이 어떻게 쓰이는지, 어떤 데이터를 건드리는지, 출력물이 어디로 흐르는지를 통제할 수 있다. 거버넌스는 사후 검토용 정책 문서가 아니라 워크플로우 내의 톨게이트로 내장돼야 한다.

기존 데이터 거버넌스가 생성형 AI에서 흔들리는 이유

거버넌스가 존재하더라도, 더 이상 성립하지 않는 가정 위에 구축돼 있는 경우가 많다. 에이전틱 헬스케어 플랫폼 업체 펭귄 AI(Penguin Ai)의 CEO이자 유나이티드헬스 그룹(UnitedHealth Group)과 카이저 퍼머넌테(Kaiser Permanente) 전임 최고 데이터 책임자 파와드 버트는 전통적 데이터 거버넌스 모델이 생성형 AI에 구조적으로 부적합하다고 주장했다.

버트는 “고전적 거버넌스는 기록 시스템과 알려진 분석 파이프라인을 전제로 만들어졌다”라며, “그 세계는 끝났고, 이제 시스템이 시스템을 만드는 세계에서 새로운 데이터와 새로운 출력물이 생성되며 많은 일이 즉석에서 이뤄진다”라고 설명했다. 또, 새로운 환경에서 특정 시점의 감사는 그릇된 확신을 만든다며, 출력 중심 통제는 실제 리스크가 존재하는 지점을 놓친다고 지적했다.

버트는 “피해가 발생하는 데 침해가 필요하지 않고, 보안이 적용된 시스템도 환각을 만들거나 차별하거나 드리프트가 생길 수 있다”라고 말했다. 이제 입력이 방치된 리스크 표면이 된 것이다. 입력에는 프롬프트, 정보 검색 소스, 컨텍스트, AI 에이전트가 동적으로 접근할 수 있는 도구가 포함된다.

대응 방안. 정책을 쓰기 전에 가드레일을 먼저 마련해야 한다. 고위험 입력과 에이전트의 도구 접근을 제한하고, 시스템이 실제로 어떻게 행동하는지 관찰해야 한다. 정책은 실험 뒤에 만들어야 하며, 실험 전에 정하면 틀린 가정이 규정으로 굳어버릴 위험이 크다.

솔루션 업체의 AI에서 거버넌스가 무너지는 이유

기업 내부의 AI 거버넌스가 약하면 서드파티 AI 거버넌스는 더 취약하다. 글로벌 기업을 대상으로 리스크 및 컴플라이언스 관리를 지원하는 컴플라이언스(Complyance)의 CEO 리차 카울은 기업이 직접 만드는 AI는 비교적 성숙한 거버넌스를 구현할 수 있는 반면, 솔루션 업체의 제품에 내장된 형태로 AI가 들어올 때는 준비가 훨씬 덜 됐다고 지적했다.

카울은 “현장에서 목격되는 것은 거버넌스보다 활용이 먼저인 상황”이라며, “공유된 질문 기준 없이 10~20명이 솔루션 업체를 한 곳씩 검토하는 ‘위원회식 거버넌스’가 흔하다”라고 덧붙였다. 카울은 기업이 AI 프라이버시에 대해 포괄적 질문만 던지고 안심시키는 답을 받아들이는 경우가 많다며, 이런 현상을 ‘행복한 귀’라고 표현했다.

성숙한 거버넌스는 구체적 질문에서 드러난다. 고객 데이터가 모델 학습에 쓰이는지, 고객 데이터가 여러 고객 사이에서 재사용되는지, 기업이 배포한 인터페이스를 통해 LLM에 접근하는지, 아니면 일반 사용자 인터페이스로 접근하는지 같은 질문이다. 카울은 “마이크로소프트 애저 오픈AI를 쓰는 솔루션 업체는 챗GPT를 직접 호출하는 업체보다 리스크 프로파일이 훨씬 낮다”라고 말했다.

대응 방안. CIO는 기본적이지만 쉽게 간과하는 단계부터 시작해야 한다. CIO는 솔루션 업체의 하위 처리자(subprocessor) 목록을 면밀히 검토해야 한다. 클라우드 서비스 업체는 비교적 잘 알려져 있지만 LLM 업체는 그렇지 않다. AI는 두 번째 하위 처리자 계층을 만들었고, 거버넌스는 바로 그 지점에서 무너진다.

금지 조치가 실패하고 사고가 반복되는 이유

기술적 통제만으로는 책임 있는 AI 격차를 메우지 못한다. 행동이 더 중요하다. 스킬소프트(Skillsoft)의 컴플라이언스 솔루션 수석 부사장이자 미국 연방 검사 출신 아샤 팔머는 AI 사고 이후 투입되는 경우가 많다며, 리더가 마주하는 첫 번째 불편한 진실은 결과가 예측 가능했다는 점이라고 지적했다.

팔머는 “이런 일이 일어날 수 있다는 것은 이미 알고 있다. 진짜 질문은 일이 벌어지기 전에 사람에게 그런 상황을 다룰 역량을 왜 갖추게 하지 않았느냐는 것”이라고 말했다. 팔머는 성과 압박이 근본 원인이라고 분석했다. 직원이 더 빠르게 움직이고 목표를 맞추기 위해 AI를 쓰는 방식은 뇌물부터 데이터 오남용까지 모든 컴플라이언스 실패에서 반복돼 온 패턴이라고 설명이다.

생성형 AI에 대한 전면 금지는 통하지 않는다. 팔머는 “책임 있는 사용을 금지하면, 사람은 책임 없는 방식으로 몰래, 거버넌스가 불가능한 방식으로 사용하게 된다”라고 경고했다.

대응 방안. 인식 교육에서 행동 학습으로 전환해야 한다. 팔머는 압박 상황에서 멈추고 리스크를 평가한 뒤 더 나은 행동을 선택하도록 훈련하는 시나리오 기반 연습을 ‘도덕적 근육 기억’이라고 불렀다. 규제기관과 감사기관은 실제로 직면한 리스크에 맞춰 적절한 대상이 적절한 교육을 받았다는 증거를 찾는다. 획일적 AI 리터러시는 경고 신호다.

감사기관이 들어오면 자신감만으로는 부족한 이유

마지막 간극은 조직이 거버넌스가 작동한다는 사실을 입증하라는 요구를 받을 때 드러난다. 컴플라이언스 서비스 업체 셸먼(Schellman)의 ISO 및 AI 프랙티스 책임자 대니 마님보는 같은 실패 패턴을 반복해서 본다고 말했다. 마님보는 “기업은 정책 보유를 거버넌스로 착각한다. 책임 있는 AI 원칙은 실제 의사결정에 영향을 주지 못하면 의미가 없다”라고 강조했다.

감사는 단순한 요구로 시작할 수 있다. 리스크 기반 AI 의사결정이 문서로 남아 있고 그 의사결정이 결과를 바꾼 사례를 보여 달라는 식이다. 성숙한 거버넌스는 배포 지연, 솔루션 업체 거부, 기능 제한 같은 ‘지문’을 남긴다. 미성숙한 거버넌스는 두루뭉술한 확언만 만든다.

마님보는 “가장 비싼 거버넌스 작업은 배포 이후에 하려는 작업”이라고 경고하며, 시스템이 라이브된 뒤에는 데이터 리니지, 책임 소재, 의도된 목적을 되돌리기는 극도로 어렵다고 덧붙였다.

대응 방안. AI 거버넌스를 컴플라이언스 과제가 아니라 관리 시스템으로 다뤄야 한다. ISO/IEC 42001 같은 표준은 리스크 관리, 변경 통제, 모니터링, 내부 감사를 연속 루프로 연결할 때만 작동한다. 거버넌스는 문서를 만들어낼 때가 아니라 사업 의사결정을 바꿀 때 작동한다.

책임 있는 AI 격차 해소

5건의 인터뷰 전반에서 한 가지 주제가 반복됐다. 책임 있는 AI 격차는 주로 기술 실패가 아니라 거버넌스 시기의 실패다. 기업은 어제의 시스템을 기준으로 통제를 설계하는 동안 AI는 이미 오늘의 의사결정을 좌우하고 있다.

전문가들은 CIO가 책임 있는 AI를 미래 상태 프로그램으로 규정하는 프레임을 멈추고 운영 위생 문제로 다뤄야 한다고 지적하며, 책임 있는 AI가 윤리위원회보다 신원 관리나 재무 통제에 더 가깝다고 말한다.

왓슨은 가시성이 첫 번째 비타협 단계라고 강조했다. 기업이 AI가 의사결정에 영향을 주는 지점을 열거하지 못하면, 특히 SaaS 도구를 통해 영향을 주는 지점을 파악하지 못하면 이미 노출된 상태라는 분석이다. 왓슨은 “보이지 않는 것은 거버넌스할 수 없다”라며, 많은 기업이 AI의 영향을 받는 워크플로우에 대한 기본 인벤토리조차 없다고 지적했다.

펭귄 AI의 버트는 데이터 관점에서 같은 요지를 강조하며, 인벤토리는 플랫폼에서 ‘컨텍스트 속 시스템’으로 옮겨가야 한다고 주장했다. 버트는 HR 소프트웨어에 내장된 AI 기능과 마케팅 자동화에 내장된 같은 기능은 리스크가 같지 않다며, 두 기능을 동일하게 취급하는 접근이 거버넌스 착시라고 강조했다.

카울은 외부 거버넌스도 같은 원리가 적용된다고 말했다. 기업이 데이터가 실제로 어디로 흐르는지 매핑하지 않은 채 일반적 확언을 받아들이면 솔루션 업체 AI의 거버넌스가 무너진다. 카울은 팀이 AI 하위 처리자를 추적하도록 강제하기만 해도 임원진이 수용한 줄 몰랐던 리스크가 드러난다고 말했다.

CIO가 간극을 해소하려면 다음과 같이 해야 한다.

• 거버넌스를 일이 이뤄지는 곳에, 일이 벌어지기 전에 내장해야 한다.
• 모델에서 사용 방식과 입력으로 초점을 옮겨야 한다.
• 솔루션 업체 AI를 1급 리스크 도메인으로 다뤄야 한다.
• 금지 조치 대신 행동 훈련으로 대체해야 한다.
• 의사결정이 어떻게 이뤄지는지 설명을 제공하는 거버넌스를 요구해야 한다.

이런 일을 해내는 기업은 규제 리스크를 피하는 데 그치지 않고 더 빠르게, 더 큰 자신감으로 움직일 수 있다.

팔머는 이 모든 것 아래에 깔린 인간 계층에 주목한다. 압박을 받으면 사람이 속도를 늦출 것이라고 가정하면, 거버넌스 프레임워크는 붕괴한다는 지적이다. 팔머는 “압박은 사라지지 않는다. 압박을 전제로 훈련해야 한다”라고 조언했다. 또한, 기업이 그런 준비를 하지 않으면 직원이 AI를 위험한 방식으로 즉흥적으로 쓰는 일을 놀라워할 이유가 없다고 덧붙였다.

마님보는 단호한 리트머스 테스트를 제시했다. 거버넌스가 배포를 지연시키거나 솔루션 업체가 거절하거나, 기능을 제한한 적이 없다면, 실무에서 거버넌스가 존재하지 않을 가능성이 크다. 마님보는 “거버넌스는 지문을 남겨야 한다”라며, 그렇지 않으면 거버넌스는 열망과 구분되지 않는다고 경고했다.

전문가들의 의견을 종합하면, 책임 있는 AI 격차를 해소하는 데 완벽한 예견이나 포괄적 정책은 필요하지 않다. 더 이른 개입과 더 명확한 책임성이 필요하다. AI 사용이 아직 파편화돼 있고 비공식적인 지금 실행하면, 올바른 행태를 만들 기회가 생긴다. 하지만, 늦게 움직이면 더 이상 통제할 수 없는 시스템과 더 이상 설명할 수 없는 리스크를 떠안게 된다.

그 시점부터 거버넌스는 선택지가 아니다. 거버넌스는 피해 통제가 된다.
dl-itworldkorea@foundryco.com