AI 열풍이 또다시 익숙한 실수를 반복하고 있다. 필자가 경력 초기에 함께 일하던 위험 관리 분야 임원은 프로젝트가 충분한 감독 없이 진행돼 문제가 불거질 때마다 “맥주 마실 때는 나를 부르지도 않더니, 이제 와서 계산하라는 건가?”라고 말하곤 했다. 누군가 세부 내용을 설명하지 않으려 하면 그는 “지금 보여주는 게 괴물의 머리인지 발가락인지도 모르겠다”라고 지적했다.

2011년부터 필자는 새로운 제품, 비즈니스 서비스, 다양한 혁신이 충분한 보안과 위험 점검 없이 출시되는 모습을 꾸준히 지켜봤다. 클라우드 컴퓨팅, 빅데이터, BYOD, API, IoT, 소셜 미디어, 로우코드 등이 대표적이다. 업계는 대체로 먼저 혁신하고 거버넌스는 나중에 고민하는 흐름을 반복했다.

AI도 같은 흐름을 따르고 있다. 여러 산업의 경영진은 AI에 높은 기대를 보이고 있으며, 이전 기술이 등장했을 때와 마찬가지로 열광적인 반응을 보이고 있다. 그러나 여전히 많은 기업은 AI가 어디에 적용되고 있는지, 위험의 책임이 누구에게 있는지, 자동화된 의사결정이 비즈니스에 어떤 영향을 미칠 수 있는지 명확하게 파악하지 못하고 있다.

지난 10년간 이어진 빠른 실패(fail fast) 문화는 그 위험을 분명히 드러냈다. 사고 발생 증가, 데이터 유출, 더 큰 위험 노출이 이어진 것이다. 지금 AI에 위험 관리와 책임 체계를 내재화하지 못한다면, 기업은 과거 혁신 기술에서 경험했던 것과 동일한 문제를 다시 마주하게 수 있다.

실제 위험은 AI 사용 방식에 있다

MIT AI 위험 리포지토리(MIT AI Risk Repository)처럼 세부적인 프레임워크가 제시돼 있음에도 여전히 많은 기업이 AI 위험을 실제 비즈니스 문제와 연결하는 데 어려움을 겪는다. 모두가 새로운 활용례를 원하지만, 그에 따르는 위험이 시작되는 곳, 즉 데이터, 모델, 기계가 내리는 즉각적인 결정에서 비롯되는 위험을 추적하는 곳은 많지 않다.

사실 AI가 야기할 수 있는 위험은 먼 미래의 문제가 아니다. 이미 일상적인 운영 과정에 깊이 스며들어 있다. 이 위험은 명확한 책임 구조 없이 알고리즘이 비즈니스 성과에 영향을 미칠 때, 도구가 민감한 데이터를 수집할 때, 자동화된 시스템이 더 이상 사람이 검토하지 않는 결정을 내릴 때 발생한다.

이 같은 거버넌스 공백은 새로운 현상이 아니다. 업계는 과거 클라우드, API, IoT, 빅데이터에서도 동일한 문제를 경험했다. 해결책 역시 익숙하다. 추적하고, 평가하고, 통제하고, 모니터링하는 것이다. 그 첫 단계는 AI가 어디에 사용되고 있으며, 어떤 데이터를 다루고, 어떤 프로세스에 관여하는지를 파악하는 것이다. 가시성이 확보되면 거버넌스는 더 이상 ‘알 수 없는 위협’을 두려워하는 일이 아니라, 이미 비즈니스 안에 존재하는 요소를 체계적으로 관리하는 활동이 된다.

다음 단계는 보호 체계 구축이다. 새로운 방법을 발명하거나 지나치게 복잡한 절차를 만들 필요는 없다. 기본에 충실한 단계부터 시작하면 된다. 즉, 단순한 거버넌스 조치를 적용하고, 이후 성숙도에 맞춰 점진적으로 발전시키는 방식이다.

이미 효과가 입증된 방식을 활용하라

좋은 소식은 기업이 AI 거버넌스를 완전히 처음부터 구축할 필요가 없다는 점이다. 사이버보안, 클라우드, 프라이버시 프로그램에서는 이미 안전성과 규제 준수를 위한 지침이 마련돼 있다. 지금 필요한 것은 전통적인 통제 체계를 AI 환경에 맞게 적용하는 일이다.

• 분류와 소유권 : 모든 모델에는 명확한 소유자가 지정돼야 하며, 누가 모델을 학습시키고, 질의하고, 배포할 수 있는지 권한 범위를 제한해야 한다. 또한 모델이 규제, 운영, 수익 기여도 등 어떤 기준에서 비즈니스에 중요한 의미를 갖는지 명확히 정의해야 한다.
• 기본 보안과 필수 요건 : 접근통제, 다중요소 인증(MFA), 네트워크 분리, 감사 로그 기록은 서버나 클라우드와 마찬가지로 AI 환경에서도 필수 요소다.
• 지속적 모니터링 : 모델의 동작은 단순한 정확도를 넘어 관찰 가능성, 추적 가능성, 목적 변경에 대한 책임성을 확보해야 한다.
• 서드파티 검증 : AI 업체와의 계약에는 학습데이터 권리, 생성 콘텐츠 권리, 사고 대응 방식 등이 명확히 규정돼야 한다.
• 테스트와 검증 : 레드팀 훈련, AI 특화 침투 테스트, 시나리오 기반 모의 실험은 정례적으로 수행돼야 한다.

이런 체계는 새로운 개념이 아니다. 또 다른 형태의 기술 부채를 피하고자 하는 노력 역시 과거와 다르지 않다. 이번만큼은 보안 내재화(secure by design) 접근법이 실제로 적용될 가능성도 있다. 그리고 이런 원칙이 제대로 작동하는지는 자율형 시스템에서 검증될 전망이다.

에이전트 AI의 부상과 책임 공백

새로운 세대의 에이전트 AI 시스템은 다양한 플랫폼에서 직접적인 인간 개입 없이 작업을 수행하고 구매를 진행하며, 데이터를 조회한다. 단순한 챗봇에서 자기주도형 에이전트로의 확장은 대부분 조직이 아직 대비하지 못한 책임 공백(accountability gap)을 만들어내고 있다.

적절한 가드레일이 없다면 에이전트는 접근해서는 안 되는 시스템에 연결하거나, 기밀 데이터를 노출하고 신뢰할 수 없는 정보를 생성하며, 승인되지 않은 거래를 시작하고, 마련된 워크플로우를 무시하거나, 심지어 기업의 정책이나 윤리 기준을 위반하는 방식으로 행동할 수 있다. 에이전트 AI가 매우 빠르고 높은 자율성으로 작동하기 때문에 이런 위험은 더욱 커지며, 문제가 감지되기도 전에 심각한 사고로 이어질 수 있다.

새로운 기술을 서둘러 도입하려는 움직임 속에서 많은 기업이 에이전트를 기본적인 접근통제나 관리 체계 없이 출시하고 있다. 해결책은 이미 검증된 통제 방식에 있다. 즉, 최소권한 원칙, 업무 분리, 모니터링, 책임 체계를 적용하는 것이다.

경영진은 자사 환경에서 운영되는 모든 자율형 AI에 대해 NIST AI RMF와 같은 프레임워크가 제시하는 핵심 질문에 답할 수 있어야 한다.

• 어떤 거버넌스 프로세스(정책, 역할과 책임, 감독 체계)가 마련돼 있는가?
• 어떤 활용례와 비즈니스 목적에 적용되고 있는가?
• 문제가 발생하면 누가 책임을 지는가?
• 해당 AI가 어떤 위험을 발생시키며, 그에 대해 어떤 통제 조치가 적용되고 있는가?

비즈니스에 거버넌스를 내재화하라

효과적인 AI 거버넌스는 IT 부서만의 역할이 아니다. 사이버보안이 그렇듯, 비즈니스 전반이 공동 책임을 지는 기능이어야 한다. 선제적으로 대응하는 기업은 운영에 거버넌스를 자연스럽게 녹여내기 위해 다음과 같은 3가지 메커니즘을 도입하고 있다.

• AI 셀프 점검 프레임워크 : 각 사업부가 AI 활용례, 데이터 소스, 위험을 스스로 매핑할 수 있도록 돕는 간단한 체크리스트
• 거버넌스 위원회 운영 : 위험, 컴플라이언스, 사이버보안, 비즈니스 부문 책임자가 함께 참여하는 크로스 기능 협의체
• 기업용 AI 사용 정책 : 내부 및 외부 AI 사용을 위해 승인된 도구, 계약 기준, 최소 안전장치를 정의하는 정책

이들 요소는 관료적 절차가 아니라 지속 가능한 혁신의 기반이다. 비즈니스 조직이 스스로 현황을 관리해야 위험 관리 조직은 새로운 문제를 찾아 헤매는 데서 벗어나 검증 업무에 집중할 수 있다. 현대적 거버넌스는 도입을 방해하거나 속도를 늦추는 것이 아니라, 안전하면서도 확장 가능한 AI 활용을 가능하게 하는 역할을 해야 한다.

또 다른 부채를 만들지 마라

클라우드 도입 초기와의 유사성은 분명하다. 10년 전에는 초기 통제 체계가 부재해 노출된 데이터, 모니터링되지 않은 시스템, 막대한 수정 비용이 발생했다. AI에서도 동일한 패턴이 반복되고 있으며, 변화 속도는 더 빠르고 그 결과는 더 크게 나타나고 있다.

이제 기술 부채는 코드만의 문제가 아니다. 데이터의 신뢰성, 모델의 책임성, 브랜드 평판 보호까지 모두 포함하는 개념이 됐다.

AI 도입에 성공하는 기업은 거버넌스를 지연 요인으로 보지 않고 개발 단계부터 포함해야 하는 요소로 인식하는 곳이다. 이들은 명확한 계획을 세운 뒤 AI가 가져올 가치와 리스크를 함께 평가하며 도입을 추진한다.

이런 기업은 진정한 혁신이 단순히 더 똑똑한 시스템을 만드는 것이 아니라 처음부터 안전하고, 책임 있고, 신뢰할 수 있도록 설계하는 데서 출발한다고 이해한다. 기술 책임자와 비즈니스 책임자에게 이는 단순한 보안 요구사항이 아니라, 지속 가능한 혁신을 위한 전략이다.
dl-itworldkorea@foundryco.com