생성형 AI의 실험 단계는 끝났다. 이사회에서 일선 현장까지, 기업은 운영을 간소화하고 고객 경험을 향상시키며 혁신을 추진하기 위해 AI를 프로덕션 환경에 도입하라는 압박을 받고 있다. 그러나 AI의 도입이 증가함에 따라 AI의 평판, 법적, 재정적 위험도 증가하고 있다.

앞으로 나아갈 길은 분명하다. 결국, 좋은 거버넌스가 좋은 비즈니스가 된다. 가트너는 AI 거버넌스와 보안 도구에 투자하는 기업이 그렇지 않은 기업보다 35% 더 많은 매출 성장을 달성할 것으로 기대한다. 그러나 많은 기업 책임자는 어디서부터 시작해야 할지 확신하지 못하고 있다. AI 거버넌스는 복잡하고 진화하는 분야이며, 이를 탐색하려면 신중한 접근 방식이 필요하다. 다행히도, SaaS와 Web2의 거버넌스 여정에서 얻은 교훈은 검증된 로드맵을 제공한다.

AI 거버넌스 과제

AI 거버넌스는 단순한 기술적 장애물이 아니라 다각적인 도전 과제다. AI 시스템이 데이터와 상호작용하는 방식을 파악하는 것은 여전히 어려운 일이다. AI 시스템은 종종 블랙박스처럼 작동하기 때문에 기존의 감사 방법을 무시하기 때문이다. 관찰 가능성이나 개발 프랙티스에 대한 정기적인 검토 등 과거에 효과가 있었던 솔루션은 예측할 수 없는 행동의 위험을 완화하지도 않고, LLM에 적용될 때 데이터의 수용 가능한 사용을 입증하지도 않는다.

상황을 더욱 복잡하게 만드는 것은 AI의 급속한 발전이다. 자율 시스템이 빠르게 발전하면서 서로 통신하고, 복잡한 작업을 수행하고, 이해관계자와 직접 상호작용할 수 있는 에이전트가 등장하고 있다. 이런 자율 시스템은 흥미롭고 새로운 사용례를 소개하는 동시에 상당한 도전 과제를 야기한다. 예를 들어, 고객 환불을 자동화하는 AI 에이전트는 금융 시스템과 상호작용하고, 추세 분석을 위해 상태 코드를 기록하고, 거래의 이상 징후를 모니터링하고, 사기 또는 오용과 같은 잠재적 위험을 탐색하는 동시에 회사 및 규제 정책의 준수를 보장할 수 있다.

규제 환경도 특히 미국에서 계속해서 변화하고 있다. 최근 트럼프 행정부가 바이든의 AI 행정명령을 폐기하는 등 최근의 변화로 인해 복잡성이 더해졌다. 향후 몇 년 동안 미국의 각 주마다 새로운 법이 나올 것으로 보이며, 이로 인해 주 경계를 넘어 운영되는 기업이 단기 및 장기적으로 충족해야 하는 구체적인 지침을 예측하기가 어려워질 것이다. 최근 나온 미국의 초당파 하원 태스크포스의 AI 거버넌스에 관한 보고서와 권고안은 규제 지침의 명확성이 부족하다는 것을 여실히 드러냈다. 이런 불확실성으로 인해 기업은 EU AI 법이나 ISO 42001과 같은 글로벌 컴플라이언스 요구사항을 관리하면서 국가별 법률에 대비하기 위해 고군분투하고 있다.

또한, 비즈니스 책임자는 수많은 거버넌스 프레임워크와 접근 방식에 당황하고 있는데, 각 접근 방식은 서로 다른 과제를 해결하는 데 최적화되어 있기 때문이다. 이렇게 넘쳐나는 접근 방식은 비즈니스 책임자를 평가, 채택, 조정이라는 반복되는 주기로 몰아넣는다. 많은 기업이 반응적이고 자원 집약적인 프로세스에 의존해 비효율성을 야기하고 AI의 발전을 지연시키고 있다.

이제 이 주기를 끊을 때이다. AI 거버넌스는 책임 있는 혁신을 추진하기 위해 반응적 방식에서 능동적 방식으로 발전해야 한다.

반응적 거버넌스에서 능동적 거버넌스로

이런 임시방편적인 AI 거버넌스 접근 방식은 SaaS와 Web2의 초기 과정을 반영한다. 초기 SaaS와 Web2 업체는 거버넌스 문제가 발생했을 때 이를 해결하기 위해 사후 대응 전략에 의존하는 경우가 많았고, “관망” 전략을 채택했다. SaaS 업체는 릴리즈 승인, 접근 통제, 암호화 같은 기본 사항에 집중하는 반면, Web2 플랫폼은 사용자 개인정보보호, 콘텐츠 조정, 데이터 오용과 같은 문제에 어려움을 겪었다.

이런 반응적 접근 방식은 비용이 많이 들고 비효율적이었다. SaaS 애플리케이션은 사용자 액세스 관리와 위협 탐지를 위한 수동 프로세스로 확장되어 자원 활용에 부담을 주었다. 마찬가지로, Web2 플랫폼은 개인 정보 침해와 일관성 없는 정책 시행에 대한 반발에 직면했고, 이로 인해 신뢰가 약화되고 혁신이 저해됐다.

두 영역 모두에 전환점이 된 것은 지속적이고 자동화된 거버넌스의 도입이었다. SaaS 업체는 소프트웨어 테스트와 실시간 모니터링을 위한 도구 배포를 자동화하기 위해 CI/CD 파이프라인을 구현하여 운영 부담을 줄였다. Web2 플랫폼은 부적절한 콘텐츠를 표시하고 대규모로 사기를 감지하기 위해 머신러닝을 구현했다. 그 결과, 보안이 향상되고 혁신이 빨라졌으며 비용이 절감됐다.

AI는 지금 비슷한 교차점에 서 있다. 자율 시스템이 증가하고 데이터 세트가 늘어남에 따라 수동적이고 사후 대응적인 거버넌스 전략은 부적절하다는 것이 증명되고 있다. 이런 비효율성에 좌절하는 의사 결정권자는 SaaS와 Web2의 자동화 전환을 AI 거버넌스 혁신을 위한 청사진으로 볼 수 있다.

지속적이고 자동화된 AI 거버넌스

지속적이고 자동화된 접근 방식은 효과적인 AI 거버넌스의 핵심이다. 이런 기능을 운영에 적용할 수 있는 도구를 도입함으로써 기업은 변화하는 규정 준수 요구에 적응하면서 평판, 재무, 법적 위험을 사전에 해결할 수 있다.

예를 들어, 지속적이고 자동화된 AI 거버넌스 시스템은 데이터를 추적해 EU AI 법, ISO 42001 또는 콜로라도 AI 법과 같은 다양한 법률을 준수하도록 보장할 수 있다. 또한 수동 감독의 필요성을 줄여 기술팀이 문제 해결보다는 혁신에 집중할 수 있다.

기업이 AI를 비즈니스 운영에 점점 더 많이 통합함에 따라 효과적인 거버넌스에 대한 이해관계가 더욱 커지고 있다. 지속적이고 자동화된 모니터링에 중점을 둔 거버넌스 전략을 채택하는 기업은 경쟁 우위를 확보하고, 위험을 줄이면서 배포를 가속화할 수 있다. 그렇지 않은 기업은 SaaS와 Web2의 값비싼 실수를 반복할 위험이 있다. 즉, 규정 준수에 뒤처지고, 고객 신뢰를 잃고, 혁신을 지연시키는 것이다.

메시지는 분명하다. 거버넌스에 대한 지속적이고 자동화된 접근 방식은 그저 베스트 프랙티스가 아니라 비즈니스의 필수 요소이다.

*Greg Whalen은 Prove AI의 CTO이다.
dl-itworldkorea@foundryco.com