생성형 AI의 인기는 기업이 탐색해야 할 까다로운 지형을 만들어 냈다. 한편으로는 비용을 절감하고 수익을 증가시킬 잠재력을 지닌 혁신적인 기술이 존재하는 반면, AI의 오용은 전체 산업을 뒤흔들고, 홍보 재앙, 고객 및 직원 불만족, 보안 침해를 초래할 수 있다. 실패한 AI 프로젝트에 낭비되는 많은 돈은 말할 것도 없다.

AI 투자에 대한 기업 수익률을 두고 전문가의 의견도 분분하다. 설문조사에 따르면 생성형 AI의 도입이 비즈니스 사용례에서 증가하고 있으며, 파일럿 단계에서 생산 단계로 넘어가는 프로젝트가 꾸준히 늘고 있다. 3월 말 발표된 지스케일러의 AI 보안 보고서에 따르면, 기업에서의 AI 활동이 3,464% 증가했다.

그러나 생성형 AI의 잠재력에 대한 인식과 마찬가지로 위험성에 대한 인식도 함께 높아지고 있다. 예를 들어, 지스케일러에 따르면, 기업은 현재 모든 AI 거래의 60%를 차단하고 있으며, 그중 챗GPT가 가장 자주 차단되는 개별 애플리케이션이라고 한다. 이유는 무엇일까? 지스케일러 보고서에 따르면, 챗GPT에만 사용자가 민감한 데이터를 업로드하려는 시도가 약 300만 건에 달했다고 한다.

신중하게 고안된 AI 사용 정책은 기업이 위험과 안전에 대한 기준을 설정하고, 고객, 직원, 일반 대중을 보호하며, 기업이 가장 유망한 AI 사용례에 집중할 수 있도록 도와준다. 경영 컨설팅 업체 아레트(AArete)의 기술 서비스 그룹 전무 이사 브루구 팬지는 “책임감 있게 AI를 수용하지 않는 것은 실제로 시장에서 경쟁력을 발휘할 수 있는 이점을 없애는 것”이라고 말했다.

고용 및 노동법 전문 업체 리틀러(Littler)가 300명 이상의 최고 경영진을 대상으로 실시한 설문 조사에 따르면, 2024년 9월 현재 42%의 기업이 AI 정책을 시행하고 있다. 1년 전의 10%보다 증가한 수치이다. 또 다른 25%의 기업은 현재 AI 정책을 마련하는 중이고, 19%는 AI 정책을 고려하고 있다.

아직도 AI 정책에 대해 고민하거나 기존 정책을 갱신해야 한다면, 정책에 포함되어야 할 10가지 핵심 영역을 살펴보자.

AI의 명확한 정의

AI는 사람마다 다른 의미를 지닌다. 검색 엔진에는 AI가 탑재되어 있다. 문법 검사기와 포토샵도 마찬가지다. 거의 모든 기업 업체가 플랫폼에 AI 기능을 추가하는 데 분주한 상황이다. 지능적 기술과 전혀 상관없는 부문도 관심과 자금을 얻기 위해 AI로 포장되고 있다.

위험, 이점, 투자에 대해 논의할 때 AI에 대한 공통 정의를 만드는 것도 도움이 된다.

애플락의 글로벌 CISO 대리 테라 래드너는 기존 정책 프레임워크를 기반으로 2024년 초에 공식 AI 정책을 만들기 시작했다고 말했다. AI가 매우 모호한 용어일 수 있다는 것을 깨달은 기업은 애플락 외에도 많다.

프라이머리 파이낸셜 그룹의 CIO 캐시 케이는 사람들이 AI에 대해 서로 다른 이야기를 하고 있다는 사실을 매우 빨리 깨달았기 때문에 AI에 대한 명확한 정의를 내릴 필요가 있었다고 말했다. 회사 내에서 AI가 의미하는 바를 정의해야 했기 때문에, AI에 대해 이야기할 때 모두가 같은 생각을 할 수 있었다.

AI는 사람마다 다른 의미를 가질 수 있으므로, 토론에 다양한 관점을 포함시키는 것이 도움이 된다.

모든 이해관계자의 의견

애플락 보안팀은 회사의 AI 정책 개발에 있어 초기 주도권을 잡았다. 그러나 AI는 보안 문제만은 아니다. 라드너는 법적 문제도, 개인 정보 보호 문제도, 규정 준수 문제만도 아니라며 모든 이해관계자들을 한데 모아야 한다고 강조했다. 또한, 기업 정책이 어떤 종류의 관리 위원회나 기구에 의해 승인되는 것이 중요하다. 그래야만 필요한 효과를 발휘할 수 있기 때문이다.”

AI 정책은 개별 사업부를 포함한 회사 전체에 적용되어야 한다.

프린스펄 패이넌셜의 케이는 회사의 최고 준법 감시자가 AI 정책의 집행 후원 기관이었다고 말했다. 그러나이 과정에는 사업부 대표, 법무, 준법 감시인, 기술 전문가, 심지어 인사 담당자도 참여했다. 케이는모두가 함께 배우면서 원하는 결과를 얻을 수 있다고 말했다.

종합 재무 소프트웨어 업체 인튜이트(Intuit) 또한 AI 정책을 만들 때 여러 분야의 전문가들로 구성된 팀을 구성했다. 부사장 겸 법률 고문인 리저 레빗은 전사적 거버넌스 정책을 수립하고 법적 요구 사항, 업계 표준, 모범 사례를 다루는 데 도움이 되었다고 말했다. 전체 팀에는 데이터 프라이버시, AI, 데이터 과학, 엔지니어링, 제품 관리, 법률, 규정 준수, 보안, 윤리, 공공 정책에 대한 전문 지식을 갖춘 많은 직원이 포함됐다.

기업의 핵심 원칙부터 시작하라

AI 정책은 윤리, 혁신, 위험에 관한 기업의 핵심 가치에서 출발해야 한다. 사이버보안 회사인 쉘만의 CEO 아바니 데사이는 규정 준수 체크마크를 충족시키기 위해 정책을 작성하는 데 그쳐서는 안 된다며 “복원력이 있고, 윤리적이고 신뢰할 수 있으며, 모든 사람에게 안전한 거버넌스 프레임워크를 구축하라. 아무도 보지 않는 무언가를 만들면 안 된다”라고 조언해ㅒㅆ다.

핵심 가치부터 시작하면 나머지 AI 정책의 수립에 도움이 된다. 데사이는 “명확한 지침을 수립해야 한다. AI를 책임감 있게 사용해야 하고, 비즈니스 윤리에 부합해야 한다는 데에 위에서 아래까지 모두가 동의해야 한다”라고 말했다.

이러한 원칙을 마련해 놓으면 기업이 규제를 앞서갈 수 있다.

규제 요건에 부합하는 정책

가트너에 따르면, 2027년까지 전 세계 모든 국가의 인공지능 관련 법률과 규정에는 인공지능 거버넌스에 관한 조항이 포함될 것이라고 한다.

이미 시행되고 있는 가장 큰 규모의 인공지능 관련 규정은 EU의 인공지능 법안이다. 쉘만의 데사이는 유일하게 모든 것을 포괄하는 프레임워크로 EU 인공지능 법안을 꼽았다. 이 법안은 EU 내에서 제품을 판매하는 모든 국가와 EU 시민에게 적용된다.

EU 법안은 규모가 있는 모든 회사가 따라야 하는 최소한의 기준을 설정한다. 데사이에 따르면 GDPR과 매우 유사한 규정이다.

GDPR만이 타인에게 적용되는 유일한 규정은 아니다. 전 세계적으로 데이터 프라이버시 문제를 다루는 수많은 규정이 있으며, AI 배포와도 관련이 있다. 그리고 물론, 의료 및 금융 서비스와 같은 산업별 데이터 프라이버시 규칙도 있다.

일부 규제 기관과 표준 제정 기관은 이미 생성형 AI에 대한 정책 업데이트 방법을 검토하기 시작했다. 애플락의 래드너는 “보험 회사에 특화된 NAIC 지침에 크게 의존했다”라고 말했다. 또한, NAIC가 규정하는 지침과 안전 장치를 확실히 파악하고, 지침과 안전 장치가 제대로 시행되고 있는지 확인했다.

책임 있는 사용에 대한 명확한 지침 수립

직원이 공개된 AI 챗봇을 사용할 수 있는가? 아니면 회사에서 승인한 보안 도구만 사용할 수 있는가? 사업부가 자체 AI 에이전트를 생성하고 배치할 수 있는가? HR 부서가 HR 소프트웨어의 새로운 AI 기반 기능을 켜고 사용할 수 있는가? 영업과 마케팅 부서가 AI로 생성된 이미지를 사용할 수 있는가? 사람이 모든 AI 산출물을 검토해야 하는가, 아니면 위험도가 높은 사용례에만 검토가 필요한가?

이런 질문은 회사의 AI 정책에서 책임 있는 사용이라는 항목에 해당하며, 기업의 구체적인 필요에 따라 달라진다.

케이는 예를 들어, 프린스펄 파이낸셜에서 AI가 생성한 코드는 검토가 필요하다고 말했다. 케이는 “코드를 그저 내보내는 것이 아니라 중간 과정에 사람이 있다”라며 회사가 고객을 대면하는 직원을 위해 AI 도구를 구축한다면, 그 결과를 확인하는 사람이 있어야 한다고 말했다.

PwC의 데이터 리스크 및 프라이버시 책임자 로한 센은 AI에 대한 위험 기반 접근 방식이 좋은 전략이라고 말했다. 기업은 위험도가 낮은 항목까지 지나치게 제한하고 싶지는 않을 것이다. 센은 “코파일럿을 사용해 인터뷰 내용을 기록하는 것은 상대적으로 위험도가 낮다. 하지만 AI를 사용해 대출 결정을 내리거나 보험료를 결정하는 경우에는 더 많은 결과가 발생하고 더 많은 사람의 검토가 필요하다”라고 강조했다.

서드파티의 영향력을 잊지 말자

AI 관련 문제로 인해 문제가 발생하면 대중은 직원의 잘못이든, 업체나 계약자의 잘못이든 신경 쓰지 않을 것이다. 데이터 유출이든 공정 대출법 위반이든, 책임은 기업에 있다.

즉, AI 정책은 회사의 내부 시스템과 직원뿐 아니라 업체 선정 및 감독도 포함해야 한다.

일부 업체는 면책 조항과 계약상의 보호를 제공한다. 업체에 종속되는 것을 피하는 것도 서드파티의 위험을 줄이는 데 도움이 된다. 제공업체가 고객의 AI 정책을 위반하는 경우, 다른 업체로 전환하기가 어려울 수 있다.

AI 모델 제공업체의 경우, 처음부터 모델에 구애받지 않는 태도를 취하는 것이 이러한 위험을 관리하는 데 도움이 된다. 즉, 기업 워크플로에 특정 AI를 하드코딩하는 대신, 모델 선택을 유연하게 남겨두어 나중에 변경할 수 있도록 하는 것이다.

초기에는 더 많은 노력이 필요하지만, 위험을 줄이는 것 외에도 다른 비즈니스상의 이점이 있다. PwC의 상원 의원은 “기술은 변화하고 있다. 2년 후에는 어떤 모델이 더 좋을지 알 수 없다.”라고 말했다.

명확한 거버넌스 구조 수립

명확한 기대치를 설정하는 AI 정책은 절반의 성공이지만, 정책이 어떻게 시행될 것인지에 대한 계획이 없다면 정책은 그다지 효과적이지 않을 것이다.

가트너의 애널리스트 로렌 코르누틱은 2024년 가트너의 설문조사 결과를 인용하면서, 기업의 45%만이 AI 정책이 운영 모델과 일치하는 AI 거버넌스 성숙도에 도달했다고 말했다. 코르누틱에 따르면 나머지 기업은 허용 가능한 사용에 대한 정책을 마련했거나 책임 있는 AI 정책을 마련했지만, 기업 전체에 걸쳐 효과적으로 운영하지는 못하고 있다.

특정 사용례가 회사의 지침을 충족하는지 여부를 결정하고, 결정을 집행하는 것은 누구인가?

코르누틱은 훌륭한 정책만으로는 충분하지 않다고 말했다. CISO와 개인정보 보호 담당자도 흔히 하는 말이다. 코르누틱은 집행과 거버넌스 문제를 효과적으로 해결하는 기업은 기술 배포에서 12% 더 앞서 있다고 말했다.

제넨팩트의 최고기술혁신책임자 산지브 보라는 첫 번째 단계는 회사가 이미 어떤 AI를 보유하고 있는지 파악하는 것이라고 말했다. 많은 기업이 AI 사용에 대한 전체 목록을 보유하지 않고 있다.

기술 활용을 통한 규정 준수 보장

AI 정책이 제대로 지켜지고 있는지 확인하는 한 가지 방법은 자동화된 시스템을 이용하는 것이다. 가트너의 코르누틱은 “정책 시행을 지원하는 기술이 등장하고 있다”라고 말했다.

예를 들어, AI 기반의 워크플로에는 사람이 개입해 작업을 확인하는 수동 검토 단계가 포함될 수 있다. 또는 데이터 손실 방지 도구를 사용해 직원이 민감한 데이터를 공개 챗봇에 업로드하지 않도록 할 수 있다.

라고 PwC의 최고 AI 책임자 댄 프리스트는 “PwC의 모든 고객은 데이터 유출이 발생하는 곳을 확인하고, 자신의 환경에 다운로드되는 것을 확인하며, 승인되지 않았거나 기업에 위험을 초래할 수 있는 사이트의 액세스를 차단하는 모니터링 기능을 갖추고 있다”라고 말했다. 위험은 현실이지만, 위험을 관리하는 방법도 분명 존재한다.

최악의 상황을 포함한 모든 가능성에 대비하라

사건은 일어난다. 아무리 좋은 AI 정책이 있더라도, 위반이 발생하고 문제가 발생할 수 있다. 회사 챗봇이 부적절한 말을 하거나 적절한 안전 장치가 작동하지 않아 지킬 수 없는 약속을 할 수 있다.

프리스트는 “AI가 잘못되었을 때의 흥미롭고 재미있는 예가 많지만 이런 것은 대화의 아주 작은 부분일 뿐이다. 왜냐하면 위험을 관리할 수 있는 합리적인 방법이 있기 때문이다. 그리고 위험이 많이 발생하면, 아키텍처 계층, 정책 계층, 훈련 계층에서 대응책을 활성화해야 한다”라고 말했다.

그리고 기업이 AI가 오작동할 때를 대비해 기술적 조치를 마련해야 하는 것처럼, AI 정책에는 문제가 더 큰 경우를 대비한 사고 대응과 직원, 고객 또는 비즈니스 파트너가 고의 또는 실수로 정책을 위반하는 경우의 관리 대응도 포함되어야 한다.

예를 들어, 특정 부서의 직원이 고객에게 문서를 보내기 전에 검토하는 것을 쉽게 잊어버린다면 사업부가 데이터 개인 정보 보호 또는 보안 요구 사항을 무시하는 섀도 AI 시스템을 구축할 수 있다.

위반 사항을 처리할 수 있는 인력이 배치되어 있고, 문제를 바로잡을 수 있는 권한이 있는지 확인하기 위한 절차와 교육이 필요하다. 그리고 전체 AI 프로세스에 문제가 있는 경우, 회사에 피해를 주지 않고 시스템을 종료할 수 있는 방법이 있어야 한다.

변화에 대한 계획을 세워라

AI 기술은 빠르게 발전한다. 따라서 회사의 AI 정책에 포함된 많은 부분이 정기적으로 검토되고 업데이트되어야 한다.

카네기 멜론 대학의 교수인 레이드 가니는 만료일이 없는 정책을 설계하면 오히려 해롭다고 조언했다. 즉, 특정 조항이 여전히 관련성이 있는지 확인하기 위해 매년 또는 매 분기마다 검토해야 할 것이다.

가니 교수는 “정책을 설계할 때, 변경될 가능성이 있고 업데이트가 필요한 사항을 표시해야 한다”라고 말했다. 기술 발전, 새로운 비즈니스 요구, 새로운 규정의 결과로 변경이 발생할 수 있다.

EY 수석 싱클레어 슐러는 AI 정책은 혁신과 개발을 촉진해야 하며, 혁신과 개발을 방해해서는 안 된다고 말했다. 슐러는 “CEO든 CSO든, AI 도입을 막지 말고 AI 도입을 돕는 AI 정책을 도입해야 한다”라고 강조했다.
dl-itworldkorea@foundryco.com