IT 임원이라면 누구나 서드파티에 과도하게 의존할 때의 위험성, 자동화된 의사결정 시스템에는 반드시 사람이 개입해야 한다는 점, 정책 위반으로 계정을 중단해야 할 때 고객에게 정보를 너무 많이 또는 너무 적게 제공하는 데 따르는 위험을 잘 알고 있다. 그러나 최근 앤트로픽과 스위스 사이버보안 업체 사이에서 벌어진 일련의 사건은 이런 문제를 전혀 새로운, 그리고 불안한 맥락에서 재조명했다.

사건은 스위스 사이버보안 업체 위키드 디자인(Wicked Design)의 CEO 톰 호프먼이 지난 15일(현지시간) 앤트로픽의 시스템으로부터 회사 전체 계정이 취소됐다는 알림을 받으면서 시작됐다. 자동화된 검토 과정에서 구체적으로 명시되지 않은 정책 위반이 발견됐다는 이유였다.

호프먼은 이 문제를 해결하는 가장 효과적인 방법이 소셜미디어를 통한 지원 요청이라고 판단해 링크드인에 상황을 공유했다. 동시에 앤트로픽에 근무하는 몇몇 인물에게도 이를 알렸다. 여기에는 제품 법무 책임자도 포함돼 있었다. 해당 책임자는 내부 검토를 요청해 두었다며 “자동화된 계정 차단 문제를 처리 중”이라고 설명했다. (호프먼은 여러 건의 앤트로픽 관련 화면 캡처를 필자에게 공유했다.)

하루도 지나지 않아 계정은 복구됐다. 다만 완전한 복구가 아니었다. 새로 받은 알림에는 “이번 주 초 자동화된 시스템이 서비스 약관 또는 허용 사용 정책 위반으로 계정을 비활성화했으나, 추가 조사 결과 오류로 판단돼 계정을 복원했다”라는 내용과 함께 불편을 끼친 점에 대한 사과가 담겨 있었다.

호프먼은 안도하며 다시 로그인했지만, 회사 계정에서 전체 프로젝트와 데이터의 약 80%가 사라진 사실을 확인했다.

호프먼이 앤트로픽의 자동화 시스템에 파일 복구 방법을 문의하자, 시스템은 “사용자 계정이 조직에서 제거됐다가 다시 추가되는 경우 이전 프로젝트와 관련된 대화는 동일한 이메일 주소를 사용하더라도 복원되지 않는다”라고 안내했다. 다시 추가된 이후에는 해당 프로젝트를 계정으로 복구하거나 이전할 방법이 없다는 설명도 이어졌다.

그러나 그 메시지에는 비용을 지불하면 파일을 복구할 수 있다는 내용이 포함돼 있었다. 즉, 복구할 방법이 없다는 설명은 금전 거래가 이뤄지지 않을 경우에만 적용된다는 의미였다. 앤트로픽은 “구독을 재활성화하면 이전의 모든 프로젝트에 다시 접근할 수 있다”라고 안내했다. (호프먼은 실제로 비용을 지불한 뒤 파일이 복구됐다고 전했다.)

이 같은 일련의 과정은 씁쓸한 웃음을 자아내는 동시에 상당한 불안감을 안긴다. 그리고 이번 사례는 자동화 시스템과 업체 종속 구조 속에서 엔터프라이즈 IT가 직면한 핵심 과제를 선명하게 보여준다.

떠날 수도, 믿을 수도 없는 AI

새삼스러운 문제는 아니다. 다만 AI 업체 의존성과 관련한 기존의 우려는 주로 서비스 장애나 사이버 공격에 초점이 맞춰져 있었다. 별다른 설명이나 사전 경고 없이, 사람에게 직접 소명할 통로도 없는 상태에서 AI 업체의 자동화 시스템이 계정을 일방적으로 차단할 수 있다는 점이 기업 입장에서 가장 불편하고 심각한 위험이다.

호프먼은 필자와의 인터뷰에서 일련의 일을 겪고도 앤트로픽을 계속 사용할 계획이라고 밝혔다. 그 이유는 무엇일까?

호프먼은 “서비스 품질이 상당히 좋다. 달리 갈 곳이 어디 있겠느냐?”라고 반문했다. 마이크로소프트, AWS, 구글, 오픈AI, 퍼플렉시티는 물론 오라클이나 IBM이라고 해서 계정 차단 문제를 더 잘 피할 수 있을 것이라고 믿을 근거는 없다는 설명이다. (필자는 이 사건과 관련해 마이크로소프트, 구글, AWS, 앤트로픽, 오픈AI, 퍼플렉시티에 논평을 요청했지만, 어느 곳에서도 공식 입장을 내놓지 않았다.)

또한 기업이 계정 정지 사유에 대해 구체적인 설명을 거의 제공하지 않는 관행은, 만약 어떤 정부가 특정 기업을 제재하도록 압박할 때 이를 정당화하는 방패로 작용할 수 있다. 호프먼은 ‘이유를 밝히지 않는 계정 차단’의 전례가 있는 AI 업체라면, 외부 압력에 따른 보복 조치도 훨씬 수월할 것이라고 우려했다.

호프먼은 “이제는 AI 업체를 전적으로 신뢰하지 않는다. AI 통합을 중심으로 비즈니스를 구축한다는 것은 누군가가 언제든 쉽게 꺼버릴 수 있는 핵심 자산 위에 회사를 세우는 것과 다르지 않다. 이런 상황에 대비한 계획이 필요하다. 다음에 계정이 다시 차단된다면, 이번처럼 운이 좋으리라는 보장은 없다”라고 언급했다.

고객에게 어디까지 설명해야 할까?

이 문제는 미묘한 균형이 필요한 사안이다. 그리고 많은 업체, 나아가 자율 에이전트와 봇이 바로 이 지점에서 어려움을 겪는다.

고객에게 구체적인 정보를 제공하지 말아야 한다는 논리는 사이버보안과 사기 방지 체계에 기반한다. 차단된 고객이 실제로 사기범이거나 사이버 범죄자, 또는 국가 차원의 위협 행위자일 가능성이 있다면, 문제 행위가 어떻게 탐지됐는지를 상세히 알려주는 것은 오히려 실수가 될 수 있다. 이는 공격자가 전술을 개선하거나 새로운 신원을 확보해 다시 시도하도록 돕는 결과로 이어질 수 있고, 다음번에는 더 성공적일 수도 있다.

반대로 고객에게 최대한 많은 정보를 제공해야 한다는 주장은 공정성의 원칙에 맞닿아 있다. 제기된 의혹을 고객이 제대로 이해하고, 이에 대응하거나 방어할 실질적인 기회를 가질 수 있어야 한다는 것이다. 특히 비용을 지불하는 고객이라면 그러한 권리를 갖는 것이 당연하다.

해법은 분명 중간 지점에 있다. 그리 복잡한 문제도 아니다. 고객이 문제를 바로잡을 수 있을 만큼은 설명하되, 범죄자가 악용할 수 있을 정도로 상세해서는 안 된다. 무엇을 했다고 판단했는지는 알려주되, 그것을 어떻게 알아냈는지까지 공개할 필요는 없다.

형사 전문 변호사는 이런 방식을 일상적으로 활용한다. 피의자가 자신의 사건을 유리하게 만들기 위해 정보를 제공하는 대가로 면책 거래를 검찰에 제안할 때도 같은 원리가 적용된다. 검찰이 제안을 평가하고 판단할 수 있을 만큼은 공개하되, 거래를 할 이유가 사라질 정도로 모든 것을 드러내지는 않는다.

형식적인 개입은 위험…계약 통한 신뢰 설계 필요해

이론적으로는 간단한 문제다. 의사결정 과정에 사람이 개입하는 구조는 필수적이다. 그러나 비용 절감 압박에 직면하면 상황은 복잡해진다. 사람을 한 명 끼워 넣는 것만으로는 충분하지 않다. 예를 들어 자동화 소프트웨어가 고객 1만 1,000명의 계정을 차단하라고 권고했고 단 한 명의 담당자가 30분 안에 이를 판단해야 하는 상황은 인간이 관리하는 절차라고 보기 어렵다.

소프트웨어는 문제를 감지하는 역할을 맡고, 인간은 이를 적극적으로 검토해야 한다. 물론 예외적인 상황도 있다. 생명에 즉각적인 위험이 발생할 가능성이 있는 경우처럼, 계정을 즉시 정지하고 사후 조사를 진행해야 하는 사례도 존재한다. 그러나 극히 드문 경우다. 대부분의 상황에서는 결정을 내리기 전에 고객에게 사전 경고를 제공하고, 소명할 기회를 주는 것이 훨씬 바람직하다.

이는 비용 문제가 개입되는 방법이기도 하다. 모든 이용자에게 안전한 환경을 제공하려면, 업체는 고객 계정 차단 결정을 논의할 인력을 갖춰야 한다. 그리고 이 인력은 소프트웨어의 판단을 뒤집고, 필요하다면 즉시 고객 계정을 복구할 수 있을 만큼 충분한 권한과 직급을 갖춰야 한다.

잘못된 판단으로 부당하게 문제 행위자로 지목된 고객에게는 실질적인 보상이 뒤따라야 한다. 이는 2가지 측면에서 의미가 있다. 첫째, 고객의 불만과 분노를 어느 정도 완화할 수 있다. 둘째, 잘못된 판단이 재정적 부담으로 이어지지 않는다면 업체가 자동화 시스템을 개선할 이유가 크지 않다.

만약 업체가 허위 혐의로 계정이 차단된 고객에게 과도한 보상금을 지급하고 있다면, 문제는 보상 시스템이 아니라 소프트웨어에 있다. 충분한 재정적 부담이 뒤따를 때에야 비로소 시스템이 실제로 개선될 가능성이 생긴다.

그레이하운드 리서치(Greyhound Research)의 수석 애널리스트 산칫 비르 고기아는 이런 계정 차단 상황이 앞으로 더 자주 발생할 것이며, 기업은 이에 대응하는 방안을 마련해야 한다고 조언했다.

고기아는 “AI 및 클라우드 서비스 업체가 비용을 지불하는 엔터프라이즈 계정을 설명 없이 조용히 차단하는 일은 보기 드문 집행상 예외가 아니다. 자동화, 계약상 재량권, 플랫폼 규모가 결합되며 새롭게 나타난 통제 리스크다. 전 세계 CIO의 약 47%는 핵심 클라우드 또는 AI 서비스 업체가 아무런 설명 없이 계정을 정지시킬 경우에 대비한 대응 계획이 없음을 인정한다. 이는 보안 격차가 아니라 거버넌스의 공백”이라고 설명했다.

현재의 집행 시스템은 과금, 사기, 정책, 규제 준수, 평판 리스크 신호를 하나의 자동화된 의사결정 경로로 결합한다. 이 경로가 작동하면 계정 정지는 즉각적이고 광범위하게 이뤄진다. 고기아는 “설명은 선택 사항이고, 인간이 직접 판단하는 이의 제기 절차는 보장되지 않는다. 서비스 연속성은 조건부가 된다. 정체성 관리, 데이터, 분석, 운영 워크로드를 이런 플랫폼 안에서 운영하는 기업들은 가시성, 비례성, 절차적 보호 장치 없이 존재 자체를 위협하는 운영 리스크를 떠안고 있다”라고 언급했다.

이런 리스크를 완화하는 가장 효과적인 방법은 계약이다. 고기아는 “업체가 이유도 설명하지 않고 서비스를 중단할 수 있다면, 연속성은 언제든 깨질 수 있다. 기업은 업체 주도의 서비스 중단 리스크를 최우선 거버넌스 이슈로 다뤄야 한다. 조달 과정에서 반드시 제한된 정보 공개, 명확히 정의된 이의 제기 절차, 대응 기한, 그리고 계정 복구 및 상위 단계로의 에스컬레이션 경로를 계약에 포함시켜야 한다”라고 조언했다.
dl-itworldkorea@foundryco.com