앤트로픽이 알리바바가 가짜 계정 2만5,000개가량을 이용해 자사 클로드 AI 모델의 기능을 추출하려 했다고 주장했다. 미국 AI 기업 앤트로픽은 자사 역사상 알려진 것 중 최대 규모의 공격이라고 밝혔다.

로이터 보도에 따르면, 앤트로픽이 6월 10일 미국 상원 금융위원회 고위 의원들에게 보낸 서한에서 이번 공격은 4월 22일부터 6월 5일 사이에 수행됐으며, 클로드와의 교환 횟수가 2,880만 건을 초과했다고 밝혔다.

앤트로픽은 이번 공격이 ‘증류’ 기법을 활용했다고 설명했다. 증류란 성능이 낮은 AI 모델을 더 고도화된 시스템의 출력값으로 훈련시키는 기법으로, 경쟁사가 더 낮은 비용으로 유사한 기능을 복제할 수 있다.

보고서에 따르면 앤트로픽은 이번 공격이 알리바바 및 알리바바의 AI 연구소인 알리바바 큐원(Qwen)과 연계된 운영자들에 의해 수행됐다고 밝혔다.

이번 주장은 기업이 비즈니스 전반에 걸쳐 생성형 AI 도구를 도입하는 가운데 제기됐다. AI 업체는 서비스 오용을 탐지하면서도 기업 고객의 서비스 이용에 차질이 없도록 해야 한다는 압박을 받고 있다.

이번 분쟁은 AI 개발이 미·중 기술 패권 갈등과 더욱 밀접하게 연결되는 상황에서도 불거졌다. 앤트로픽은 이번 주장이 사실일 경우 중국이 자사의 첨단 마이토스 프리뷰(Mythos Preview) 모델 수준의 역량에 도달하는 속도를 높이는 데 도움이 될 수 있다고 밝혔다. 미국 당국도 우려 국가의 군사·정보 기관이 첨단 AI 시스템을 활용할 수 있다는 우려에 따라 관련 감시를 강화하고 있다.

지난 2월, 앤트로픽은 딥시크, 문샷 AI(Moonshot AI), 미니맥스(MiniMax)가 클로드의 기능을 추출하려 한 유사한 시도를 확인했다고 밝혔다. 딥시크의 경우 15만 건 이상, 미니맥스의 경우 1,300만 건 이상의 교환이 이루어진 것으로 주장됐다.

알리바바는 논평 요청에 즉각 응하지 않았다.

새로운 공급망 리스크

테크 시장 조사 업체 테크인사이츠(TechInsights)의 AI 애널리스트 아난드 조시는 앤트로픽의 주장이 사실이라면 알리바바가 단기간에 유사한 모델을 구축하고 훨씬 낮은 비용으로 내놓을 수 있다고 밝혔다.

여러 애널리스트는 이번 주장이 두 기업을 넘어선 더 광범위한 패턴을 시사한다고 말했다. 앤트로픽이 언급한 이전 사례들과 함께 살펴보면, 모델 추출은 고립된 리스크에 머무르지 않고 점점 더 확대되고 있다는 분석이다.

IT 리서치 업체 그레이하운드 리서치 수석 애널리스트 산치트 비르 고기아는 “기업 공급망은 더 이상 소프트웨어, API, 클라우드 지역에서 끝나지 않는다. 지금은 대여된 인텔리전스까지 포함되며, 대여된 인텔리전스는 원래 시스템에 적용된 안전 통제 밖에서 복제되고 재배포될 수 있다”라고 말했다.

고기아는 더 강력한 모델로 훈련된 약한 모델이 원래 시스템의 거버넌스와 통제 장치 없이도 동일한 역량을 이어받을 수 있다며, 증류를 이사회 수준에서 다뤄야 할 문제라고 강조했다.

기업 입장에서 이번 주장은 기존 지식재산권 침해보다 더 심각한 잠재적 리스크를 시사한다. 대규모 역공학이 그것이다. 사실로 밝혀진다면, AI 모델을 체계적으로 복제할 수 있음을 보여주는 것으로, 모델 추출이 새로운 AI 공급망 리스크로 부상하는 셈이다.

IT 컨설팅 업체 파리크 컨설팅(Pareekh Consulting) CEO 파리크 자인은 “경쟁사가 귀사의 기업이 의존하는 AI의 두뇌를 그대로 복제할 수 있다면, 그 AI의 맹점을 쉽게 찾아내거나 자동화 시스템을 해킹하거나, AI 업체가 패닉 상태에 빠져 기업 운영에 필수적인 서비스를 중단하는 사태를 유발할 수도 있다”라고 말했다.

리스크 완화 방안

이번 주장은 AI 업체가 어떤 통제 장치를 갖추고 있는지, 고객이 어떻게 스스로를 보호할 수 있는지에 대한 의문을 제기한다.

자인은 “업체는 인증된 계정, 스마트 속도 제한, 남용 탐지, 사용량 모니터링, 증류 금지 계약 조항, 사고 공개, 감사 권한을 갖춰야 한다. 기업은 업체가 대규모 모델 추출을 어떻게 탐지하고 차단하는지 물어야 하며, AI 서비스가 공격받거나 갑자기 중단될 경우에 대비한 백업 계획과 금전적 환불을 보장하는 계약을 요구할 수 있다”라고 말했다.

조시는 기업이 모델 개발 과정과 안전 장치를 업체에 적극적으로 따져 물어야 한다고 강조했다.

투명성 확보 방안과 관련해 조시는 “AI 구입 기업은 어떤 훈련 데이터가 사용됐는지, 어떻게 훈련됐는지, 어떤 가드레일이 존재하는지, 어떻게 감사할 수 있는지 등을 물어야 한다. 모델 퍼블리셔는 모델과 모델 응답 모두에 워터마킹 기술을 개발해야 한다. 모델의 역량이 탈취됐다면 도둑을 찾아낼 수 있어야 한다”라고 말했다.
dl-itworldkorea@foundryco.com