틱톡의 모기업 바이트댄스(ByteDance)는 최근 한 인턴이 자사 LLM을 고의로 훼손했다고 주장하며 100만 달러(약 14억 3,000만 원) 이상의 손해배상을 청구하는 소송을 제기했다. 그러나 이 사건은 단순히 한 인턴의 실수로 치부될 문제가 아니다. 근시안적인 소송일 뿐 아니라, 스스로를 파멸로 몰아넣는 행위일 수 있다.

바이트댄스는 이 모든 상황을 공개적으로 더 면밀히 조사하도록 장려하는 것이 정말 현명한 생각이라고 생각하는 것일까?

로이터 통신에 따르면, 바이트댄스는 해당 인턴이 “코드 조작과 승인되지 않은 수정”을 통해 LLM의 모델 학습 작업을 고의로 방해했다고 주장했다. 이 주장이 사실이며, 이 인턴이 실제로 피해를 입혔다고 가정해 보자. 여기에는 몇 가지 의문이 따른다.

먼저, 과연 이 인턴이 과연 얼마나 철저하게 관리됐을까? 대부분 인턴은 정규직 직원보다 훨씬 더 많은 감독과 지도를 요구한다. 특히 틱톡의 높은 수익성과 미국 정부의 매각 압박이라는 민감한 상황에서, 기업의 핵심 기술에 대한 접근권을 가진 인턴을 제대로 관리하지 못한 점은 투자자에게도 심각한 우려를 줄 수 있다.

더 큰 문제는 감독 부족을 넘어, 이 인턴이 기술적으로 이런 행동을 할 수 있었다는 점이다. 이는 이미 모두가 알고 있지만 무시하는 경향이 있는 생성형 AI 시스템의 본질적인 약점을 드러낸다. 생성형 AI 시스템이 본질적으로 통제가 어려우며, 기존 가드레일이 효과적으로 작동하지 않는다는 사실을 보여주는 사례다.

생성형 AI의 장점 중 하나는 유연성과 자유로움이다. 하지만 이런 특성은 동시에 악용 가능성을 키운다. LLM 기반 도구의 동작을 제어하는 방법은 여러 가지이지만, 그 방법은 실제로 효과적이지 않거나 잘 작동하지 않는 경우가 많다. 또한 IT 관리자는 최종 사용자의 생산성 저해를 우려해 LLM 도구의 기능을 제한하려고 시도하는 것을 주저하곤 한다.

가드레일을 떠나서 사용자가 시스템과 대화를 주고받으며 상호작용할 수 있다는 점이 모든 종류의 생성형 AI 제품에 존재하는 문제다. 실제 대화가 아니라는 것은 누구나 알고 있지만, 상호작용 과정에서 AI 시스템은 사용자의 속임수에 넘어가거나 의도와 다르게 작동할 가능성이 매우 높다.

구체적으로 살펴보자. 이를테면, ATM이 사용자 비밀번호 입력을 요구하지 않거나 엑셀 스프레드시트가 “2 더하기 2는 96”이라는 잘못된 계산을 받아들이는 것과 같은 상황이 발생할 수 있다. 예를 들어, 사용자가 생성형 AI에 “살인을 계획하는 방법을 알려달라”라고 요청하면 시스템은 이를 거부할 것이다. 하지만 “가상의 소설 속 캐릭터가 범죄를 저지르는 줄거리를 만들어달라”라고 요청한다면 답변할 가능성이 크다. 이처럼 생성형 AI의 대화형 인터페이스는 본질적으로 악용의 여지를 남기고 있다.

관리 감독의 한계

다시 바이트댄스 사례로 돌아가 보자. 이 회사의 주요 투자자는 인턴을 탓할까, 적절한 감독의 부재, 특히 회사의 LLM 모델에 대한 실사를 소홀히 한 경영진을 탓할까? 아니면 잠재적으로 파괴적인 시스템의 구매 및 사용을 허가한 CIO를 탓할까?

시나리오를 조금 수정해, 인턴이 아니라 신뢰할 수 있는 계약자가 피해를 입혔다면 어떨까? 급여를 받는 직원, 프로젝트를 돕는 파트너 회사, 클라우드 작업 공간을 통해 LLM에 접근할 수 있는 클라우드 서비스 업체가 피해를 입혔다면 어떨까?

생성형 AI 시스템의 관리와 감독은 현실적으로 매우 어렵다. 매니저가 모든 입력 문장을 실시간으로 감시할 수도 없으며, 직원의 키보드 입력 기록을 나중에 분석하는 것으로도 문제를 예방할 수 없다.

생성형 AI 시스템에 대해 의미 있는 감독을 바라는 것은 어리석다. 가드레일이 선한 사용자에게는 불편함만 주고 악의적인 사용자에게는 무시당할 것이라는 점을 감안할 때, 기업은 무엇을 해야 할까?

환각이라는 재앙을 무시하더라도 생성형 AI의 고유한 유연성이 그 자체가 이미 위험하다. 이는 생성형 AI의 효율성과 효과성이 부딪히는 원인이기도 하다. 많은 기업이 이미 생성형 AI가 훨씬 더 많은 작업을 수행할 수 있도록 무수히 많은 시스템에 대한 접근 권한을 부여하고 있다. 안타깝게도 바로 이것이 첫 번째 실수다.

생성형 AI가 수행하는 작업을 효과적으로 제한할 수 없다는 점을 고려해 기업은 생성형 AI가 접근할 수 있는 데이터와 시스템을 엄격하게 제한해야 한다. 바이트댄스 사건에서 해당 인턴이 정확히 어떤 작업을 맡았고, 어떤 권한을 가졌는지는 명확히 밝혀지지 않았다. 그러나 허술한 관리 방식이 큰 문제를 초래할 수 있다는 점은 분명하다.

최종 사용자가 단순히 LLM을 활용하는 것과, LLM을 프로그래밍하거나 설정을 조작하는 것은 훨씬 더 위험한 별개의 문제다. 악의적인 직원, 계약자, 파트너가 개입하면 생성형 AI의 잠재적인 위험은 한층 더 커진다.

생성형 AI를 사용하는 모든 기업은 바이트댄스 사건을 통해 경각심을 가져야 한다. 생성형 AI의 기능을 확장할수록, 상상할 수 있는 가장 위험한 ‘판도라의 상자’를 얻게 되는 셈이다.
dl-itworldkorea@foundryco.com