생성형 AI 챗봇 ‘클로드’의 개발사 앤트로픽이 저작권 침해 소송 과정에서 ‘AI 환각’ 오류로 법정에서 곤욕을 치렀다.

캘리포니아 연방법원은 최근 앤트로픽 소속 데이터 과학자 올리비아 천이 제출한 증언 중 실제로 존재하지 않는 학술 논문을 인용한 부분을 공식적으로 기각했다. 인용된 논문은 클로드가 각주 형식을 자동화하는 과정에서 생성한 허구의 자료로, 현실에 존재하지 않는 제목과 저자명이 포함돼 있었다. 앤트로픽은 증언 오류를 인정했으며, 법원에 추가로 500만 건의 프롬프트·응답 데이터를 제출하라는 명령을 받았다.

이번 사건은 유니버설뮤직그룹, 콘코드, ABKCO 등 음원 저작권 보유사가 앤트로픽을 상대로 제기한 소송의 일부다. 소송을 제기한 측은 앤트로픽이 무단으로 노래 가사를 AI 학습에 사용했다고 주장하고 있다.

이번 오류는 지난 4월 30일 천이 “가사 요청은 전체 사용자 상호작용의 0.01% 이하에 불과한 희귀 사건”이라며 100만 건 샘플이 적절하다고 주장하는 서류에서 발견됐다. 천은 이 주장을 뒷받침하기 위해 더 아메리칸 스태티션(The American Statistician)의 논문을 인용했지만, 해당 논문은 존재하지 않는 것으로 밝혀졌다.

법원은 이 인용이 단순 실수인지, 전문가의 판단력이 결여된 사례인지를 따져본 후, 증언을 부분 기각하면서도 앤트로픽이 전체 책임을 회피한 것은 아니라고 판단했다. 실제 각주는 사람이 구글 검색으로 찾아낸 실제 논문 링크를 포함하고 있었기 때문이다. 판사는 “법률 전문가가 AI에 판단을 위임한 사례는 아니며, 단순한 AI 환각”이라고 명시했다.

하지만 재판부는 인용 오류가 사전 검토에서 걸러지지 않았다는 점에 문제를 제기했다. 앤트로픽은 이제 2023년 9월 22일부터 10월 18일까지, 그리고 2023년 10월 19일부터 2024년 3월 22일까지의 데이터를 각 250만 건씩 무작위 추출해 2025년 7월 14일까지 제출해야 한다.

법조계 전반에 번지는 ‘AI로 게으름 피우기’

인포 테크 리서치그룹의 수석 애널리스트 브라이언 잭슨은 “AI가 법조계에 ‘게으름’을 유발하는 현상이 확산되고 있다”며 “법적 문서를 작성할 때 AI가 만든 결과에만 의존해서는 안 된다”라고 경고했다.

이번 사례는 생성형 AI가 실제 판례나 논문을 허위로 구성해 인용하는 ‘환각’이 법적 리스크로 이어질 수 있음을 보여준다. 최근에는 법률 문서 작성 시 AI를 사용하는 로펌이나 기업이 늘면서, 기술·윤리적 논의도 확산되고 있다.

미국 산타클라라대학교 마르쿨라 인터넷 윤리센터의 이리나 라이쿠는 법조계 종사자 대다수가 AI 환각이나 보안 리스크에 익숙하지 않다며, 기업 내에서 법무팀과 기술팀 간 정보 공유를 강화해야 한다고 강조했다.

범용 모델 아닌 법률 특화 LLM 사용해야

많은 전문가는 법조계에서 발생한 AI 환각 사례의 상당수가 챗GPT나 제미나이처럼 범용 모델을 활용할 때 발생한다고 지적한다. 생성형 AI 도구는 인터넷 검색으로 문서를 찾거나, 최악의 경우 훈련 데이터 기반으로 ‘지어낼’ 수 있다.

법률 서비스 업체 서브스크립션 어터니(Subscription Attorney LLC)의 설립자 매튜 커비스는 “법률 분야에서 신뢰할 수 있는 도구는 케이스 데이터베이스 기반의 RAG(Retrieval Augmented Generation) 구조를 갖춘 LLM”이라며, “특화된 모델이 항상 범용 모델보다 정확하다”라고 설명했다.

실제로도 스탠퍼드 인간중심 AI 연구소는 “법률에 특화된 LLM 모델조차 벤치마크 질의 중 6건당 1건 이상에서 여전히 환각을 유발한다”는 분석을 내놨다.

잭슨은 법률 보조 인력이 자료 조사, 판례 정리, 증거 문서 정리에 AI 리서치 툴을 활용해 작업 시간을 최대 50% 줄일 수 있다고 평가하면서도, “AI는 사람의 업무를 보조하는 수단이지, 대체하는 수단은 아니다”라고 말했다. 또한, “문서 최종 제출 전에 오류와 허위 인용을 잡아내야 하는 주체는 변호사”라고 강조했다.
dl-itworldkorea@foundryco.com