2025년 6월, 데이터 프라이버시 전문기업 인코그니(Incogni)가 발표한 보고서에 따르면, 메타, 구글, 마이크로소프트 등 빅테크가 운영하는 대형 언어모델이 사용자로부터 민감한 데이터를 수집하고 외부 서드파티와 공유하고 있는 것으로 나타났다. 특히 기업 환경에서 생성형 AI 사용 시 기밀 정보가 모델 학습에 활용되거나 외부로 유출될 수 있는 구조적 위험이 존재한다는 지적이 나왔다.

보고서는 직원이 내부 보고서나 커뮤니케이션 작성을 위해 생성형 AI를 자주 사용하는 반면, 입력한 정보가 모델의 학습 데이터로 전환될 수 있다는 사실은 거의 인식하지 못하고 있다고 지적했다. 이어 “이러한 보호 장치 부재는 단순한 개인정보 유출에 그치지 않고, 기업의 민감한 정보가 이후 다른 사용자 대화에 재활용될 수 있는 리스크를 낳는다”라고 분석했다.

인코그니 산하 B2B·공공 부문 조직 아이언월(Ironwall)의 CEO 론 자야스는 기업이 이메일 보안이나 장비 잠금, SOC 2 같은 정보 보호 절차를 철저히 지키지만, 이제는 직원이 생성형 AI에 민감한 데이터를 직접 입력하면서 전혀 다른 위험을 자초하고 있다고 말했다. 또한 “해당 정보가 경쟁사나 외국 정부의 응답에 재사용될 수 있는 구조가 문제의 핵심”이라고 강조했다.

인코그니는 이번 조사를 위해 ▲학습 목적 활용 여부 ▲투명성 수준 ▲데이터 수집 및 공유 방식 등 11개 항목을 기준으로 LLM의 프라이버시 리스크를 분석했으며, 데이터 수집·학습·투명성 측면에서 각각 점수를 부여하고 종합 등급을 산출했다.

조사 결과의 몇 가지 핵심은 다음과 같이 정리할 수 있다.

• 미스트랄AI(Mistral AI)의 르 샤(Le Chat)가 가장 개인정보 침해 우려가 낮은 플랫폼으로 평가됐다. 챗GPT와 그록(Grok)이 뒤를 이었다. 데이터 활용 방식을 비교적 투명하게 고지하고, 개인 데이터가 학습에 쓰이지 않도록 쉽게 차단할 수 있기 때문이다.
• 반면, 메타AI, 제미나이, 코파일럿 등 IT 대기업이 개발한 플랫폼일수록 프라이버시 위험이 컸다.
• 메타AI, 제미나이, 딥시크, 파이 AI(Pi AI)는 사용자가 입력 데이터를 학습에 활용하지 않도록 설정하는 기능이 제공되지 않았다.
• 챗GPT는 입력 데이터가 학습에 사용되는지를 가장 명확하게 고지하고 있었으며, 개인정보 처리방침도 가독성과 투명성 측면에서 가장 높은 점수를 받았다.
• 그록은 사용자가 업로드한 사진을 제3자와 공유할 수 있다고 명시했다.
• 메타AI는 이름, 이메일, 전화번호 등의 개인정보를 외부 파트너 및 계열사와 공유하는 것으로 확인됐다.

인포텍 리서치 그룹(Info-Tech Research Group)의 기술 고문 저스틴 세인트모리스는 기업에서 직원에게 챗GPT, 제미니, 메타AI 같은 도구에 어떤 정보를 입력해서는 안 되는지에 대한 교육이 필수적이라고 강조했다. 또한 “사람들이 소셜미디어에 민감한 정보를 올리지 않는 것처럼, 생성형 AI도 공개 플랫폼처럼 인식해야 한다. 링크드인이나 트위터에 게시하지 않을 정보라면 챗GPT에도 입력해서는 안 된다”라고 말했다.

한편 세인트모리스는 프라이버시 문제가 중요하다고 해서 LLM을 완전히 배제할 필요는 없다고 덧붙였다. “내부 서버나 아마존 베드록(Amazon Bedrock) 같은 보안 클라우드 환경에서 LLM을 직접 운영하면 데이터가 모델에 저장되지 않도록 통제할 수 있다”라며 “이 경우 LLM은 단순히 연산을 수행하는 CPU처럼 동작하며, 메모리와 저장소는 전적으로 사용자가 제어할 수 있다”라고 설명했다. 아울러 “오픈AI나 구글에 의존하지 않고도 LLM의 가치를 충분히 실현할 수 있다”라고 조언했다. 론 자야스는 “많은 사람들이 간과하는 사실은, 이러한 정보들이 단순히 수집되는 수준이 아니라 재가공되고, 재배포되며, 결국은 사용자에게 불리하게 사용될 수 있다는 점”이라고 경고했다.
dl-itworldkorea@foundryco.com