웹사이트와 브라우저, 앱에 점점 더 많이 탑재되는 ‘AI로 요약’ 버튼은 사용자에게 콘텐츠 개요를 빠르게 제공하는 기능으로 인식된다. 그러나 일부 사례에서는 ‘AI 추천 오염’이라 불리는 새로운 형태의 AI 프롬프트 조작이 숨겨져 있을 수 있다.

마이크로소프트는 이번 주 발표한 연구를 통해, 현재로서는 합법이지만 매우 교묘한 AI 하이재킹 기법이 정상적인 기업 사이에서 빠르게 확산되고 있다고 밝혔다.

대다수 ‘AI로 요약’ 버튼은 웹사이트나 문서의 요약을 생성하는 시간 절약 수단으로 작동한다. 그러나 일부 사례에서는 본래 목적에서 벗어난 동작이 확인됐다.

조작 방식은 다음과 같다. 사용자가 웹사이트의 요약 버튼을 클릭하면, 사용자 모르게 해당 버튼에 숨겨진 프롬프트가 함께 실행된다. 해당 프롬프트는 사용자의 AI 에이전트나 챗봇에 특정 기업 제품을 향후 응답에서 우선 추천하도록 지시한다. 유사한 지시는 이메일로 전달되는 특수 제작 링크에 숨겨질 수도 있다.

마이크로소프트는 이런 전술이 기업 제품 조사 과정에 편향을 유도하면서도 의사결정 전에 탐지되지 않을 수 있다고 강조했다. 연구진은 2개월 동안 금융, 헬스케어, 법률, 서비스형 소프트웨어, 비즈니스 서비스 등 수십 개 산업 분야에서 31개 기업이 해당 기법을 사용한 50건 사례를 확인했다. 아이러니하게도 보안 분야의 익명 업체도 포함됐다.

이 기법은 이미 널리 확산된 상태다. 지난해 9월, MITRE는 이 수법을 알려진 AI 조작 기법 목록에 추가했다.

AI는 사용자 선호를 학습한다

AI 추천 오염은 사용자 선호를 신호로 수집하고 기억하도록 설계된 사용자 AI 구조에서 가능해진다. 사용자가 특정 대상을 선호한다고 언급하면, AI는 해당 선호를 사용자 프로필의 일부로 저장한다.

단발성 지시로 AI를 조작하는 프롬프트 인젝션과 달리, 추천 오염은 이후 대화 전반에 걸쳐 장기적으로 지속된다는 특징이 있다. AI는 제3자가 주입한 정보와 실제 사용자 선호를 구분할 방법이 없다.

마이크로소프트는 “개인화 기능은 AI 어시스턴트를 훨씬 유용하게 만든다. 그러나 누군가 사용자 AI 메모리에 지시나 허위 정보를 주입할 수 있다면, 이후 상호작용 전반에 지속적인 영향을 행사할 수 있다”고 설명했다.

사용자 입장에서는 겉보기에는 정상적으로 보인다. 그러나 내부적으로는 AI가 관련 맥락에서 질문을 받을 때마다 왜곡되거나 오염된 응답을 반복 제시할 수 있다.

연구진은 “조작된 AI 어시스턴트는 사용자 인지 없이 건강, 금융, 보안 등 핵심 영역에서 미묘하게 편향된 권고를 제공할 수 있다”고 경고했다.

허위 정보 확산 가능성

최근 추천 오염이 확산된 배경에는 해당 기능을 웹사이트 요약 버튼 뒤에 손쉽게 숨길 수 있도록 돕는 오픈소스 도구의 존재가 있는 것으로 분석된다.

이 상황은 검색 최적화 개발자가 과도하게 기능을 추가하다 발생한 부수적 결과라는 가정보다, 초기 설계 단계부터 사용자 AI를 마케팅 수단으로 오염시키려는 의도가 있었을 가능성을 시사한다.

마이크로소프트는 과도한 마케팅을 넘어, 해당 수법이 허위 정보, 위험한 조언, 편향된 뉴스 출처, 상업적 허위 정보 확산에 악용될 수 있다고 지적했다. 정상 기업이 기능을 남용한다면, 사이버 범죄자 역시 주저하지 않을 가능성이 높다.

다행히 이 기법은 비교적 탐지와 차단이 용이하다. 마이크로소프트는 마이크로소프트 365 코파일럿과 애저 AI 서비스에 통합 보호 기능이 포함돼 있다고 설명했다.

개인 사용자는 챗봇이 저장한 정보를 점검해야 한다. 접근 방식은 사용하는 AI에 따라 다르다. 기업 관리자는 ‘remember’, ‘trusted source’, ‘in future conversations’, ‘authoritative source’, ‘cite’ 또는 ‘citation’ 등의 문구가 포함된 URL을 점검할 것을 권고했다.

이런 현상은 새로운 일이 아니다. 과거에는 URL과 파일 첨부가 단순히 편리한 요소로 인식됐다. 현재 AI 역시 주류 기술로 자리 잡으며 오용 대상이 되는 동일한 과정을 거치고 있다.

다른 신기술과 마찬가지로 사용자는 AI가 초래할 수 있는 위험을 이해해야 한다. 마이크로소프트는 “신뢰할 수 없는 출처의 AI 링크 클릭을 피하라. AI 어시스턴트 링크를 실행 파일 다운로드와 동일한 수준으로 주의해 다뤄야 한다”고 권고했다.
dl-itworldkorea@foundryco.com