전통적인 소프트웨어나 보안에 익숙하지 않은 일반 사용자 사이에서도 AI 도구가 폭넓게 사용되면서, 이를 악용하려는 해커에게 새로운 기회가 열리고 있다. 이런 상황에서 한 연구팀은 업로드된 이미지 속에 프롬프트 인젝션(prompt injection) 공격을 숨기는 방법을 발견했다.

프롬프트 인젝션 공격은 LLM이나 다른 AI 시스템에 사람이 알아차리지 못하는 방식으로 지시를 몰래 심어 두는 기법이다. 보안 업계에서는 이를 상대방이 자신도 모르게 속아 특정 말을 하도록 만드는 교묘한 말장난에 비유한다. 겉보기에는 아무 일도 없는 것처럼 보이지만, 실제로는 은밀하게 지시가 전달돼 AI가 그대로 실행하는 구조다. 대표적인 사례로, 이메일 본문에 배경색과 동일한 색으로 피싱 문구를 숨기면 사용자는 내용을 전혀 인식하지 못하지만, 제미나이 같은 AI는 요약 과정에서 이를 읽어내 실행할 수 있다.

사이버보안 업체 트레일 오브 비츠(Trail of Bits) 소속 두 명의 연구원은 이런 명령을 이미지 속에 숨길 수도 있다는 사실을 확인했다. 삽입된 텍스트는 사람 눈에는 보이지 않지만 이미지가 업로드될 때 압축되는 과정에서 드러나고 이후 AI 도구가 이를 인식해 텍스트로 변환한다. 이미지 압축과 그 과정에서 생기는 아티팩트 자체는 새로운 기술이 아니지만, 최근 평문 텍스트 은닉 기법에 대한 관심이 높아지면서 사용자가 전혀 모르는 사이 LLM에 명령을 전달하는 새로운 방법으로 이어지고 있다.

트레일 오브 비츠와 블리핑컴퓨터(BleepingComputer)가 공개한 사례에 따르면, 사용자가 특정 이미지를 전달받아 제미나이에 업로드하거나 안드로이드의 ‘서클 투 서치’ 기능을 이용할 경우 문제가 발생할 수 있다. 구글의 백엔드 시스템은 대역폭과 연산 자원 절감을 위해 이미지를 압축하는데, 이 과정에서 숨겨져 있던 텍스트가 드러난다. 이후 이 텍스트는 프롬프트로 주입돼 제미나이가 사용자의 개인 캘린더 정보를 제3자에게 이메일로 전송하라는 지시를 수행하게 되는 것이다.

하지만 이 공격이 성공하려면 전체적인 공격 방식과 이미지를 특정 AI 시스템에 맞게 정교하게 조정해야 한다. 다시 말해, 비교적 적은 양의 개인 정보를 얻기 위해서 상당히 복잡한 과정을 거쳐야 하는 셈이다. 현재까지 이 기법이 해커에게 알려져 있거나 실제로 악용되고 있다는 증거는 없다. 그러나 연구팀은 이 사례가 보여주듯 단순히 LLM에 스크린샷을 올리고 “이게 뭐지?”라고 묻는 것 같은 평범한 행위조차 새로운 공격 벡터로 이어질 수 있음을 경고했다.
dl-itworldkorea@foundryco.com