LLM이 사용자의 질문에 등록되지 않았거나, 비활성 상태이거나, 심지어 악성 사이트로 연결되는 잘못된 웹 주소를 응답으로 제시하고 있다. 사용자들이 특정 브랜드의 로그인 위치를 묻는 질문에 LLM이 아무렇지 않게 잘못된 URL을 알려주는 사례가 속출하고 있다.

사이버보안 업체 넷크래프트(Netcraft)의 최신 연구에 따르면, 인기 있는 LLM에 유명 브랜드의 로그인 주소를 요청하자, 그중 34%는 실제 해당 브랜드가 소유하지 않은 URL이었다. 하나는 실제 활성화된 피싱 사이트로 연결되기까지 했다.

엔터프라이즈 전략 그룹의 수석 애널리스트 멜린다 마크스는 “이번 연구는 해커가 널리 알려진 브랜드 URL을 흉내 내 민감한 정보나 금융계좌 접근 권한을 탈취하려는 위협에 대비한 경각심이 필요함을 보여준다”라고 말했다. 이어 “특히 대형 브랜드는 고객에게 신뢰할 수 있는 URL을 명확히 공지해 브랜드 신뢰를 보호해야 한다”라고 강조했다.

넷크래프트는 응답된 URL 중 약 30%가 아직 등록되지 않았거나 비활성 상태임을 확인했다. 이는 공격자가 악성 사이트를 구축하기 위한 최적의 기반이 된다고 지적했다.

넷크래프트의 애널리스트 빌랄 라시드는 “사용된 프롬프트는 일반적인 질문 형태였으며, 지금도 실세로 존재하는 위험”이라고 밝혔다. 이어 “이 문제는 구조적으로 반복 가능하며 이미 현실화되고 있다”라고 경고했다.

생성형 AI가 피싱 도메인을 만들어냈다

연구 결과 중 5%는 전혀 관계없는 비즈니스 사이트로 연결됐으며, 가장 충격적인 사례는 피싱 도메인으로의 직접 연결이었다. AI 기반 검색 엔진 퍼플렉서티(Perplexity)는 ‘웰스파고(Wells Fargo)’의 로그인 주소를 묻는 질문에 ‘hxxps://sites[.]google[.]com/view/wells-fargologins/home’라는 URL을 제시했다. 이 사이트는 진짜 로그인 페이지를 모방한 그럴듯한 복제본이었다. 넷크래프트 연구진은 “AI가 해당 URL이 적절하다고 판단해 추천했다”라고 분석하며, “이런 결과가 나오는 원인은 AI가 정보를 ‘생성’할 뿐 ‘조회’하지 않기 때문”이라고 덧붙였다.

슬래시넥스트(SlashNext)의 현장 CTO J 스티븐 코우스키는 “생성형 AI 모델이 존재하지 않는 도메인을 추측해 제안하면, 공격자는 해당 도메인을 손쉽게 등록한 뒤 피해자를 기다릴 수 있다”라고 경고했다. 그는 이를 “공격자에게 피해자 지도를 건네주는 것과 같다”라고 표현하며, “단 하나의 악성 링크로도 수천 명이 위협에 노출될 수 있다”라고 강조했다.

넷크래프트는 금융 및 핀테크 분야의 국가 브랜드가 가장 큰 피해를 입고 있다고 밝혔다. 신용조합, 지역 은행, 중견 금융 플랫폼은 글로벌 대형사보다 더 취약했으며, 학습 데이터에 덜 노출된 중소 브랜드는 특히 LLM의 환각 대상이 되기 쉬웠다.

다크트레이스(Darktrace)의 현장 CISO 니콜 캐리그넌은 “LLM은 정보를 조회하는 것이 아니라 생성하기 때문에, 사용자가 이를 사실로 받아들일 경우 대규모 악용으로 이어질 수 있다”라고 설명했다. 이어 “모델은 정확성보다 유용성을 위해 설계됐으며, 검증된 데이터에 기반하지 않는 한 위험한 URL을 계속 만들어낼 것”이라고 지적했다.

연구진은 “이러한 잘못 생성된 URL을 모두 사전에 등록하는 방식은 효과적이지 않다”라고 밝혔다. 도메인 변형이 무한정 가능하며, LLM은 언제든 새로운 URL을 만들어낼 수 있기 때문에 이는 슬롭스쿼팅(slopsquatting) 공격으로 이어질 수 있다.

AI 학습 데이터에 악성 깃허브 저장소 삽입

모든 잘못된 URL이 무의식적인 환각은 아니었다. 넷크래프트는 별도의 조사에서 공격자가 AI 학습 데이터를 조작하기 위해 깃허브에 악성 저장소를 고의로 삽입한 정황도 발견했다.

연구진에 따르면, ‘Moonshot-Volume-Bot’이라는 프로젝트가 여러 개의 가짜 깃허브 계정을 통해 게시됐다. 이 계정들은 프로필 이미지, SNS 계정, 실제 코딩 활동 내역 등 실제 개발자처럼 보이도록 정교하게 구성되어 있었으며, AI 학습 파이프라인에 의도적으로 노출되도록 설계됐다.

이 ‘문샷’ 프로젝트는 솔라나 블록체인 API를 위조한 것으로, 최종적으로 피해자의 자금을 공격자의 지갑으로 전송하도록 설계된 것으로 나타났다.

캐리그넌은 “AI 학습 파이프라인에 사용되는 데이터셋이 위조되면 AI 공급망 전체에 위험이 확산된다”며 “이것은 단순한 환각이 아닌 의도적인 조작이다. 데이터의 무결성, 출처, 정제, 검증은 LLM의 안전성을 확보하는 핵심 요소”라고 강조했다.

넷크래프트는 모니터링과 피싱 사이트 제거 같은 사후 대응책을 제시했지만, 노마 시큐리티(Noma Security) CTO 오피스의 갈 모얄은 사전 대응의 중요성을 강조했다. 모얄은 “모델이 URL을 추천하기 전 도메인 소유 여부를 검증해야 한다”며 “모델이 URL을 단순 추측하게 해서는 안 된다”라고 말했다. “모든 URL 응답은 검증 절차를 거쳐야 한다”는 것이다.
dl-itworldkorea@foundryco.com