점점 더 많은 범죄자가 LLM을 활용하고 있다. 보안 전문업체 센티넬 랩스(Sentinel Labs)는 아키라봇(AkiraBot) 그룹이 오픈AI의 챗GPT를 사용해 스팸을 유포했다고 발표했다.

아키라봇은 의심스러운 검색 최적화 서비스를 홍보하기 위해 중소 규모 웹사이트에 대량으로 메시지를 보내는 것을 자동화하는 프레임워크이다. 이 프레임워크의 제작자는 파이썬 기반 스크립트를 사용해 광고하는 도메인 이름을 바꾼다.

전문가들이 추정하는 아키라봇의 AI 채팅 프롬프트

SentinelLabs

아키라봇은 채팅 API를 통해 gpt-4o-mini를 사용해 다양한 웹사이트에 대한 맞춤형 스팸 또는 마케팅 메시지를 생성했다. 이 메시지는 문의 양식과 실시간 채팅을 통해 전송됐다. 각 대상 페이지에 대한 동적 적응으로 인해 메시지가 개인화되기 때문에 스팸으로 감지하기 어렵다.

센티넬 연구팀에 따르면, AI가 생성한 콘텐츠의 이런 고유성은 표준화된 텍스트 템플릿과 같은 기존의 식별 기능이 부족하기 때문에 스팸을 방어하기가 더 어렵다. 손쉽게 차단할 수 있는 것은 교대로 사용되는 도메인뿐이다.

센티넬은 아키라봇이 서버에 남긴 로그 파일을 통해 성공률과 실패율을 측정했다. 한 파일은 2024년 9월부터 2025년 1월 사이에 8만 개 이상의 웹사이트에 고유 메시지를 성공적으로 보냈음을 보여준다. 반면에 약 1만 1,000개의 도메인을 대상으로 한 메시지는 실패했다. 오픈AI는 연구팀에 감사를 표하고, 이런 챗봇 사용은 서비스 약관을 위반하는 것이라고 재차 강조했다.

오픈AI는 센티넬의 보고서를 받은 후 스팸 발송자의 계정을 정지시켰다. 그러나, 이런 악의적인 활동이 4개월 동안 발각되지 않았다는 점에서 사후 대응의 한계를 보여준다.
dl-itworldkorea@foundryco.com