사이버보안 연구팀이 새로운 유형의 공급망 공격인 슬롭스쿼팅(Slopsquatting)에 대해 경고했다. 슬롭스쿼팅은 존재하지 않는 종속성을 추천하는 환각적인 생성형 AI 모델에 의해 유발된다.

미국 텍사스 대학, 버지니아 공대, 오클라호마 대학의 연구팀에 따르면, 패키지 환각은 위협 행위자가 이용할 수 있는 대형 언어 모델(LLM) 생성 코드에서 흔히 볼 수 있는 현상이다.

연구팀은 논문에서 “파이썬이나 자바스크립트 같은 인기 있는 프로그래밍 언어가 중앙 집중식 패키지 저장소와 오픈소스 소프트웨어에 의존하고, 코드 생성 LLM의 출현과 결합해 소프트웨어 공급망에 새로운 유형의 위협인 패키지 환각을 야기했다”라고 밝혔다.

연구진은 GPT-4, GPT-3.5, 코드라마, 딥시크, 미스트랄 등 16가지 코드 생성 모델을 분석한 결과, 가짜 권장 패키지의 약 5분의 1을 관찰했다.

환각 패키지를 악용하는 공격자

연구진에 따르면, 위협 행위자는 환각적인 패키지를 등록하고 악성 코드를 배포할 수 있다.

또한 연구진은 “만약 하나의 환각 패키지가 AI 도구로 널리 추천되고 공격자가 그 이름을 등록했다면, 광범위한 침해의 가능성이 현실화될 수 있다. 그리고 많은 개발자가 철저한 검증 없이 AI 도구의 결과를 신뢰한다는 점을 감안할 때, 기회의 창은 활짝 열려 있다”라고 경고했다.

슬롭스쿼팅은 파이썬 소프트웨어 재단(PSF)의 상주 보안 개발자 세스 라슨이 타이포스쿼팅 기술과 유사하다는 이유로 처음 만든 용어다. 타이포스쿼팅에서와 같이 사용자의 실수에 의존하는 대신, 위협 행위자는 AI 모델의 실수를 기대한다.

테스트 샘플에서 추천된 상당수의 패키지(19.7%, 20만 5,000개)가 가짜로 판명되었다. 딥시크나 위자드코더(WizardCoder) 같은 오픈소스 모델은 평균 21.7%로, GPT 4와 같은 상용 모델(5.2%)에 비해 훨씬 가짜일 확률이 높은 것으로 판명되었다.

연구팀은 코드라마(출력물의 3분의 1이 환각)가 가장 환각 확률이 높고, GPT-4 터보(환각이 3.59%에 불과)가 최고의 성능을 발휘한다고 밝혔다.

나쁜 소식

패키지 환각은 지속적이고 반복적이며 믿을 수 있는 것으로 밝혀졌기 때문에 특히 위험하다.

연구자가 이전에 환각 패키지를 생성했던 500개의 프롬프트를 다시 실행했을 때, 10번의 연속적인 재실행에서 43%의 환각이 매번 다시 나타났고, 그 중 58%는 두 번 이상 반복되었다.

연구는 이러한 지속성이 “대다수 환각이 단순한 잡음에 불과한 것이 아니라 모델이 특정 프롬프트에 반응하는 방식의 반복 가능한 인공물임을 나타내”며 공격자에게 더 매력적이라고 결론지었다.

또한, 환각 패키지 이름은 의미 유사성이 있는 것으로 관찰되었다. 그 중 38%는 실제 패키지와 문자열 유사성이 중간 정도였으며, 유사한 이름 구조를 가지고 있음을 시사한다. 또한 “오타는 환각의 13%에 불과하다”라고 덧붙였다.

이번 분석이나 연구 논문 모두 실제 슬롭스쿼팅 사례를 언급하지는 않았지만, 두 가지 모두 보호 조치를 권고했다. 또한 개발자에게 프로덕션과 런타임 전에 종속성 스캐너를 설치해 악성 패키지를 찾아낼 것을 권장했다. 보안 테스트를 서두르면 AI 모델이 착각에 빠지기 쉽다. 최근 오픈AI도 모델 테스트 시간과 자원을 대폭 줄여 심각한 위협에 노출돼 많은 비난을 받은 바 있다.

dl-itworldkorea@foundryco.com