오픈AI가 AI 스택 내 두 가지 결함을 수정했다. AI 에이전트가 민감한 데이터를 의도치 않은 방식으로 이동시킬 수 있는 취약점이었다.

비욘드트러스트(BeyondTrust)와 체크포인트 리서치(Check Point Research) 소속 연구진이 각각 공개한 두 취약점은 오픈AI 코딩 에이전트 코덱스(Codex)와 챗GPT 코드 실행 환경에서 발견됐다. 하나는 명령 주입을 통한 깃허브 토큰 탈취를 가능하게 했고, 다른 하나는 사용자 데이터를 몰래 유출하는 은닉 채널을 노출했다.

두 취약점 모두 현재 패치가 완료됐다. 다만 연구진은 AI 툴에 코드 실행 및 외부 시스템 연동 자율성을 부여하는 것 자체가 장기적인 위험을 내포하고 있다고 경고했다. 모델 자체를 공격하지 않고도 악의적인 행위가 가능해지기 때문이다.

코덱스 명령 주입, 브랜치 이름이 백도어가 되다

비욘드트러스트 연구진은 클라우드 컨테이너에서 작업을 실행하는 오픈AI 코딩 에이전트 코덱스에서 깃허브 브랜치 이름 파라미터와 관련된 명령 주입 취약점을 발견했다.

코덱스가 작업을 수행할 때는 저장소를 복제하고 단기 깃허브 토큰으로 인증한다. 문제는 초기 설정 단계에서 사용자가 입력한 값을 처리하는 방식에 있었다. 구체적으로 브랜치 이름 파라미터가 적절히 검증되지 않아 공격자가 실행 환경에 임의의 셸 명령을 주입할 수 있었다.

악의적으로 조작된 브랜치 이름을 활용하면 컨테이너 내부에서 코드를 실행할 수 있고, 코덱스가 저장소 접근에 사용한 토큰이 그대로 노출됐다. 연구진은 탈취한 토큰을 작업 출력 또는 외부 네트워크 요청을 통해 외부로 빼낼 수 있다는 것을 실증했다.

이는 일상적인 개발자 워크플로가 잠재적인 자격 증명 탈취 경로로 전환될 수 있음을 의미한다. 깃허브 토큰은 비공개 저장소에 광범위한 접근 권한을 부여하는 경우가 많아 소프트웨어 공급망 공격에서 높은 가치를 지닌다.

비욘드트러스트 블로그 게시물에 따르면, 오픈AI에 취약점을 보고하자 오픈AI는 신속하게 대응해 취약한 파라미터의 입력 유효성 검사를 강화하고 실행 환경에서 명령이 구성되는 방식을 개선했다. 패치는 공개 전에 배포됐으며, 실제 악용 사례는 보고되지 않았다고 게시물은 덧붙였다.

AI 워크플로에서 입력 유효성 검사 실패가 증가하는 추세로, 이는 고전적인 명령 주입 취약점으로 이어지고 있다.

챗GPT 은닉 외부 채널, 사용자 데이터 유출

오픈AI가 챗GPT에서도 자격 증명 탈취를 넘어서는 또 다른 취약점을 수정한 것으로 알려졌다. 체크포인트 리서치 연구진은 챗GPT 코드 실행 런타임에서 악성 프롬프트 하나만으로 활성화되는 은닉 외부 통신 경로를 발견했다.

해당 채널은 외부 데이터 공유에 관한 플랫폼의 기존 안전 장치를 성공적으로 우회했다. 사용자의 명시적 승인 없이도 런타임이 채팅 메시지, 업로드된 파일, 생성된 출력물 등의 데이터를 외부 서버로 전송할 수 있었으며, 어떠한 알림도 표시되지 않았다.

체크포인트 리서치 연구진은 이 동작을 활용하는 프롬프트를 직접 제작해 런타임이 비공개 채팅 데이터를 패키징해 외부 서버로 전송하도록 만들 수 있음을 시연했다. 평범해 보이는 대화가 은밀한 데이터 유출 파이프라인으로 둔갑할 수 있다는 의미다.

연구진은 백도어가 심어지거나 악의적으로 설계된 커스텀 GPT도 동일한 메커니즘을 악용해 사용자 모르게 민감한 정보를 빼낼 수 있다고 밝혔다. 해당 채널이 실행 환경 내 원격 셸 접근 수립에도 활용될 수 있다는 우려도 덧붙였다.

실제 악용 사례는 보고되지 않았지만, 연구진은 그 파급력이 상당하다고 지적했다. 오픈AI는 코덱스 취약점 패치와 비슷한 시점에 코드 실행 환경의 외부 통신 통제를 강화해 문제를 수정했다.

오픈AI는 두 취약점에 대한 CSO의 논평 요청에 즉각 응하지 않았다.
dl-itworldkorea@foundryco.com