AI 보안 기업 이레귤러(Irregular)와 카스퍼스키(Kaspersky)의 독립적인 두 연구가 같은 결론에 도달했다. 모든 최전선 대규모 언어 모델은 구조적으로 예측 가능한 비밀번호를 생성하며, 표준 엔트로피 측정 도구는 이를 심각하게 과대평가한다. AI 코딩 에이전트는 이미 해당 자격증명을 프로덕션 인프라에 자율적으로 심어놓고 있으며, 기존 비밀 정보 스캐너는 이를 탐지할 방법이 없다.

생성형 AI가 기업 개발 워크플로우에 통합되는 방식을 오랫동안 면밀히 들여다봐온 보안 전문가로서, 이미 의심하고 있던 것이 수치로 증명되는 장면은 여전히 충격적이다. AI 보안 평가 기업 이레귤러는 클로드 오퍼스 4.6에 50회 독립 세션에서 비밀번호를 생성하도록 요청했다. 그 결과 나온 고유 문자열은 30개에 불과했다. 특정 문자열 하나인 G7$kL9#mQ2&xP4!w가 18번 반복됐다. 반복률 36%다. 94개 인쇄 가능한 아스키(ASCII) 문자 집합에서 진정으로 균일한 분포를 따른다면, 50번 중 특정 16자 문자열이 두 번이라도 등장할 확률은 사실상 0에 가깝다. 이 모델은 비밀번호를 생성하는 것이 아니라 검색하는 것이다.

바로 이 구분이 새롭게 부상하고 있지만 아직 충분히 주목받지 못한 위협의 핵심이다. 대규모 언어 모델이 생성한 비밀번호는 우리가 전문가에게 적용하도록 훈련해온 모든 표면적 기준을 충족한다. 충분한 길이, 대소문자 혼용, 숫자와 특수문자 혼합, 인식 가능한 사전 단어 부재. 자동화된 검사 도구는 이를 일관되게 ‘우수’로 평가한다. 위험은 다른 위협 모델을 위해 설계된 도구에 어떻게 보이느냐가 아니라, 자기회귀 생성의 분포적 특이성을 이해하는 공격자에게 어떻게 작동하느냐에 있다.

구조적 비호환성

근본적인 문제는 설정이 아닌 아키텍처에 있다. NIST SP 800-90A Rev. 1은 보안에 민감한 모든 엔트로피 생성에 암호학적으로 안전한 의사난수 생성기(CSPRNG) 사용을 요구한다. 어떤 문자도 우선적으로 가중치가 부여되지 않는다. 위치적 편향도 없다. 모든 토큰은 앞선 토큰과 독립적이다.

대규모 언어 모델은 근본적으로 상반된 원리로 작동한다. 누적된 맥락을 바탕으로 가장 그럴듯한 다음 토큰에 최대 확률을 부여하도록 학습된다. 동시에 탁월한 생성 유창성을 가능하게 하는 원동력이자, 암호화 용도로는 근본적으로 적합하지 않은 이유이기도 하다. 비밀번호 생성을 요청받으면 대규모 언어 모델은 사람이 만든 비밀번호가 어떤 특성을 갖는지에 대한 내재화된 분포 지식을 활용한다. 대문자로 시작하는 빈도, 중간 위치에 숫자가 몰리는 경향, 느낌표로 끝나는 선호. 이것들은 이상 현상이 아니라 학습 데이터 통계의 충실한 표현이다.

이레귤러의 연구는 생성 코퍼스 전반의 관찰된 문자 빈도 분포에 섀넌 엔트로피를 적용해 이 격차를 수치화한다. 전체 94자 아스키 집합에서 진정한 암호학적 난수 생성기로 생성된 16자 비밀번호는 약 98비트의 엔트로피를 갖는다. 클로드 오퍼스 4.6은 약 27비트를 달성하는데, 암호화 기준 대비 약 72% 부족하다. 로그 확률 방법으로 평가한 GPT-5.2의 20자 비밀번호는 엔트로피가 20비트에 가깝다. 널리 사용되는 zxcvbn 라이브러리를 포함한 기존 강도 측정 도구는 동일한 비밀번호를 98~100비트로 평가한다. 격차가 미미한 수준을 넘어 거의 한 자릿수에 달한다.

온도 설정은 해결책이 아니다

대규모 언어 모델 설정에 익숙한 실무자들의 반사적인 반론은 샘플링 온도를 높이면 문자를 추출하는 확률 분포를 평탄화해 이런 분포 편향을 완화할 수 있다는 것이다. 이레귤러의 실증 결과는 이 직관을 명확히 반박한다. 클로드의 최대 설정인 온도 1.0에서 실시한 테스트는 실제 엔트로피에서 통계적으로 의미 있는 개선을 보이지 않는다. 문자 위치 편향은 샘플링 매개변수가 아닌 모델 가중치에 인코딩돼 있으며, 온도 조절은 해당 가중치 기반 분포보다 하위 단계에서 작동한다.

카스퍼스키 데이터 사이언스 팀 리드 알렉세이 안토노프는 챗GPT, 메타의 라마(Llama), 딥시크(DeepSeek)가 생성한 비밀번호 1,000개를 분석하는 보완 연구를 수행했다. 문자 빈도 히스토그램은 세 모델 모두에서 뚜렷한 비균일성을 드러냈다. 챗GPT는 x, p, L 문자를, 라마는 해시 기호와 p를, 딥시크는 t와 w를 체계적으로 선호한다. 온도 0.0에서 클로드는 매번 동일한 문자열을 생성한다. 이 결과는 서로 다른 모델 계열과 측정 방법론에 걸쳐 일관되게 나타나며, 이 취약점이 우연이 아닌 구조적 문제임을 뒷받침한다.

실질적인 함의는 이렇다. 타깃 자격증명을 생성하는 데 사용된 대규모 언어 모델을 파악한 공격자는 94의 16승에 달하는 전체 키스페이스에 대한 무차별 대입 공격을 시도할 필요가 없다. 모델별 공격 사전을 구성하고 실제 생성 빈도 순으로 후보를 정렬해 몇 자릿수나 작은 키스페이스를 상대로 확률 최적화 검색을 실행하면 된다. 카스퍼스키의 크래킹 테스트에서 딥시크 비밀번호의 88%, 라마 비밀번호의 87%가 표준 GPU 하드웨어를 사용한 표적 공격을 견디지 못했다. 챗GPT 비밀번호도 33%가 뚫렸다.

에이전트 주입 문제

사용자 교육으로 해결 가능한 부분, 즉 대화형 AI 인터페이스에 비밀번호를 요청하지 말라는 조언이 미치는 범위는 전체 노출의 일부에 불과하다. 더 심각하고 훨씬 다루기 어려운 벡터는 전문 개발 툴체인에 내장된 AI 코딩 에이전트가 자율적으로 자격증명을 생성하는 것이다.

깃허브 코파일럿, 클로드 코드 또는 유사한 도구와 같은 AI 코딩 에이전트가 데이터베이스 초기화, 컨테이너화된 서비스 설정, API 부트스트래핑을 수반하는 작업 명세를 받으면 작업 완료의 기능적 전제 조건으로 자격증명을 생성한다. 비밀번호를 생성하라는 명시적 지시가 없어도 에이전트는 맥락에서 필요성을 추론한다. 생성된 자격증명은 도커 컴포즈 환경 변수, .env 설정 파일 또는 쿠버네티스 시크릿 매니페스트에 삽입되고, 기능적 정확성에 집중하느라 자격증명 출처까지 신경 쓸 여력이 없는 개발자에 의해 버전 관리 시스템에 커밋된다.

2025년 LLM 애플리케이션을 위한 OWASP 상위 10대 위험 목록은 안전하지 않은 출력 처리를 심각한 위험 범주로 지정한다. 대규모 언어 모델이 생성한 콘텐츠가 적절한 검증 없이 다운스트림 시스템과 프로세스에 의해 소비되는 바로 이 실패 유형을 포함한다. 이렇게 도입된 자격증명은 깃리크스(Gitleaks)나 트러플호그(Trufflehog)에 탐지되지 않는다. 이 도구들은 알려진 비밀 정보 형식에 대한 패턴 매칭을 사용하며, 암호학적 난수 생성기 기반 자격증명과 대규모 언어 모델 기반 자격증명을 구분하는 문자 위치 엔트로피 분포를 평가하는 기능이 없기 때문이다.

기업의 대응 우선순위

기업이 체계적으로 대응할 준비가 된 경우 해결책은 충분히 실행 가능하다. 다음 우선순위는 위험 감소의 시급성 순으로 정렬됐다.

에이전트 코딩 도구가 기업에 광범위하게 도입된 2023년 초부터 현재까지 AI 지원 저장소 전체에 대한 소급 감사를 실시한다. 설정 파일, 도커 컴포즈 YAML, .env 항목에 특별한 주의를 기울여야 한다. 대문자로 일관되게 시작하고, 중간에 숫자가 몰리고, 끝에 특수문자가 붙는 등 대규모 언어 모델 특유의 분포 특성을 보이는 자격증명은 겉보기 복잡성과 무관하게 조사해야 한다.

암호학적 난수 생성기 호출로 출처를 명확히 추적할 수 없는 모든 자격증명을 교체한다. 파이썬의 secrets.token_urlsafe(), openssl rand -base64, /dev/urandom이 유일하게 허용되는 출처다. 출처를 증명하는 감사 추적은 운영상 가치가 있으며, 추적이 불가능한 경우 교체를 전제로 판단해야 한다.

모든 자격증명 생성에 암호학적 난수 생성기 명시적 호출을 의무화하도록 AI 코딩 도구 시스템 프롬프트와 보안 개발 지침을 수정한다. 지시는 명확해야 한다. 에이전트는 비밀번호 문자열을 직접 생성하지 않고 적절한 플랫폼 함수를 호출한다. 이 한 문장짜리 정책만 일관되게 시행해도 에이전트 주입 문제를 발생 시점에 차단할 수 있다.

알려진 형식에 대한 패턴 매칭에만 의존하지 않고 문자 위치 분포를 평가할 수 있는 엔트로피 인식 분석으로 정적 비밀 정보 스캐닝을 강화한다. 이 역량 공백은 현재 이 위협 유형의 탐지를 실용화하는 데 있어 핵심 기술 과제다.

기업 계약 채널을 통해 대규모 언어 모델 업체에 문제를 공식 제기한다. 비밀번호 생성 요청을 자기회귀 생성 파이프라인이 아닌 암호학적 난수 생성기 백엔드로 라우팅하는 아키텍처 수정은 AI 제공업체가 선택할 수 있는 엔지니어링 결정이다. 2025년 8월 공개된 NIST SP 800-63B 개정 4판은 인증 자격증명의 엔트로피 요건에 대한 명확한 지침을 제시한다. 해당 표준에 대한 업체의 준수는 계약상 정당하게 요구할 수 있는 사항이다.

더 넓은 인식론적 도전

보안 커뮤니티에서 ‘바이브 비밀번호(vibe passwords)’라고 불리기 시작한 대규모 언어 모델 생성 비밀번호 현상은 AI 생성 콘텐츠가 보안에 민감한 인프라와 더 깊이 얽혀가면서 반복될 더 넓은 인식론적 도전의 구체적인 사례다. 대규모 언어 모델이 맥락에 적절하고 인간적으로 그럴듯한 출력을 생성하는 데 탁월한 능력을 갖게 만든 학습 목표는, 패턴과 그럴듯함이 아무런 도움이 되지 않는 바로 그 지점에서 진정한 예측 불가능성을 요구하는 암호학적 보안의 수학적 요건과 구조적으로 양립 불가능하다.

진단 도구와 해결 경로는 이미 존재한다. 보안 커뮤니티에 시급히 필요한 것은 이 문제가 이미 프로덕션 환경에 상당한 규모로 확산됐다는 체계적 인식이다. 선제적 정책이 아니라 즉각적이고 의도적인 기업 차원의 대응이 필요한 소급 조사가 이미 시작됐어야 할 상황이다.
dl-itworldkorea@foundryco.com