비즈니스 분야에서 AI 코딩 어시스턴트는 생성형 AI 혁신의 초기 성공 사례로 꼽힌다. 도입이 점차 확산하면서 프로그래밍 코파일럿은 개발 프로세스 전반에 빠르게 자리 잡으며 개발자의 생산성을 높이고 기본적인 프로젝트를 신속하게 시작하는 데 도움을 주고 있다.

하지만 AI 코딩 어시스턴트는 보안 측면에서 문제를 일으킬 수 있다. 많은 전문가가 가까운 미래에 AI가 생성한 코드의 양이 급격히 늘어나게 되면, 보안 책임자에게 잠재적인 악몽이 될 수 있다고 경고한다. 생성형 AI의 환각 현상에 관한 기존 논의에 더해, AI가 생성한 코드를 통해 API 키, 비밀번호, 토큰 등 민감 정보가 노출될 가능성이 높아졌다는 점도 우려로 떠오르고 있다.

깃가디언(GitGuardian)의 최근 연구에 따르면, 깃허브 코파일럿(GitHub Copilot)이 적용된 소프트웨어 리포지토리는 일반 리포지토리보다 민감 정보가 노출될 가능성이 더 높은 것으로 나타났다. 샘플로 조사된 리포지토리 중 6.4%에서 API 키, 비밀번호, 토큰 등 도난 위험이 있는 민감 정보가 발견됐다. 전체 리포지토리 중에서 기밀 정보가 노출된 비율이 4.6%인 것과 비교하면 높은 수치다.

깃가디언 연구팀은 이 수치가 민감 정보 유출 사고 비율이 40% 더 높다는 의미이며, 코딩 어시스턴트 사용이 개발자로 하여금 코드 품질과 보안보다 생산성을 우선하게 만들고 있을 수 있다고 경고했다. 또한 LLM이 생성한 코드는 전통적인 방식으로 작성된 소프트웨어보다 보안성이 본질적으로 낮을 수 있다고 덧붙였다.

AI 기반 소프트웨어 개발에 내재된 결함

본지와 인터뷰한 보안 전문가들은 AI 코딩 어시스턴트 사용이 보안성이 낮은 코드를 양산하고, 그 외에도 다양한 보안 위험을 초래하고 있다는 데 의견을 같이했다.

사이버보안 업체 블랙덕(Black Duck)의 수석 컨설턴트 데이비드 베나스는 이런 보안 문제는 인간이 작성한 코드로 AI 모델을 학습시키는 데서 비롯된 자연스러운 결과라고 설명했다.

베나스는 “코드를 생성하는 LLM을 인턴이나 주니어 엔지니어처럼 다루면 좋다. LLM의 기반이 되는 모델은 인간이 작성한 전체 코드 집합만큼이나 본질적으로 결함을 안고 있다. 여기에 환각, 허위 응답, 질문 오해, 잘못된 입력 처리 등 LLM 특유의 문제까지 더해져 더 많은 결함이 얹힌 셈”이라고 덧붙였다.

베라코드(Veracode) EMEA CTO 존 스미스는 “깃허브 코파일럿과 같은 AI 코딩 어시스턴트가 개발 속도를 높여주긴 하지만, 동시에 새로운 보안 위험도 함께 가져온다”라고 경고했다.

스미스는 “이런 도구는 보안 프랙티스에 관한 맥락 인식이 부족한 경우가 많아 적절한 감독 없이 사용될 경우 보안에 취약한 코드나 지속적인 취약점을 만들어낼 수 있다. LLM이 생성한 코드의 확산은 공급망 전반에 결함을 만들어내는 구조적 문제로 이어진다. 베라코드의 최근 보고서에 따르면, 현재 치명적인 보안 부채의 70% 이상이 서드파티 코드에서 비롯한다”라고 전했다.

간과되는 보안 통제

사이버아크 랩스(CyberArk Labs)의 보안 연구원 마크 처프는 AI 코딩 어시스턴트가 기존 시스템에서 일반적으로 적용되는 강력한 비밀 정보 관리 관행을 제대로 따르지 않는 경우가 많다고 지적했다.

처프는 “예를 들어 AI 코딩 어시스턴트는 소스코드나 설정 파일에 민감한 정보를 평문으로 삽입할 수 있다. 특히 코드의 상당 부분이 초기 단계 제품을 위해 생성되기 때문에 시크릿 매니저 같은 툴이나 실시간 비밀번호·토큰 삽입과 같은 보안 베스트 프랙티스가 자주 간과된다”라고 덧붙였다.

이어 “이미 앤트로픽이나 오픈AI 같은 기업의 API 키나 공개 키가 소스코드에 실수로 포함되거나 오픈소스 프로젝트에 업로드돼 악용 가능한 상태로 노출된 사례가 있었다. 비공개 프로젝트라 하더라도, 민감 정보가 하드코딩돼 있거나 바이너리 파일 또는 로컬 자바스크립트 내에 평문으로 저장돼 있다면 여전히 위험은 크다. 이런 정보는 쉽게 추출될 수 있다”라고 경고했다.

안전한 AI 기반 개발 프랙티스의 중요성

사이버보안 교육 기업 이머시브 랩스(Immersive Labs)의 애플리케이션 보안 담당 수석 전문가 크리스 우드는 깃가디언이 AI 코딩 어시스턴트의 위험성을 경고한 내용을 “경종을 울리는 신호”라고 표현했다.

우드는 “AI가 생산성을 높이는 데 엄청난 잠재력을 지니고 있지만, 이런 도구는 결국 학습 데이터와 개발자의 경계 수준만큼만 안전하다는 점을 잊지 않는 것이 중요하다”라고 말했다.

CISO와 보안 책임자는 가장 먼저 포괄적인 민감 정보 관리 전략을 수립해야 한다. 이와 함께 AI 코딩 어시스턴트 사용에 대한 명확한 정책을 마련하고, AI 기반 개발 환경에서 보안을 유지하기 위한 구체적인 교육을 개발자에게 제공해야 한다.

우드는 “AI가 코드 생성을 도와주는 상황에서 발생할 수 있는 취약점을 개발자가 식별하고 방지할 수 있는 지식과 역량을 갖추도록 해야 한다. 이를 위해서는 안전한 코딩 원칙에 대한 토대는 물론, 민감 정보 유출 패턴에 대한 이해, 그리고 중요한 자격 증명을 적절하게 관리하고 저장하는 방법에 대한 숙지가 필요하다”라고 덧붙였다.

우드는 “개발자에게 올바른 지식을 갖추게 하고 보안을 최우선으로 하는 사고방식을 심어준다면, AI의 이점을 활용하면서도 민감 정보 유출과 같은 보안 취약점 증가 위험을 줄일 수 있다”라고 조언했다.

선제적 대응의 필요성

LLM이 생성하는 코드가 많아질수록 개발자는 그 코드를 더 신뢰하게 되고, 이는 문제를 더욱 악화시키며 악순환을 만든다. 이 같은 흐름은 초기에 차단해야 한다.

베라코드의 스미스는 “적절한 보안 테스트가 없다면, AI가 생성한 취약한 코드가 미래 LLM의 학습 데이터로 쓰이게 될 것이다. 소프트웨어를 만드는 방식이 근본적으로 빠르게 변화하는 만큼, AI에 대한 신뢰가 보안을 희생하는 대가로 이어지면 안 된다”라고 강조했다.

문제를 선제적으로 통제하려는 노력을 기울이지 않고 사후 대응에만 의존한다면 AI의 발전 속도는 보안 통제 수준을 계속해서 앞질러 갈 것이다.

스미스는 “CISO는 에이전트 기반 워크플로우와 개발자 워크플로우에 보안 가이드라인을 신속하게 내재화하고 보안 점검과 수동 코드 리뷰를 자동화해야 한다. 서드파티 라이브러리를 점검하는 것은 AI가 생성한 코드에 검증되지 않은 구성 요소로 인한 취약점이 포함되지 않도록 하는 데 필수적”이라고 조언했다.

AI 코딩 어시스턴트를 활용해 개발한 소프트웨어는 CI/CD 파이프라인에 비밀 스캔과 같은 자동화 도구를 통합하고, 개발자의 수동 리뷰를 의무화하는 방식으로 검증 절차를 거쳐야 한다.

사이버아크의 처프는 “발견된 취약점에 신속하게 대응할 수 있는 사고 대응 계획을 마련하고 모든 AI 생성 코드는 지속적으로 모니터링하고 정제해야 한다”라고 강조했다.

자격 증명 관리에 여전히 어려움을 겪는 기업들

API 키, 비밀번호, 토큰 등의 자격 증명 관리는 애플리케이션 보안 분야에서 오래된 과제다. 최근의 AI 기반 코드 개발 혁신은 이 문제를 더 악화시키고 있다.

깃가디언의 ‘비밀 확산 현황 2025(State of Secrets Sprawl 2025)’ 보고서에 따르면, 유출된 민감 정보는 전년 대비 25% 증가했으며, 2024년 한 해 동안 공개 깃허브에서만 새롭게 감지된 자격 증명 정보가 2,380만 건에 달하는 것으로 나타났다.

깃가디언은 하드코딩된 민감 정보가 다양한 곳에 존재하지만, 특히 슬랙, 지라 같은 협업 플랫폼이나 보안 통제가 상대적으로 약한 컨테이너 환경처럼 보안의 사각지대에서 더욱 빈번하게 발견된다고 설명했다.

깃허브의 ‘푸시 보호(Push Protection)’ 기능이 알려진 비밀 패턴을 감지해 개발자를 도와주고 있음에도 불구하고, 현재 전체 유출 사례 중 절반 이상이 하드코딩된 비밀번호, 데이터베이스 자격 증명, 사용자 정의 인증 토큰 등 제네릭 시크릿(generic secret)으로 나타났다. 깃가디언은 이에 대해 “API 키나 오스(OAuth) 토큰처럼 인식 가능한 패턴을 따르는 정보와 달리, 이들 자격 증명은 표준화된 패턴이 없어 기존 도구로는 감지하기 거의 불가능하다”라고 경고했다.

깃가디언은 2024년 미국 재무부 침해 사고를 경고 사례로 들며 주의를 촉구했다. 깃가디언 CEO 에릭 푸리에는 “재무부가 사용하던 비욘드트러스트(BeyondTrust)의 API 키 하나가 유출되면서 공격자가 정부 시스템에 침투할 수 있었다. 이는 정교한 공격이 아니었다. 수백만 달러 규모의 보안 투자를 무력화시킨 단순한 자격 증명 유출 사례일 뿐이었다”라고 언급했다.

느려도 너무 느린 대응 속도

이번 조사에서는 유출된 민감 정보의 70%가 최초 노출 후 2년이 지나도 여전히 활성화된 상태로 남아 있는 것으로 나타났다. 그 이유에 대해 보안 전문가들은 대응 작업이 복잡하고 시간이 많이 걸리기 때문이라고 설명했다.

사이버보안 업체 API컨텍스트(APIContext)의 CEO 마유르 우파다야야는 “유출된 API 키, 비밀번호, 토큰에 제대로 대응하지 못하는 경우가 많다. 탐지는 문제 해결의 일부일 뿐이고, 이를 안전하게 바꾸는 과정은 복잡하고 쉽게 지연되기 때문이다. 편의성을 위해 코드에 삽입된 정적 키에 대한 의존이 여전히 주요 취약점으로 작용하고 있다”라고 지적했다.

우파다야야는 “키를 주기적으로 교체하고 수명이 짧은 토큰을 사용하며, 최소 권한 접근을 적용하는 등의 보안 베스트 프랙티스는 잘 알려졌지만, 이를 대규모 환경에서 지속적으로 유지하는 것은 쉽지 않다. 기업은 자동 스캐닝 도구, 선제적 모니터링, 개발자 지원 강화 등을 통해 보안 프랙티스가 일관되게 지켜질 수 있도록 보다 강력한 가이드라인을 구축해야 한다”라고 강조했다.
dl-itworldkorea@foundryco.com