중국발 AI 모델의 편향 문제가 다시 도마 위에 올랐다. 새로운 연구에 따르면 딥시크(DeepSeek) AI는 중국 당국이 정치적으로 민감하게 여기는 지역이나 단체와 관련된 프롬프트가 입력될 경우 의도적으로 오류가 포함된 코드를 생성할 수 있는 것으로 나타났다. 이 결과는 기업 사이에서 중국산 AI 시스템의 보안성과 신뢰성에 대한 새로운 우려를 불러일으키고 있다.

워싱턴포스트 보도에 따르면, 크라우드스트라이크(CrowdStrike) 연구팀은 거의 동일한 프로그래밍 요청을 사용자나 지역만 바꿔 제시하는 방식으로 딥시크를 실험했다.

산업 제어 시스템용 코드처럼 일반적인 요청에서도 이미 상당수 오류가 포함된 결과가 나왔지만, 프로젝트 대상이 티베트, 대만, 파룬궁 등 중국 당국이 민감하게 여기는 지역이나 단체로 설정되자 오류율이 급격히 증가했다.

이는 처음 제기된 논란이 아니다. 올해 초 미국 국무부의 한 고위 관계자는 딥시크가 중국 군사 및 정보기관 활동을 지원해 왔고 앞으로도 그럴 가능성이 크다고 경고한 바 있다.

편향에서 비롯한 보안 위험

보고서에서 크라우드스트라이크는 이런 행태가 ▲중국 정부 지침을 따르는 AI 엔진의 특성 ▲특정 지역에 대한 훈련 데이터 부족 ▲혹은 해당 지역을 반체제 세력과 연관 지시할 경우 모델 자체가 의도적으로 오류 코드를 생성하는 메커니즘 때문일 수 있다고 밝혔다.

업계 전문가들은 이런 패턴이 기업에 중대한 함의를 지닌다며 경고했다.

사이버미디어리서치(Cybermedia Research)의 산업연구 부사장 프라부 람은 “AI 모델이 정치적 지침의 영향을 받아 오류나 편향된 코드를 생성한다면, 특히 중립성이 중요한 민감한 시스템에서 기업은 본질적인 위험에 직면한다. 이는 운영, 평판, 규제 측면에서 심각한 결과로 이어질 수 있다”라고 말했다.

카운터포인트리서치(Counterpoint Research)의 연구 부사장 닐 샤 역시 국가 안보나 규제의 제약 속에서 운영되는 기업일수록 더욱 신중해야 한다고 강조했다.

샤는 “민감한 워크플로우에서 외국산 AI 모델을 활용하는 경우, 국가 차원의 AI 인증 제도와 수출통제 규정을 1차 방어선으로 삼아야 한다. AI 시스템에 대한 신뢰는 모델의 인지도나 오픈소스 여부와 상관없이 투명성, 책임성, 지속적인 감독을 통해서만 확보될 수 있다”라고 덧붙였다.

AI 생태계 전반의 구조적 공백

애널리스트들은 이번 사안이 딥시크만의 문제가 아니라 국경을 넘는 표준화와 거버넌스의 부재로 인해 AI 파운데이션 모델 생태계 전반에 내재된 구조적 위험이라고 지적한다.

샤는 “파운데이션 모델이 급격히 늘어나고 기업이 이를 기반으로 애플리케이션과 코드를 구축하면서 CIO와 IT 책임자는 반드시 다층적인 실사 프레임워크를 마련해 실행해야 한다. 그 프레임워크는 훈련 데이터의 투명성, 강력한 데이터 프라이버시와 보안 거버넌스 정책을 보장해야 하며, 최소한 지정학적 편향·검열 영향·지식재산권(IP) 침해 여부에 대한 철저한 점검을 포함해야 한다”라고 강조했다.

또한 CIO는 훈련 데이터와 알고리즘의 투명성을 검토하고 지정학적 맥락을 고려하며, 독립적인 제3자 평가와 통제된 파일럿 테스트를 거친 후에야 대규모 도입으로 나아가야 한다.

사이버미디어리서치의 람은 “AI의 중립성, 안전성, 윤리적 준수를 보장할 수 있는 인증 및 규제 체계가 점점 더 필요해지고 있다. 국내외 표준화가 마련돼야 기업이 AI 출력을 신뢰할 수 있고 편향되거나 정치적 영향을 받은 시스템에서 발생할 수 있는 위험을 완화할 수 있다”라고 조언했다.
dl-itworldkorea@foundryco.com