컨슈머리포트의 연구에 따르면 목소리를 복제하는 생성형 AI 도구를 만드는 일부 업체가 사기업체의 악용 가능성을 방지하는 데 충분한 조치를 취하지 않고 있다.

연구에 따르면 해당 서비스를 제공하는 6개 업체 중 4곳이 개인의 목소리가 부정하게 복제되는 것을 방지하는 충분한 장벽을 구축하지 않은 것으로 나타났다.

컨슈머 리포트가 음성 복제 도구를 테스트한 결과 일레븐랩(ElevenLabs), 스피치파이(Speechify), 플레이HT(PlayHT), 로보(Lovo)의 4개 업체가 사용자가 자신의 목소리를 복제할 때 화자의 동의를 받는 방법을 제공하지 않는 것으로 나타났다. 또한 음성 복제를 방지하기 위한 기술적 보호 장치도 없었다.

이 매체는 4개 업체의 도구에서 공개적으로 사용 가능한 오디오를 사용해 쉽게 음성을 복제할 수 있었다. 사용자가 음성을 복제할 법적 권한이 있다는 확인란을 클릭하기만 하면 됐다.

미리 녹음된 오디오의 업로드를 제한해 더 많은 안전장치를 마련한 디스크립트(Descript)와 리젬블 AI(Resemble AI) 같은 업체도 있었다.

디스크립트 사용자는 음성 클론 생성의 근거로 사용되는 동의서를 읽어야 했다. 리젬블 AI는 고품질의 복제품을 만들기 위해 사람이 실시간으로 음성을 녹음해야 했으며, 미리 녹음된 오디오를 기반으로 복제품을 만드는 시도는 품질이 좋지 않았다.

하지만 테스터는 안전장치를 우회할 수 있었다. 컨슈머 리포트는 “음성 복제 산업이 기술 초기 단계부터 규범과 표준을 채택해 사기 위험을 낮출 것을 요구한다”라고 주장했다.

생성형 AI 도구로 음성 복제가 쉬워지면서 사기에 악용되는 사례도 늘어나고 있다.

사기 공격자들은 AI 도구를 소셜 엔지니어링에 활용해 피해자의 돈을 가로채거나 잘못된 정보를 퍼뜨리고 있다. 많은 경우 가까운 친척이나 친구가 곤경에 처한 것처럼 실제와 같은 음성을 만들어 발신자를 속이고 송금이나 민감한 정보 누설을 유도하는 방법이 사용된다.

AI 기술은 음성 신원 확인을 피해 은행 계좌에 접근하는 데에도 사용되고 있다. FBI는 12월에 금융 사기에 사용되는 영상 및 음성 복제 수법에 대한 경고를 발표했다.

영국의 스탈링 은행(Starling Bank)은 고객에게 통화 상대방이 복제 음성이 아님을 확인하는 문구를 사용할 것을 권장하고 있다. 또한 사용자가 소셜 미디어 접근을 줄이면서 목소리를 보호할 것을 권했다.

음성 및 비디오 복제를 통해 디지털 아바타를 생성하는 신디시아(Synthesia)와 D-ID의 생산성 도구는 기업에서 마케팅 및 프레젠테이션용으로도 사용된다. 이 도구는 개인의 영상과 음성 복제를 결합한 사실적 동영상을 만들 수 있어 제작팀 고용 비용을 절감한다.

신디시아에는 남용을 방지하기 위한 윤리 및 AI 정책이 있다. 신디시아 대변인 알렉산드루 보이카는 복제를 요청하는 사람이 영상 속 인물과 동일한지 확인하기 위해 생체 인식 기반 확인 절차를 마련해 비합의적인 복제를 방지한다고 말했다.

또한 유해한 콘텐츠가 생성되는 것을 방지하기 위해 공개된 정책에 따라 동영상이 생성되기 전인 생성 시점에 강력한 콘텐츠 관리 규정을 적용한다. 신디시아는 독립적인 레드 팀 업체와 협력해 최대한 강력한 접근 방식을 마련하고 있다고 밝혔다.
dl-itworldkorea@foundryco.com