생성형 AI가 등장한 지 불과 몇 년밖에 되지 않았지만, 이미 우리는 환멸과 행복감을 번갈아 가며 느끼고 있는 것 같다. 그러나 더 걱정스러운 것은 가트너의 하이프 사이클에서 우리가 어디에 있느냐가 아니라, 생성형 AI가 때로는 우연히, 때로는 의도적으로 이미 무기화되었다는 점이다. 새로운 기술이 주목받으면서 보안을 간과하는 것은 당연한 일이지만, 생성형 AI의 경우 보안상의 결함으로 인해 기술이 널리 사용되는 데 필요한 신뢰가 약화될 수 있다.

기술 출시 초기에는 성능이나 편의성 같은 다른 문제가 보안보다 우선시될 수 있다. 수년 동안 오픈소스 업계에서는 보안에 대해 너무 무심했고, 실제로 소스 코드를 적극적으로 살펴보는 ‘눈’이 거의 없는데도 “눈만 충분하면 모든 버그는 드러난다”와 같이 말을 믿었다. 오픈소스 코드는 그렇지 않더라도 오픈소스 프로세스가 보안을 지향하는 것은 사실이다. 하지만, 당시에는 아무도 이를 악용하지 않았기 때문에 많은 오픈소스 소프트웨어가 안전할 가능성이 훨씬 더 높았을 뿐이고, 우리는 보안을 천부적인 권리로 받아들이는 잘못을 저질렀다.

이 속 편한 신화는 2014년 하트블리드에 의해 산산조각이 났다. 그 이후로 리눅스 및 기타 유명 오픈소스 소프트웨어에 대한 공급망 공격이 꾸준히 발생하면서 라이선스가 아닌 오픈소스 보안이 개발자가 반드시 해결해야 할 문제로 떠올랐다. 실제로 최근 한 보고서에 따르면, 오픈소스 멀웨어는 2023년 이후 200% 증가했으며 개발자가 오픈소스 패키지를 프로젝트에 포함함에 따라 계속 증가할 것으로 예상된다. 이 보고서는 “오픈소스 멀웨어는 진입 장벽이 낮고, 저자 검증이 없으며, 사용량이 많고, 사용자가 다양한 생태계에서 번성한다”고 지적한다.

이런 상황을 더욱 악화시키는 것은 점점 더 많은 개발자가 시간을 절약하기 위해 AI를 사용해 버그 보고서를 작성한다는 현실이다. 파이썬의 세스 라슨이 말한 것처럼 “저품질, 스팸성, LLM 환각 보안 보고서”는 프로젝트 관리자에게 시간을 낭비하는 쓰레기로 과부하를 일으켜 프로젝트의 보안을 유지하기 어렵게 만든다. 심바이오틱 시큐리티의 CEO 제롬 로버트에 따르면, 소프트웨어에 버그가 들어가는 데 AI도 책임이 있다. 로버트는 “깃허브 코파일럿과 같은 생성형 AI 플랫폼은 깃허브와 같은 사이트에 게시된 코드를 통해 학습하며, 그 과정에서 나쁜 습관을 익힐 가능성이 있다”라며, “보안은 부차적인 목표이기 때문”이라고 설명했다. 즉, 생성형 AI는 감수성이 매우 예민해 소스 자료에서 발견한 버그(또는 인종 차별적인 댓글)를 그대로 되풀이할 수 있다는 것이다.

아직도 “돈 주고도 볼 수 없는 동영상을 AI가 만들 수 있다니 믿을 수 없다”는 데모를 X에 올리며 사람들을 놀라게 하는 데 생성형 AI를 사용한다면, 이런 것은 중요하지 않다. 하지만 우리가 사용하는 모든 소프트웨어를 구축하는 데 생성형 AI가 점점 더 많이 사용됨에 따라 보안이 중요해졌다. 아주 많이.

안타깝게도 오픈AI와 LLM을 구축하는 업체들에는 아직 보안이 중요하지 않다. 새로 발표된 FLI(Future of Life Institute)의 AI 안전 지수에 따르면, 업계 LLM은 전반적으로 AI 대학 1학년에서 낙제점을 받고 있는 것으로 나타났다. 보고서의 저자 중 한 명이자 UC 버클리 교수인 스튜어트 러셀은 “AI 업체에서 ‘안전’이라는 제목 아래 많은 활동이 이루어지고 있지만, 아직 그다지 효과적이지 않다”고 지적한다. 또한 “현재 어떤 활동도 안전을 정량적으로 보장하는 것은 없으며, 상상할 수 없을 정도로 방대한 양의 데이터로 학습된 거대한 블랙박스를 통해 AI에 접근하는 현재의 방식으로는 안전을 보장하는 것이 불가능해 보인다”고 말한다. 그다지 고무적이지 않은 상황이다.

한편, 생성형 AI는 여전히 고객을 찾고 있으며, 널리 채택되고 있는 분야 중 하나는 소프트웨어 개발이다. 개발자는 코드 완성을 위해 깃허브 코파일럿과 같은 도구를 점점 더 많이 사용하고 있지만, 이런 도구가 악성 코드에 오염됐다면, 어떻게 될까? 이는 증가하는 위협이며 탐지도 쉽지 않다. 개발자가 이런 도구에 의존하면 문제는 더욱 심각해질 것이다.

하지만 희망의 근거도 있다. 앞서 오픈소스에 대해 언급했듯이 기업의 보안 강화 요구가 높아짐에 따라 LLM 보안은 개선될 가능성이 높다. 현재 LLM의 정확성과 유용성을 개선해야 한다는 압박이 보안의 우선순위를 끌어올리고 있다. 이미 생성형 AI 보안에 대한 불안감 때문에 도입을 주저하는 사례도 적지 않다. 기업은 생성형 AI 업체의 과대광고에 현혹되지 않고 더 높은 수준의 보안을 제공하도록 요구해야 한다.
dl-itworldkorea@foundryco.com