또다시 ‘그 일’이 벌어졌다. 이번에는 애플이다.

애플은 최근 iOS 18.3의 뉴스 앱에서 AI가 생성한 뉴스 요약 기능을 비활성화해야 했다. 이유는 짐작할 수 있을 것이다. 뉴스 및 엔터테인먼트 카테고리의 AI 기반 알림 요약이 때때로 환각을 일으키거나 거짓말을 하고, 잘못된 정보를 퍼뜨렸기 때문이다.

익숙한 일처럼 들리는가?

사용자들이 요약 내용에 대해 불만을 제기했지만, 애플은 BBC 뉴스에서 공식적인 불만을 제기한 후에서야 조치를 취했다. BBC는 자사의 뉴스 중 여러 개가 부적절하게 요약됐다고 애플에 알렸다. 일부는 중대한 오류를 포함하고 있었다.

애플의 생성형 AI 도구는 유나이티드헬스케어 CEO 브라이언 톰슨을 살해한 혐의로 기소된 루이지 맨지오니가 스스로 목숨을 끊었다고 잘못 요약했다. 또한 PDC 세계 다트 챔피언십 대회가 시작되기도 전에 루크 리틀러가 우승했다고 잘못 보도했으며, 스페인의 테니스 스타 라파엘 나달이 커밍아웃했다고 잘못된 주장을 했다.

애플은 실제 뉴스를 요약하며 또 다른 잘못된 정보를 전달했다. 이스라엘 총리 베냐민 네타냐후가 체포됐고, 피트 헥세스가 해고됐으며, 트럼프가 다시 취임하기도 전에 트럼프 관세가 인플레이션을 촉발했다고 보도했다. 이 외에도 수십 건의 허위 정보를 쏟아냈다.

애플은 이 기능이 회사를 곤경에 빠뜨리고 기능 철회로 몰아넣을 것이라는 사실을 알지 못한 채 출시했다. 생성형 AI를 활용한 정보 전달을 어떤 규모로든 자동화하려는 모든 회사가 비슷한 문제를 겪고 있다는 사실을 고려하면 애플의 결정은 놀라운 일이다.

예를 들어, 마이크로소프트는 스타트(Microsoft Start)의 여행 섹션에서는 자선 단체인 오타와 푸드 뱅크(Ottawa Food Bank)를 “관광 핫스팟”으로 소개하며 방문객에게 “공복 상태”로 오라고 권유하는 가이드를 생성했다.

2023년 9월, 마이크로소프트 뉴스 포털 MSN은 42세의 나이로 세상을 떠난 전 NBA 선수 브랜든 헌터에 대한 AI 생성 부고 기사를 게재했는데, 헤드라인에서는 헌터를 “42세의 쓸모없는 선수”라고 표현했고 본문에서는 “두 시즌 동안 67개의 비디오 게임에서 활약했다”라고 썼다.

또한 MSN은 한 여성의 죽음에 관한 가디언 기사에 부적절한 AI 생성 설문을 첨부했다. 해당 설문은 독자에게 살인, 사고, 자살 등의 옵션을 제시하며 사망 원인을 추측하도록 요청했다.

구글의 AI 바드(Bard)는 2024년 2월 첫 공개 시연에서 제입스 웹 우주망원경이 태양계 외부의 행성을 처음으로 촬영했다는 잘못된 주장을 내놨다. 실제로 태양계 외부 행성이 처음 사진으로 기록된 것은 약 16년 전의 일이다.

이는 수많은 사례 중 일부에 불과하다.

문제 1 : AI는 인간이 아니다

브랜든 헌터 사례는 많은 점을 시사한다. AI는 어떤 일을 하는 사람이 “유용”하고, 죽음은 더 이상 그 일을 할 수 없다는 것을 의미하며, “유용”의 반대말은 “쓸모없다”는 것을 “알” 정도로 언어에 대해 충분히 알고 있다. 그러나 AI는 부고 기사에서 죽음으로 인해 그 사람이 “쓸모없어졌다”라고 말하는 것이 극도로 문제가 된다는 사실을 전혀 이해하지 못한다.

LLM 기반 챗봇은 본질적으로 상황에 대한 이해가 부족하며, 인간의 맥락을 파악하지 못하고 사실과 허구, 진실과 거짓의 차이를 구분하지 못한다. 사회적 공감 능력이 없는 소시오패스라는 표현 외에는 더 나은 용어를 찾을 수 없을 정도로 부고 기사와 기업 실적 보고서의 감정적 차이를 구분하지 못한다.

이런 오류를 범하는 데는 몇 가지 이유가 있다. LLM은 오류, 편견, 불일치가 포함된 방대한 데이터 세트를 학습한다. 대부분 데이터가 신뢰할 만하더라도 모델이 생성할 것으로 예상되는 모든 주제를 다루지 못할 수 있으며, 이로 인해 지식 격차가 발생할 수 있다. 이 외에도 LLM은 이해나 사고보다는 확률을 사용해 단어를 선택하는 통계적 패턴을 기반으로 응답을 생성한다. ‘다음 단어 예측 엔진(next-word prediction engine)’이라고 불리는 이유이기도 하다.

무엇보다 가장 큰 문제는 AI는 인간이 아니며, 지각도 없고 사고할 능력도 없다는 것이다.

문제 2 : 인간은 AI가 아니다

대부분 사람은 자신이 실제로 완전한 정보를 가지고 의사소통하지 않는다는 사실에 주의를 기울이지 않는다. 간단히 예를 든다. 필자가 친구에게 “안녕, 요즘 잘 지내?(Hey, what’s up?)”라고 말하면 “별일 없어, 넌?(Not much. You?)”라고 대답할 가능성이 높다.

이 질문에 대해 논리 기계는 아마도 대기에 있는 여러 층, 위성, 그리고 그 너머의 행성과 별들에 대해 설명할 것이다. 질문에 따라 사실대로 대답한 것이지만, 질문자가 실제로 묻고자 하는 의도를 파악하지 못하고 질문 그대로의 뜻에만 초점을 맞췄다.

간단한 이 질문에 예상되는 방식으로 대답하려면 그 문화의 일원이자 언어적 관습을 이해하는 인간이거나, 그런 관습에 따라 적절히 답변하도록 명시적으로 프로그래밍된 시스템이어야 한다.

인간은 의사소통을 할 때 공유된 이해, 문맥, 억양, 표정, 몸짓, 상황 인식, 문화적 참조, 과거 상호작용 등 여러 요소에 의존한다. 이는 언어에 따라 다르게 나타난다. 가령 영어는 세계에서 문자 그대로의 의미를 가장 명확히 전달하는 언어 중 하나다. 다른 언어라면 인간과 기계 간 의사소통에서 더 큰 문제가 발생할 가능성이 높다.

인간의 의사소통 관습이 생성형 AI 도구와 일치하려면 오랜 시간이 걸릴 것이다. 그렇기 때문에 AI 챗봇을 자주 사용하는 사람은 종종 소프트웨어가 자신의 질문을 고의로 회피하는 것처럼 느낄 수 있다.

가장 큰 문제 : 기술 기업의 자만심

정말 놀라운 것은 기업들이 계속 이런 일을 한다는 점이다. 여기서 ‘이런 일’이란 불특정 다수에게 대규모로 전달되는 감독되지 않는 콘텐츠 생성 시스템 출시를 말한다.

핵심은 ‘규모’에 있다. 한 사용자가 챗GPT를 통해 잘못되거나 터무니없는 답변을 받은 경우라면, 그 사용자는 어깨를 으쓱하고 다시 시도할 가능성이 높다. 때로는 챗봇이 사과하고 다시 시도하도록 오류를 지적할 수도 있다. 이런 경우에는 큰 문제가 발생하지 않는다.

하지만 수백만 명의 사용자에게 오답을 내뱉는다면, 특히 많은 사용자가 전체 기사를 읽는 대신 요약본만 읽는 애플의 상황에서는 큰 문제가 된다. “와, 베냐민 네타냐후가 체포됐다고? 전혀 예상 못 했는데”라고 말하는 사용자 중 상당수가 잘못된 정보를 그냥 믿고 돌아다니고 있다.

기술 기업은 자사 기술이 다른 기업보다 뛰어나다고 생각한다.

구글은 이렇게 생각했다. “그래, 마이크로소프트에 그런 일이 있었지만, 우리의 기술은 더 나아.”

애플도 이렇게 생각했다. “그래, 구글에도 그런 일이 있었지만, 우리의 기술은 더 뛰어나.”

이런 기업에 분명히 말한다. 아니다. 당신들의 기술이 더 나은 것이 아니다. 현재 LLM 기술의 수준은 한계가 명확하며, 생성형 AI 챗봇은 이런 작업을 신뢰할 수 있는 수준으로 처리하는 단계에 도달하지 못했다.

애플의 오류가 주는 교훈

LLM 기반 챗봇을 사용하는 데는 올바른 방법과 잘못된 방법이 있다. 올바른 방법은 지능적인 프롬프트로 여러 방법으로 질문하며, 해당 정보를 사용하거나 믿기 전에 항상 사실 확인을 하는 것이다. 챗봇은 브레인스토밍, 중요하지 않은 간단한 정보 제공 또는 합법적인 출처로 연결되는 연구의 단순한 시작점으로 사용하기에 좋다.

하지만 LLM 기반 챗봇을 감독 없이 대규모로 배포되는 콘텐츠 작성에 사용한다면 반드시 굴욕과 실패로 이어진다.

이 이야기의 교훈은 생성형 AI가 여전히 예측 불가능하며, 어떤 형태로든 불특정 다수를 상대로 대규모로 진행되는 커뮤니케이션에서 기업을 안정적으로 대변하기에는 아직 적합하지 않다는 점이다.

따라서 담당하는 프로젝트에서 이런 일이 발생하지 않도록 주의하라. 많은 사람에게 정보를 전달하는 콘텐츠 제작 프로젝트에서는 추가적인 발전이 있을 때까지는 단호하게 “안 된다”라고 말하라. AI는 인간이 아니며 사고할 수 없다. 공개적인 역할을 맡기면 고객에게 혼란을 주고 회사를 곤란하게 만들 것이다.
dl-itworldkorea@foundryco.com