LLM은 점점 더 빨라지고 더 많은 기능을 갖추게 된다. 그렇다고 LLM이 더 정확해진다는 것은 아닌데, 생성형 AI의 가장 큰 단점이라고 할 수 있다. 엄청나게 빠르면서 동시에 엄청나게 틀릴 수 있다는 것이다. 마케팅이나 소프트웨어 개발과 같은 분야에서는 테스트와 리뷰를 통해 오류를 찾아 수정할 수 있기 때문에 문제가 되지 않을 수 있다. 그러나 애널리스트 베네딕트 에반스가 지적했듯이, “자동화할 수 있었으면 하는 작업의 종류도 다양하다. 이런 작업은 지루하고 시간이 많이 걸리며, 전통적인 소프트웨어로는 할 수 없다. 결과의 질이 백분율이 아니라 이분법적으로 판단되기 때문이다.” 즉, 에반스는 “일부 작업의 경우, 정답이 더 낫거나 더 나쁘지 않다. 정답이 맞거나 틀리거나이다”라고 말한다.

생성형 AI가 확률이 아닌 사실을 알려줄 수 있을 때까지는, 아무리 딥시크가 계산 속도를 향상시킨다 하더라도, 다양한 사용례에 적용하기에는 충분하지 않을 것이다.

사실 확인이 필요한 AI

1월에 딥시크가 AI의 모든 것을 바꾸어 놓은 것 같다. 엄청난 속도와 극적으로 낮아진 비용. 딥시크는 AI 커뮤니티에 “충격파”를 일으켰지만, 그 영향력은 오래 가지 않을 것이다. 머지않아 더 빠르고 저렴한 무언가가 등장할 것이다. 그러나 우리가 가장 필요로 하는 무언가가 등장할까? 더 높은 정확성과 진실성 말이다. AI를 더 개방적으로 만드는 것으로는 그 문제를 해결할 수 없다. 그보다 더 본질적인 문제가 있다.

에반스는 “매주 더 나은 답변을 제공하는 더 나은 AI 모델이 등장한다. 하지만 많은 질문에는 더 나은 답변이 아니라 올바른 답변만 존재한다. 그리고 LLM은 올바른 답변을 할 수 없다”라고 지적한다. 그렇다고 해서 성능과 비용 개선이 필요하지 않다는 것은 아니다. 예를 들어, 딥시크는 생성형 AI 모델을 애플리케이션에 구축하려는 기업에 더 저렴한 가격으로 제공한다. 그리고 투자자 마틴 카사도와 전 마이크로소프트 임원 스티븐 시노프스키가 제안한 것처럼, 인프라가 아니라 애플리케이션 계층이 생성형 AI 개발에 있어 가장 흥미롭고 중요한 영역이다.

그러나 문제는 많은 애플리케이션이 필자가 이전에 언급한 것처럼 “훈련 데이터에서 관찰된 패턴에 기반한 확률적 결과”가 아니라 옳고 그름에 의존한다는 것이다. 에반스가 표현한 것처럼, “더 나은 모델이 더 좋고 더 정확한 결과를 만들어내는 작업도 있지만, 더 나은 결과나 더 정확한 결과 같은 것은 없고, 옳고 그름만 있는 작업도 있다.”

확률보다는 진실을 말할 수 있는 능력이 없다면, 많은 작업에서 LLM은 쓸모가 없을 수도 있다. 문제는 LLM이 매우 확신할 수 있는 동시에 틀릴 수도 있다는 것이다. 에반스의 예를 인용할 가치가 있다. 그는 1980년 미국에서 엘리베이터 운영자의 수(미국 인구 조사 보고서에서 명확하게 확인된 수치)를 찾으려고 시도하면서 다양한 답변을 얻었다.

“먼저, 질문을 건조하게 던지면, 출처가 명확하지 않고 잘못된 구체적인 답변을 얻는다. 그런 다음, 주요 출처를 통해 답변을 확인하려고 시도해 보면, 출처 목록과 함께 다른 잘못된 답변을 얻는다. 출처는 실제로 미국 인구조사이고, 첫 번째 링크는 올바른 PDF로 연결된다. 그러나 숫자는 여전히 잘못됐다. 흠. 실제 PDF를 제공해 보면? 아니. PDF에서 정확히 어디를 찾아야 하는지 설명해 보면? 아니. 웹을 찾아보라고 요청해 보면? 아니, 아니, 아니. 내가 원하는 것은 옳은 대답일 가능성이 더 높은 대답이 아니다. 특히 내가 알 수 없는 대답은 더욱 그렇다. 내 원하는 것은 정확한 대답이다.

그냥 틀린 대답

하지만 정답이 하나만 있는 질문은 어떨까? 에반스가 생성형 AI를 사용하려고 했던 특별한 목적을 고려할 때, 이 시스템은 항상 정답을 제공하지 못할 정도로 충분히 틀릴 것이다. 어쩌면, 어쩌면, 더 나은 모델이 시간이 지남에 따라 이 문제를 해결하고 일관되게 정확한 결과를 산출할 수 있을지도 모릅니다. 어쩌면.

에반스가 던진 더 흥미로운 질문은 “생성형 AI의 오류가 특징이지 버그가 아닌 곳이 있는가”라는 것이다. 틀리는 것이 어떻게 자산이 될 수 있는지 생각하기는 어렵지만, 업계(그리고 인간)는 미래를 예측하는 데 정말로 서툴기 마련이다. 오늘날 우리는 생성형 AI의 비결정적 접근 방식을 결정적 시스템에 적용하려고 노력하고 있으며, 그 결과 환각을 일으키는 기계가 만들어지고 있다.

생성형 AI가 실리콘 밸리가 기술(예를 들어 블록체인)에 대한 희망찬 생각에 지나치게 몰두하는 또 하나의 사례로 보이지는 않는다. 생성형 AI에는 현실적인 측면이 있다. 그러나 그곳에 도달하기 위해서는 확실성보다는 가능성을 바람직한 결과로 받아들이는 새로운 프로그래밍 방법을 찾아야 할 것이다.
dl-itworldkorea@foundryco.com