오픈AI, 딥시크를 비롯한 주요 LLM(Large Language Model) 개발 업체는 각자의 최신 모델, 예를 들어 오픈AI의 o-시리즈나 딥시크의 R1이 이제 “추론”할 수 있다고 주장하지만, 이 주장을 곧이곧대로 받아들여서는 안 된다. 추론이 아니라 고급 텍스트 예측기에 몇 가지 부가 기능을 더한 것일 뿐이다. AI가 가진 진정한 혁신적 잠재력을 끌어내기 위해서는 ‘추론이 모든 문제의 해법’이라는 사고를 벗어나야 한다. 그 이유를 살펴보자.

챗GPT로 2024년을 독주한 오픈AI는 LLM 추론의 한 단계 도약을 장담하며 2025년에는 o-시리즈로 지배력을 이어가기를 희망했다. 그러나 중국의 딥시크가 노트북에서 그보다 훨씬 더 낮은 비용으로 비슷한 기능을 구현하자 o-시리즈의 환각 억제력에 대해 초기에 쏟아진 찬사는 금새 잦아들었다. 이후 두바오(Doubao)가 딥시크보다도 더 저렴한 경쟁 모델을 들고 나와 AI 지형을 뒤흔들고 있다. 주가가 하락하고 미국의 기술 주도권이 흔들리고, 오픈AI뿐 아니라 앤트로픽의 클로드 3.5 소네트에 대한 평가도 냉정해졌다.

그러나 LLM 패러다임의 진짜 문제는 단순히 비용이 아니라 LLM의 본질적인 결함이 모두 해결됐다는 환상에 있다. 이는 위험한 생각이며, 결국 큰 대가를 치러야 하는 막다른 길로 이어질 수 있다. 온갖 발전에도 불구하고 환각과 같은 문제는 여전히 해결되지 않았다. 필자가 AI의 미래는 결코 인공 일반 지능(Artificial General Intelligence, AGI)이나 LLM의 무한한 확장에 있지 않다고 믿는 이유가 여기에 있다. AI의 미래는 LLM과 지식 그래프의 융합, 특히 검색 증강 생성(Retrieval-Augmented Generation, RAG)으로 구조적 데이터가 가진 힘을 생성형 AI 모델과 결합하는 데 있다.

LLM은 아무리 저렴하거나 효율적이라 해도 근본적으로는 사전 학습된 고정된 모델이며, 재학습은 항상 비용이 많이 들고 실용적이지도 않다. 반면 지식 그래프는 동적이며 계속해서 진화하는 의미의 신경망으로, 추론을 위한 훨씬 더 적응성 높고 안정적인 기반을 제공한다. 구조화되고 상호 연결된 데이터를 그래프를 통해 LLM의 개념적 지도에 더하면 확률적 추측이 정밀한 추론으로 바뀐다. 이 혼합 접근 방식은 진정한 실용적 추론을 실현하며, 복잡한 기업 문제를 명확하게 해결할 수 있는 안정적인 방법을 제공한다. LLM의 “추론”으로는 제대로 충족하지 못하는 기능이다.

진정한 추론과 LLM이 추론을 시뮬레이션하기 위해 사용하는 트릭은 구분해야 한다. 모델 개발 업체는 각자의 최신 모델에 일종의 지름길을 탑재한다. 예를 들어 오픈AI는 모델이 컨텍스트 창에서 계산을 감지하면 코드를 주입해서 마치 추론하는 듯한 착시를 일으키지만, 이는 지능이 아닌 연출일 뿐이다. 이런 트릭은 핵심 문제, 즉 ‘모델은 자신이 무엇을 하는지 이해하지 못한다’는 문제를 해결하지 못한다. 현재의 LLM은 고전적인 논리적 실패(예를 들어 햇빛 아래에서 흰 셔츠 30벌이 건조되는 시간과 5벌이 건조되는 시간을 제대로 판단하지 못함)는 해결했지만 여전히 수많은 다른 논리적 빈틈이 존재한다. 그래프의 차이는 그럴듯한 트릭으로 한계를 가리는 것이 아니라 추론을 위한 구조적이고 심층적인 기반을 제공한다는 점이다.

LLM ‘추론’의 한계

챗GPT에 추론 역할을 억지로 맡길 때 어떤 일이 일어나는지는 이미 확인됐다. 확신에 찬 말투로 답변을 생성하지만 알고 보면 신뢰할 수 없는 답변이거나, 스스로를 학습시키기 위해 사유 데이터를 노출시킬 위험도 있다. 근본적인 결함이다. 금융 추세 예측, 공급망 관리, 도메인별 데이터 분석과 같은 작업을 위해서는 표면적인 추론 이상이 필요하다.

금융 사기 탐지를 예로 들어보자. “이 거래가 의심스러워 보이는가?”라는 질문에 LLM이 자신 있게 “예, 의심스럽습니다. 알려진 사기 패턴과 유사합니다”라고 답한다면 LLM은 계좌 간의 관계, 사용자의 과거 행동 또는 숨겨진 거래 루프를 실제로 이해하고 답하는 것일까? 그렇지 않다. 그저 학습 데이터에서 확률 가중치에 따라 선택된 문구를 읊을 뿐이다. 진정한 사기 탐지를 위해서는 거래 데이터 깊이 숨겨진 금융 네트워크에 대한 구조적 추론이 필요하며, 이는 LLM만으로는 제공할 수 없는 기능이다.

LLM을 현실 세계의 응용 분야에 적용하는 경우 문제는 더욱 심각해진다. 예를 들어, 어느 기업이 LLM을 사용해서 임상 시험 결과를 요약하거나 약물 상호작용을 예측한다고 가정해 보자. 모델은 “이 화합물 배합에 따라 약효가 30% 증가하는 것으로 나타났습니다”와 같은 응답을 생성할 수 있다. 그러나 임상 시험이 함께 진행되지 않았거나, 임상 시험이 심각한 부작용 또는 규제에 따른 제약 조건을 무시했다면 어떻게 될까? 매우 심각한 결과를 초래할 수 있을 것이다.

잘못된 응답이 재앙적인 결과를 초래할 수 있는 또 다른 분야는 사이버보안이다. 예를 들어 CSO가 LLM에 “이 네트워크 침해에 어떻게 대응해야 하나?”라고 묻는다고 가정해 보자. 모델이 제안하는 조치는 얼핏 그럴듯하게 들리지만 사실 기업의 실제 인프라와 최신 위협 인텔리전스, 또는 규정 준수 요구사항과 전혀 맞지 않을 수 있다. AI가 생성한 사이버보안 조언을 면밀한 검토 없이 따를 경우 기업은 더욱 취약한 상태가 될 수 있다.

위험 관리도 간과할 수 없다. 비즈니스 사용자가 LLM에 “내년에 회사의 가장 큰 재무적 위험은 무엇인가?”라고 묻는다면, 모델은 과거의 경기 침체를 기반으로 자신 있게 답변을 생성할 수 있다. 그러나 LLM에는 거시경제의 변화와 정부 규제 또는 산업별 위험에 대한 실시간 인식이 없다. 또한 현재 기준의 실제 기업 정보도 없다. 구조화된 추론과 실시간 데이터 통합 없이 내놓는 대답은 문법적으로 완벽하다 해도 결국 인사이트로 포장된 그럴듯한 추측에 불과하다.

이것이 바로 기업 AI에 구조화되고 검증 가능한 데이터가 절대적 필수 요소인 이유다. LLM은 유용한 인사이트를 제공할 수 있지만 지식 그래프, 그래프 기반 검색과 같은 진정한 추론 계층이 없으면 사실상 눈을 감은 채 비행하는 것과 같다. 목표는 단순히 AI가 답변을 생성하도록 하는 것이 아니라 그 답변의 배경이 되는 관계와 논리, 현실 세계의 제약 조건을 이해하도록 하는 것이다.

지식 그래프가 가진 힘

현실에서 필요한 모델은 벽으로 둘러싸인 기업 정보 공간 내에서 안전하게 운영되면서도 정확하고 설명 가능한 답변을 비즈니스 사용자에게 제공하는 모델이다. 학습 문제를 생각해 보자. 기업이 주요 LLM과 계약을 맺는다 해도 프라이빗 모델이 없다면 이 LLM은 폭넓은 학습 없이는 해당 기업의 도메인을 제대로 이해하지 못한다. 새로운 데이터가 도달하면 그 학습은 이미 유효 기간이 지나게 되고, 결국 값비싼 재학습 사이클을 또 거칠 수밖에 없다. 즉, o1, o2, o3, o4 모델을 얼마나 맞춤 설정하든 이 방식은 실용성이 없다.

이와 대조적으로, 잘 설계된 지식 그래프(특히 동적 알고리즘을 사용하는 그래프)로 LLM을 보완하면 재학습 없이 컨텍스트를 업데이트함으로써 이 문제를 해결할 수 있다. o1과 같은 LLM은 “x가 몇 개인가?”와 같은 질문을 합산 문제로 올바르게 해석할 수 있겠지만, 실제 환경에서 필요한 것은 “우리 AWS 계정에 서버가 몇 대인가?”와 같은 더 구체적인 질문을 이해하는 능력이다. 이는 추상적인 수학적 질문이 아니라 데이터베이스 조회에 해당한다.

지식 그래프는 첫 AI 시도부터 데이터에 대해 안정적으로 추론할 수 있도록 보장한다. 게다가 그래프 기반 접근 방식을 채택하면 LLM에서 더 안전하게 개인 데이터를 사용할 수 있다. 이는 가장 우수한 LLM이라도 단독으로는 해내기 어려운 부분이다.

현명한 선택을 위해서는 표면적인 수준을 넘어서야 한다. AI에는 값싼 학습 모델만이 아니라(물론 그것도 좋지만) 지식 그래프, 검색 증강 생성, 그리고 벡터 검색 및 그래프 알고리즘과 같은 고급 검색 방법이 필요하다.

*Dominik Tomicevic는 동적 실시간 기업 애플리케이션 전용으로 설계된 오픈소스 인메모리 그래프 데이터베이스를 제공하는 유럽 소프트웨어 기업 Memgraph의 CEO다.
dl-itworldkorea@foundryco.com