기업이 생성형 AI나 에이전트형 AI(agentic AI)를 도입해야 한다는 압박은 상당하다. 하지만 빠르게 진화하는 기술을 활용하는 기업과는 도저히 경쟁할 수 없다고 불평하는 경영진의 말을 들을 때마다 웃음이 나온다.

그럼에도 생성형 AI와 맞설 수 있는 해법은 존재한다. 접근 방식은 교과서적일 만큼 명확하다. 기술의 문제점을 모두 나열하고, 그 취약점을 중심으로 부가 가치를 구축하는 것이다. 이러한 관점에서 기업이 제공할 수 있는 경쟁 우위 요소를 살펴본다.

신뢰성

생성형 AI 시스템은 신뢰성이 낮다. 생성되는 답변이나 권고 사항 대부분이 틀렸다는 의미는 아니다. 문제는 오류가 빈번하게 발생하며, 일정한 패턴이 없다는 점이다.

이런 오류는 환각 현상, 학습에 사용된 데이터의 부족·노후·품질 문제, 모델 미세 조정에 사용된 데이터의 문제, 질의 해석 오류, 사용자 질의 표현의 부정확성 등 다양한 원인에서 발생한다. 이 외에도 수많은 변수가 존재한다.

또 다른 정확성 및 신뢰성 문제는 언어와 관련돼 있다. 생성형 AI 모델은 비영어권 정보를 처리할 때 정확도가 급격히 떨어진다. 다국적 기업 입장에서는 치명적인 약점이 될 수 있다.

이들 시스템은 가드레일을 무시하는 경우도 잦아, 사용자가 설정한 제약을 따르지 않을 수 있다.

이 모든 요소를 종합하면 정보기술 책임자는 이런 시스템을 신뢰하기 어렵다. 공식 보고서에서 주기적으로 사실을 꾸며내는 유능한 직원과 함께 일하는 것과 같다. 문제를 지적하면 사과하지만, 앞으로도 계속 꾸며낼 수밖에 없다고 말하는 직원에게 중요한 업무를 맡길 수 있을까?

최근 한 사이버 보안 기업과 대화를 나눴다. 해당 기업은 규정 준수, 보안, 정확성, 데이터 유출 문제를 감수하면서까지 생성형 AI 도구를 사용하는 대신 머신러닝만을 활용하기로 결정했다. 이벤트 경보 분류를 담당하는 알파 레벨은 시계열 모델링으로 알려진 머신러닝 접근법을 사용하며, 기업 규모 기준에서는 비용도 훨씬 낮다고 밝혔다.

현실 세계의 전문성

일부 경영진은 생성형 AI와 경쟁하기 위한 수단으로 전문성을 언급한다. 타당한 지적이지만, 그 전문성은 생성형 AI를 능가하는 정보여야 한다.

법률 사무소를 예로 들어보자. 특히 판례 연구 영역에서 변호사는 주장을 뒷받침할 선례를 찾는다. 이 수준에서는 생성형 AI가 유리할 수 있다. 전 세계 모든 판결문을 문자 단위로 기억할 수 있기 때문이다. 어느 변호사도 그렇게 할 수는 없다.

하지만 판례 연구는 단순한 문서 열람이 아니다. 판결의 의도, 미묘한 맥락, 관련된 역사적 배경을 이해해야 한다. 이런 영역은 생성형 AI가 수행할 수 없다.

과거 일간지 전담 법원 기자로 근무한 적이 있다. 어느 날 오후 법원 지하의 법률 도서관에서 주에서 가장 큰 로펌의 대표 파트너가 책을 뒤적이고 있는 모습을 보았다.

왜 후배 변호사에게 맡기지 않느냐고 묻자, 변호사는 자신이 40년간 이 일을 해왔으며 젊은 변호사들이 결코 찾지 못할 판례를 자주 발견한다고 말했다. 어디를 찾아야 하는지, 어떻게 해석해야 하는지를 몸으로 알고 있다는 설명이었다.

이런 숙련도야말로 생성형 AI가 도달할 수 없는 영역이다.

기자가 몸담고 있는 또 다른 분야인 언론도 마찬가지다. 일부 언론사는 생성형 AI로 기사를 작성한다. 정형화된 날씨 기사나 단순한 스포츠 결과, 일부 부고 기사에는 적용해도 될 것이다.

그러나 독자를 놀라게 하는 이야기는 다르다. 독자가 알지 못하는 사실을 발견하고, 기존 인식과 충돌하는 내용을 제시해야 한다. 생성형 AI는 이미 존재하는 내용을 재구성할 뿐이며, 새로운 발견을 만들어내지 못한다.

영화나 텔레비전 대본을 쓰는 소설가도 비슷한 결론에 도달한다. 생성형 AI는 수준 낮은 작가를 대체할 수는 있겠지만, 다음 날 시청자가 대사를 인용할 정도의 히트작을 만들어낼 가능성은 낮다.

데이터 유출

데이터 유출과 데이터 통제 부족 문제는 시스템의 성장 방식과 직결돼 있다. 사용자의 질의가 학습에 활용되는지, 월요일에 입력한 정보가 금요일에 경쟁사의 답변에 반영되는지 여부는 여전히 불분명하다.

오픈소스, 온프레미스 폐쇄형 시스템, 심지어 완전 분리형 시스템을 활용해 이런 유출을 제한하는 방법은 존재한다. 캐피털원(Capital One)은 생성형 AI를 안전하게 활용하기 위해 이런 제한을 실험 중인 대표적인 사례다.

데이터 위험 없이 생성형 AI의 유연성을 제공하는 폐쇄형 시스템을 구축할 수 있다면, 시장에서 큰 성공을 거둘 가능성이 있다.

에이전트형 AI

에이전트형 AI 시스템은 대규모 위험 없이 에이전트를 활용할 수 있는 잠금형 구조를 설계할 기업의 등장을 기다리고 있는 분야다.

요약하면, 생성형 AI와 에이전트형 AI와 경쟁할 수 있는 방법은 다수 존재한다. 다만 그 해법을 챗GPT에게 묻지는 말아야 한다.
dl-itworldkorea@foundryco.com