오픈AI가 2022년 말 챗GPT를 대중에 공개한 이후, LLM 기반 생성형 AI 혁신은 놀라운 속도로 발전했다.

불과 2년 4개월 전에는 챗GPT만 존재했다. 하지만 지금은 GPT-4.5, 클로드 3.7, 제미나이 2.0 프로, 라마 3.1, 팜 2, 퍼플렉시티 AI, 그록-3, 딥시크 R1, 라마-13B 등 수십 가지의 생성형 AI 도구가 등장했다. 일부는 무료로 제공되지만 오픈AI의 오퍼레이터 시스템 최상위 모델의 경우 월 2만 달러에 달한다.

생성형 AI가 빠르게 발전하고 있다는 데 의견이 모아지고 있다. 하지만 비즈니스 사용자가 이를 완전히 활용하기에는 여전히 3가지 근본적인 문제가 남아 있다. AI의 응답이 지나치게 일반적이거나, 환각 현상이 발생하며, 경우에 따라 의도적인 방해로 인해 신뢰성이 저하될 수 있다는 점이다.

하지만 이런 문제를 해결하기 위한 본격적인 조치가 진행 중이다.

문제 1 : 지나치게 일반적인 출력

생성형 AI 챗봇은 종종 너무 일반적이거나 세부적인 뉘앙스, 창의성, 개인화가 부족한 응답을 생성한다. 이는 대규모 학습 데이터에 의존하기 때문에 발생하는데, 그 결과 평균적인 내용을 반영하는 표면적인 응답과 균질화된 콘텐츠를 생성하는 경향이 있다.

비판론자들은 AI가 자체 생성한 데이터를 반복적으로 학습할 경우 시간이 지나면서 데이터의 다양성과 독창성이 점점 감소하는 ‘모델 붕괴(model collapse)’ 현상이 발생할 수 있다고 경고한다.

문제 2 : 환각

AI 챗봇은 종종 사실과 다르거나 말이 되지 않는 답변을 자신감 있게 제시하곤 한다. 대중은 AI 챗봇이 마치 사고할 수 있는 존재라고 착각하기 때문에 이런 환각 현상은 많은 사람을 놀라게 한다. 하지만 AI는 생각하지 않는다. LLM은 학습 데이터에서 확률적으로 다음 단어나 구를 예측할 뿐, 의미나 단어들이 현실과 어떻게 연결되는지에 대한 이해는 전혀 없다.

문제는 학습 데이터 자체가 사람에 의해 생성된 콘텐츠를 기반으로 하기 때문에 필연적으로 편향, 부정확성, 혹은 불충분한 정보를 포함하고 있다는 점이다.

LLM은 생성하는 단어들의 의미를 이해하지 못하며, 이를 현실 세계의 지식과 비교하지도 않는다. 실제로 일부 변호사들은 법적 주장을 AI 챗봇에 맡겼다가 곤란한 상황에 처한 적이 있다. 챗봇이 존재하지 않는 판례를 만들어내고 이를 인용하도록 제시하면서 법정에서 망신을 당한 사례가 있었다.

LLM에는 실제 법정에서 다뤄진 판례를 인용한 문장이나, 그럴듯하게 들리는 단어들의 나열이 본질적으로 동일하다. AI는 문장의 의미를 이해하는 것이 아니라, 단순히 확률적으로 적절해 보이는 단어를 예측해 배치할 뿐이다.

문제 3 : 의도적인 방해

챗봇 개발사는 학습 데이터를 완전히 통제할 수 없기 때문에 데이터가 조작될 가능성이 크며, 실제로 조작당하고 있다. 대표적인 사례로, 러시아 정부가 대규모로 ‘LLM 길들이기(LLM grooming)’를 시도하다가 적발된 일이 있다.

이른바 ‘프라우다(Pravda)’ 네트워크, 또는 ‘포털 컴뱃(Portal Kombat)’이라 불리는 이 작전에서 러시아 정부 소속 허위정보 전문가들은 2024년 한 해 동안 150개 웹사이트에 무려 360만 개의 기사를 게시했다. 하루 평균 1만 개의 기사가 생성됐으며, 이들 기사는 러시아의 이익에 부합하는 수백 개의 허위 주장, 특히 러시아-우크라이나 전쟁과 관련된 조작된 정보를 확산하는 데 집중됐다. 이들 기사는 이 기사들은 SEO 기법을 정교하게 적용해 제작됐지만, 실제로 일반 사용자의 트래픽은 거의 없었다. AI 챗봇을 학습시키기 위한 목적이었다.

이런 LLM 길들이기 결과, 감시 단체 뉴스가드(Newsguard)는 러시아 관련 질문을 했을 때 주요 AI 챗봇 10개 가운데 33%의 확률로 ‘프라우다(Pravda)’ 네트워크의 허위 정보를 제공한다는 사실을 발견했다. 조사 대상 챗봇에는 챗GPT-4o, 유닷컴(You.com), 그록, 파이(Pi), 르챗(Le Chat), 코파일럿, 메타 AI, 클로드, 구글 제미나이, 퍼플렉시티 등이 포함됐다.

프라우다 네트워크는 AI 챗봇의 동작을 변화시키고 취약점을 심으며, 전반적인 성능을 저하시켜 왜곡된 정보를 퍼뜨리는 극단적인 형태의 데이터 포이즈닝(data poisoning)을 수행하고 있다.

해커, 적대적 연구자, 또는 AI 출력 조작에 이해관계를 가진 단체와 같은 악의적 행위자는 데이터 포이즈닝 기법을 활용해 AI 모델을 조작할 수 있다. 이들은 학습 데이터에 허위 정보나 편향된 데이터를 주입해 AI의 응답을 왜곡하고, 특정 고정관념을 강화하거나 취약점을 심어놓는다.

공격 방식은 다양하다. 데이터에 잘못된 라벨을 지정하거나, 무작위 노이즈를 추가하거나, 특정 키워드를 반복적으로 삽입해 AI 모델의 동작을 원하는 방향으로 유도할 수 있다. 백도어 공격 또는 클린 라벨(clean-label) 수정과 같은 미묘한 조작도 숨겨진 트리거나 탐지하기 어려운 편향을 생성하는 데 악용된다.

이런 기술은 AI 모델의 신뢰성, 정확성, 윤리적 무결성을 훼손하며, 그 결과 편향된 응답이나 허위 정보를 생성하게 만든다.

모델 맞춤화를 통한 답변 최적화

일반적인 AI 챗봇을 특정한 용도로 활용하는 것이 익숙해졌지만, MIT가 최근 발표한 연구에 따르면, 비즈니스 환경에서 생성형 AI의 미래는 맞춤형, 특수 목적 도구로 나아가고 있다.

“고유한 가치를 위한 생성형 AI 맞춤화(Customizing Generative AI for Unique Value)”라는 제목의 이 연구는 전 세계 기술 임원 300명을 대상으로 설문을 진행하고 업계 리더와의 인터뷰를 통해 기업이 LLM을 어떻게 적용하고 있는지 분석했다. 보고서에 따르면, 생성형 AI 맞춤화의 핵심 이점으로는 업무 효율성 향상, 경쟁 우위 확보, 사용자 만족도 증가 등이 꼽혔다.

기업은 여러 가지 방법으로 LLM을 맞춤화하고 있다. 대표적인 핵심 기술이 검색 증강 생성(Retrieval-Augmented Generation, RAG)이다. RAG는 외부 및 내부 데이터를 검색해 모델의 출력을 향상시키는 한편, 프롬프트 엔지니어링을 정교하게 조정함으로써 모델이 내부 데이터를 보다 효과적으로 활용하도록 최적화하는 역할을 한다.

하지만 보고서에 따르면, 기업은 여전히 LLM 맞춤화 과정에서 데이터 프라이버시 및 보안 문제를 해결하는 데 어려움을 겪고 있다.

맞춤형 LLM 도입이 확대되는 배경에는 개발자를 위한 새로운 도구와 기술의 발전이 한몫하고 있다. 여기에는 추적 및 디버깅을 위한 간소화된 텔레메트리, 더 쉽게 테스트할 수 있는 개발 환경, 그리고 프롬프트 개발 및 관리 기능 등이 포함된다.

고품질 AI를 향한 길

LLM 제공업체들도 출력 품질 향상에 집중하고 있다. 기업용 AI 전문 기업인 컨텍스추얼 AI(Contextual AI)는 최근 ‘그라운디드 언어 모델(Grounded Language Model, GLM)’을 공개하며, 이를 엔터프라이즈 AI의 획기적인 발전이라고 주장했다. GLM은 FACTS 벤치마크에서 88%의 사실성 점수를 기록하며, 오픈AI의 GPT-4o 및 구글의 제미나이 2.0 플래시 같은 주요 모델을 능가했다.

전통적인 언어 모델은 실제 사실과 다르게 응답을 생성하는 환각 현상을 겪곤 한다. 이런 부정확성은 재무 보고서나 의료 프로토콜 잘못 해석하는 등 심각한 결과를 초래할 수 있다.

컨텍스추얼 AI의 GLM은 이런 문제를 해결하기 위해 제공된 지식 소스에 엄격히 의존하는 방식을 채택한다. 일반적인 학습 데이터, 특히 오류가 있거나 조작될 가능성이 있는 정보에 의존하지 않는 것이 특징이다.

GLM은 파라메트릭 중립성(parametric neutrality) 원칙을 기반으로 작동한다. 이는 사전 학습 과정에서 발생하는 편향을 억제하고 사용자가 제공한 정보를 우선적으로 반영하는 방식이다. 더 나은 출처로 편향시키면서 맞춤화하는 기법이다. 또한 GLM은 출력 자체에 출처 정보를 포함할 수 있어 사용자가 손쉽게 사실을 확인할 수 있도록 설계됐다.

모든 챗봇은 컨텍스추얼 AI의 GLM처럼 작동해야 한다.

업계가 일반적이거나 환각 현상을 보이고 의도적으로 조작된 데이터를 무시한 채 앞으로 나아가는 것처럼 보일 때도 있지만, 실제로 기업은 이런 문제를 해결하기 위해 꾸준히 개선책을 마련하고 있다.

LLM 기반 챗봇의 구매자이자 사용자로서 해야 할 역할은 겉모습이나 음성의 자연스러움이 아닌, 실제 사용 경험을 기반으로 신중하게 소비하는 것이다. 중요한 것은 챗봇의 화려한 기능이 아니라 출력의 품질이다.

일반적이고 부정확한 콘텐츠에 만족할 필요는 없다. 맞춤형 설정과 업계별 최적화된 챗봇을 선택하면 더 나은 대안을 찾을 수 있다. 그리고 그중 일부는 사실을 더욱 정확하게 전달하도록 설계되어 있다.
dl-itworldkorea@foundryco.com