챗GPT에게 질문을 던졌더니 문장은 그럴듯한데 내용은 완전히 틀린 답을 받은 경험이 있다면, 인공지능의 환각을 직접 목격한 셈이다. 라이트 형제가 원자폭탄을 발명했다는 식의 답변처럼 웃어넘길 수 있는 환각도 있지만, 의료 정보가 엉뚱하게 뒤섞일 때처럼 다소 섬뜩한 경우도 있다.

인공지능 환각의 핵심은 인공지능이 스스로 지어내고 있다는 사실을 모른다는 점이다. 인공지능은 자신이 틀렸다는 인식 없이 답변에 높은 확신을 보이며 평소처럼 응답을 이어간다.

인간의 환각과 달리, 인공지능이 언제 환각 상태에 빠졌는지 알아내기는 항상 쉽지 않다. 환각을 알아보려면 인공지능 환각에 대한 몇 가지 기본 개념을 이해해야 한다.

인공지능 환각이란 무엇인가

인공지능 환각은 인공지능 모델이 사실과 다른 정보, 논리적으로 모순된 내용, 혹은 완전히 만들어낸 내용을 출력하는 현상을 말한다. 이러한 환각은 주로 생성형 인공지능 모델, 특히 대규모 언어 모델 기반 서비스인 챗GPT 같은 시스템에서 자주 관찰된다.

일반 소프트웨어에서 발생하는 프로그래밍 버그와 달리, 인공지능 환각은 개발자의 코드 실수에서 발생하지 않는다. 대신 모델이 학습 과정에서 형성한 확률 기반 패턴에서 비롯된다. 이제 환각 유형별로 어떤 징후가 나타나는지 살펴보면 된다.

사실이 틀려 보이는 경우

사실 기반 환각은 인공지능 모델이 사실과 다른 정보나 검증 불가능한 정보를 내놓을 때 발생한다. 예를 들어 “파리의 에펠탑은 1999년에 지어졌다”는 식의 답변이 그러한 사례다. 실제로 에펠탑은 1887년부터 1889년 사이에 건설됐다. 이런 오류는 모델이 학습한 데이터의 한계나, 스스로 사실을 교차 검증하는 능력 부족에서 비롯된다.

이 유형의 환각은 법률, 교육, 의료처럼 사실 정보가 특히 중요한 분야에서 매우 위험하다.

질문과 상관없는 답변을 받는 경우

답변이 질문에서 심하게 벗어나거나, 대화의 논리적 흐름이 완전히 끊어질 때 인공지능은 맥락 기반 환각을 일으키고 있다. 예를 들어 “스튜를 어떻게 만들지?”라는 질문에 “스튜는 맛있고, 태양계에는 9개의 행성이 있다”라고 답하는 상황이다. 문장 자체는 문법적으로 자연스럽지만, 주제와는 완전히 무관한 내용이다.

이런 유형의 환각은 모델이 이전 대화 맥락을 유지하는 데 실패했을 때 발생한다.

논리적으로 말이 안 되는 답변을 받는 경우

답변의 논리 구조가 뒤틀려 보이면, 인공지능이 논리 기반 환각을 일으키는 상황일 수 있다. 예를 들어 “바바라에게 고양이가 3마리 있고 고양이를 2마리 더 데려오면, 고양이는 6마리가 된다”라는 답변이 대표적이다. 누가 봐도 논리가 성립하지 않는다. 모델이 기초적인 수학·추론 작업에서 실패한 것이다. 이런 유형은 문제 해결 능력이 요구되는 작업에서 큰 문제가 된다.

여러 형태의 콘텐츠 사이에 불일치가 보이는 경우

이른바 멀티모달 환각은 이미지·텍스트 등 여러 형태의 데이터를 함께 다루는 인공지능 모델에서 나타난다. 예를 들어 “선글라스를 쓴 원숭이 이미지를 생성하라”고 요청했는데 원숭이만 있고 선글라스가 전혀 없는 이미지를 내놓는 경우다. 이런 유형은 이미지 생성 인공지능 모델인 달-E(DALL E)와 같은 서비스에서 자주 볼 수 있다.

환각 여부를 테스트하는 방법

환각은 사용자 신뢰를 떨어뜨리고, 특정 상황에서는 상당한 위험을 초래할 수 있다. 예를 들어 전문가가 인공지능 답변을 정확한 사실 정보로 전제하고 의사결정을 내리는 경우다.

환각이 발생하는 순간을 항상 즉시 알아차릴 수는 없다. 하지만 몇 가지 점검 과정을 거치면 환각 여부를 어느 정도 가늠할 수 있다. 다음과 같은 방법을 활용할 수 있다.

직접 사실 검증하기

검색 엔진과 신뢰할 수 있는 참고 자료를 활용해 인공지능이 제시한 구체적인 주장, 인명, 날짜, 수치를 직접 확인한다. 인공지능이 출처를 인용한 경우, 실제로 존재하는 출처인지 반드시 확인해야 한다. 존재하지 않는 링크나 틀린 인용을 제시하는 행태는 전형적인 환각 징후다.

후속 질문 던지기

인공지능이 제시한 특정 세부 내용에 대해 추가 설명을 요구한다. 이때 인공지능이 앞서 말한 내용과 맞지 않는 새로운 사실을 덧붙이거나, 설명 과정에서 자꾸 말을 바꾼다면 처음에 제시한 내용이 즉석에서 지어낸 정보였을 가능성이 크다.

근거 제시 요구하기

인공지능에게 “지금 한 말의 근거를 제시할 수 있나?”, 또는 “이 답변에 어느 정도 확신을 가지고 있나?”라고 물어본다. 신뢰할 수 있는 모델은 학습 데이터 특성이나 검색 결과 등의 근거 방향을 설명하려고 시도한다. 반대로 환각 상태에 가까운 모델은 주장을 뒷받침하지 못하거나, 그럴듯하지만 실제로는 존재하지 않는 출처를 만들어낼 수 있다.

다른 인공지능 모델과 교차 비교하기

동일한 질문을 다른 인공지능 모델에게 그대로 던진다. 두 모델이 내놓는 답변이 크게 다르다면, 둘 중 적어도 한 모델은 잘못된 정보를 제시하고 있을 가능성이 높다.
dl-itworldkorea@foundryco.com