코파일럿은 마치 모든 사실을 꿰뚫는 전문가처럼 보인다. 마이크로소프트 365 응용 프로그램, 윈도우 운영체제, 엣지 브라우저, 빙 검색 서비스 등 회사의 여러 제품에 통합되어 있으며, 영업 보고서, 마케팅 문안, 예산 전망서 등 업무 문서 작성에 유용하다.

하지만 항상 정확한 도구는 아니다. 대다수 경우 큰 도움이 되지만, 때로는 모든 것을 알고 있는 듯한 허세형 조력자로 변모한다. 찾을 수 없는 사실이 있을 때 임의로 내용을 지어내는 경향이 있는데, 인공지능 연구자는 이를 환각 현상이라고 한다.

환각은 시간이 지나면 자연히 해결될 일시적 오류가 아니다. 오픈에이아이의 연구에 따르면, 대규모 언어 모델은 수학적 제약 구조로 인해 추측이 내재된 학습 메커니즘을 갖고 있다. 한 연구 논문에서는 다음과 같이 설명한다.

“어려운 시험 문제를 푸는 학생처럼, 대규모 언어 모델은 불확실할 때 추측을 하고, 그럴듯하지만 틀린 진술을 만들어낸다. 이는 불확실성을 인정하기보다 추측을 보상하는 학습 과정 때문이다.”

인공지능의 환각 사례는 다양하다.

예를 들어, 미국 보건복지부의 “우리 아이를 다시 건강하게 만들자(The MAHA Report: Make Our Children Healthy Again)” 보고서에는 존재하지 않는 인용문이 포함된 적이 있다. 또한 도널드 트럼프의 전 법률대리인 마이클 코언도 허구의 법률 인용문을 활용해 문제를 일으킨 적이 있다.

이 같은 문제는 코파일럿이나 생성형 인공지능 도구 전반을 포기해야 한다는 의미가 아니다. 올바른 설정과 습관을 적용하면 환각 발생률을 크게 낮출 수 있다.

이 가이드는 마이크로소프트 코파일럿을 중심으로 구성되었으며, 대부분의 생성형 인공지능 챗봇에도 동일한 방식으로 적용된다.

1. 사실 중심 어조를 지정한다

코파일럿은 문서 작성 시 다양한 어조를 선택할 수 있다. 격식 있는 업무형, 간결한 정보형, 비격식 대화형 등 여러 톤 중 선택 가능하다.

그러나 비격식적 어조를 요구하거나 표현의 자유도를 높일수록 환각 위험이 증가한다. 따라서 문서 초안 작성이나 질의응답 시에는 사실 중심·업무형 어조를 사용하도록 명시해야 한다. 또한 요청 목적과 정보 범위를 구체적으로 지정하면 환각 가능성이 줄어든다.

예를 들어, 향후 5년간 재택근무용 가구 시장의 성장률을 조사하도록 요청할 때는 다음처럼 작성한다.

“350단어 분량의 업무형 어조 문서를 작성하라. 향후 5년간 연도별 성장 전망을 포함하고, 모든 수치와 예측 근거에 링크를 제시하라.”

이처럼 정확한 분량·형식·근거 제시 조건을 포함하면 추측형 문장 생성을 줄일 수 있다.

2. 프롬프트에 맥락을 충분히 제공한다.

프롬프트를 작성할 때 가능한 한 많은 맥락 정보를 포함하면 결과물이 향상되고, 환각 현상 발생 가능성이 줄어든다. 요청 목적과 사용 환경을 명시하면 인공지능의 탐색 범위가 구체화되어, 불필요한 추측을 줄일 수 있다.

문서를 어떤 목적으로 사용할지, 누가 읽을지, 왜 작성하려는지를 명확히 설명하는 것이 중요하다.

예를 들어, 소규모 제조업체를 대상으로 한 공급망 효율화 컨설팅 영업 문안을 작성하려면 다음과 같이 요청할 수 있다.

“300단어 분량의 영업 문안을 작성하라. 대상은 직원 백 명 이하의 가족 경영 제조업체이며, 공급망 효율 향상 컨설팅 서비스 이용을 권유하는 내용으로 구성하라. 이 문안은 이메일 캠페인용이며, 어조는 친근하지만 권위 있게 만들어라. 서비스 이용 시 얻는 구체적 이점 정보는 업로드된 파일의 내용을 활용하라.”

이와 같이 활용 목적·대상 독자·참조 자료를 명확히 제시하면, 인공지능이 불필요한 추측을 하지 않고 정확한 맥락 내에서 자료를 생성하게 된다.

3. 신뢰할 수 있는 정보 출처를 지정한다.

환각을 줄이는 가장 확실한 방법은 검증된 출처만 사용하도록 제한하는 것이다. 예를 들어, 최근 5년간 미국 경제 성장률을 요약하도록 요청할 때는 다음처럼 작성한다.

“공식 정부 기관 자료만 사용해 500단어 분량의 업무 보고서를 작성하라. 5개에서 8개 사이의 관련 통계 수치를 포함하고, 모든 인용과 수치의 출처 링크를 제시하라.”

이렇게 명시하면, 인공지능이 비공식 정보나 출처 불분명한 자료를 활용할 가능성이 현저히 낮아진다.

더욱 안전하게 하려면, 특정 사이트나 페이지만 인용하도록 지정할 수도 있다. 또한 사용자는 원드라이브에 저장된 문서나 이미지 파일을 직접 근거 자료로 활용할 수 있다.

형식은 문서·표·발표자료·이미지 파일 등으로 다양하며, 파일 경로 복사 기능을 이용해 요청문에 삽입하면 된다.

예시 경로 : C:UsersbsmitOneDriveCWAll UpdatesWindows 11 PreviewsWindows 11 Insider Preview Build 26220.6760 for 25H2.docx

마이크로소프트 365 개인용·가정용·프리미엄 구독자와 코파일럿 업무용 계정 사용자 모두 이러한 방식으로 자료를 연결할 수 있다.

최근에는 개인용 계정에서 업무용 문서 접근도 가능해졌지만, 정보기술 관리자 정책에 따라 원드라이브 접근이 제한될 수 있다.

또한 원드라이브 외부 자료 업로드 방식으로도 정보를 제공할 수 있다. 입력창 우측 하단의 더하기 아이콘을 클릭한 후 업로드 메뉴를 선택하고, 문서를 첨부하면 된다.

첨부된 자료는 인공지능이 참조 가능한 근거 문서로 사용된다.

Preston Gralla / Foundry

업로드한 자료가 참조될 때, 화면에는 파일 이름이 표시된다.

Preston Gralla / Foundry

문서 하나만 근거로 사용하도록 하려면 프롬프트에 다음과 같이 명시한다.

“홈퍼니처통계표 파일만 근거로 하여 재택근무용 가구 매출 성장 전망 보고서(400단어)를 작성하라.”

이렇게 단독 출처를 지정하면, 인공지능은 다른 자료를 사용하지 않는다. 만약 단독 출처를 지정하지 않으면 추가 자료를 함께 참고할 수 있으며, 생성된 결과 하단에 참고 출처 목록이 자동으로 표시된다.

그럴 경우 사용자는 인공지능의 초안과 각 출처 내용을 직접 대조 검증해야 한다.

4. 개방형 질문을 하지 않는다.

질문 여지를 넓게 줄수록 코파일럿이나 다른 생성형 인공지능이 환각을 일으킬 가능성이 높아진다. 질문 방식을 정밀하게 설계하고 가능한 답변 범위를 제한하는 전략이 필요하다.

예시 상황으로 다음 해 광고 예산 100만 달러 제안서를 준비하는 경우를 들 수 있다.

“내년 광고비는 어디에 써야 하나, 투자 대비 효율이 가장 큰 선택은 무엇인가?”와 같은 포괄 질문 대신, 다음과 같은 표적 질문을 연속적으로 제시한다.

“특화 뉴스 웹사이트 광고와 사회관계망서비스 광고 중 12만 5,000달러 집행 시 잠재 고객 유입이 더 큰 선택은 무엇인가? 근거 연구를 제시하라.”

5. 사고 연쇄 프롬프트를 사용한다

사고 연쇄 프롬프트는 단계별 추론 과정 공개를 요구하는 기법이다. 단계별 과정을 드러내면 사실 근접성이 높아지고, 논리적 공백이나 근거 누락 주장을 사용자가 쉽게 식별할 수 있다.

예를 들어 재택 사무용 가구 광고 캠페인에서 디지털 매체와 인쇄 매체 중 어느 쪽이 비용 효율 면에서 유리한지 검토하도록 지시하려면 다음과 같이 작성한다.

“25만 달러 예산으로 추진하는 재택 사무용 가구 광고에 대해, 디지털 매체와 인쇄 매체 중 어떤 선택이 효과적인지 메모 형식으로 정리하고, 비용 대비 효율이 높은 매체사 목록을 제안하라. 단계별 추론 과정을 함께 제시하라.”

6. 코파일럿의 스마트 모드를 사용한다

요청을 입력하면 여러 응답 모드 중 선택이 가능하다. 간단한 요구에는 기본 빠른 응답 모드가 대체로 충분하다. 환각 감소를 목표로 할 때는 스마트 모드가 유리하다. 스마트 모드는 오픈에이아이의 최신 대규모 언어 모델인 GPT-5를 사용하며, 환각 축소에서 의미 있는 진전이 보고되었다는 주장이 존재한다. 이전 세대 챗GPT가 세대가 바뀔 때마다 환각 감소를 보여 왔다는 점을 고려하면 일부 타당성이 있다. 다만 정량적 효과 측정은 쉽지 않다.

사용 방법은 프롬프트 입력 상자 하단 화살표를 눌러 스마트 모드를 선택한 뒤 요청을 입력하면 된다. 프로젝트 심층 조사가 필요할 경우 심층 조사 모드를 선택하면 세부 조사 목록을 받아 초안과 근거 일치 여부를 대조할 수 있다. 대기 시간은 최대 10분까지 늘어날 수 있다.

코파일럿 스마트 모드는 GPT-5를 사용하며, 이전 세대 대비 환각 감소가 기대된다.

Preston Gralla / Foundry

7. 사실·인용 검증을 코파일럿에만 맡기지 않는다

많은 사용자가 코파일럿이 자체 환각 인지와 인용 재검증을 충분히 수행한다고 가정하지만, 실패와 성공이 뒤섞인 불안정한 결과가 나온다.

경고 사례가 존재한다. 변호사 스티븐 슈워츠는 항공사 아비앙카를 대리해 소송을 제기하며 열 쪽 분량의 서면에 여섯 건 이상의 인용을 첨부했다. 챗GPT로 찾은 인용이었고 모두 허구로 드러났다. 서면 제출 전 인용 검증 요청까지 수행했지만 정확하다는 답변을 받았다. 결과적으로 이중 환각에 해당한다.

환각 탐지의 1차 단계로 코파일럿 자체 점검을 요구하는 접근은 가능하다. 다만 최종 검증 책임은 사용자에게 있다. 검색 엔진으로 직접 교차 확인을 수행하고, 결과 상단의 요약형 인공지능 응답이 아니라 신뢰 가능한 원문 출처를 확보해야 한다.

8. 사실 확인 역량을 강화한다.

요청에 대한 답변에는 보통 근거 링크가 포함된다. 모든 인용 링크를 직접 클릭해 실존 여부를 확인하고, 연결된 페이지가 코파일럿이 언급한 내용을 실제로 담고 있는지 전문을 검토한다.

여기서 멈추지 말고, 답변 전체를 읽으며 의심스러운 사실을 찾아 별도 검색으로 재확인한다. 일반적으로 코파일럿과 다른 생성형 인공지능은 찾기 쉬운 기초 사실에서는 오류가 드물다. 대신 법률 판례, 의학·학술 연구 등 전문화된 정보에서 탈선 위험이 커진다. 사실 검증 자원을 이러한 고난도 분야의 인용에 집중한다.

모든 핵심 사실을 각 링크의 원문과 대조한다. 한 페이지에서 일부 정보는 정확히 인용하면서도 같은 페이지의 다른 문장을 근거로 추가 환각을 생성하는 사례가 발생한다.

실제 경험을 예로 들 수 있다. 칼럼 기사인 ‘마이크로소프트의 인공지능 투자 수십억 달러가 허공으로 사라질까’를 준비하는 과정에서 마이크로소프트의 인공지능 에이전트 전략을 조사하도록 코파일럿에 지시했다. 초안은 포괄적 개요처럼 보였고 참고 웹사이트 목록도 포함했다. 검토 중 비현실적 주장을 발견했다. 이천이십오 년에 인공지능 에이전트에만 800억 달러 지출이라는 내용이었다. 출처 페이지를 확인하니 전체 인공지능 인프라 구축에 800억 달러 투자 계획이었고, 에이전트 단일 항목을 뜻하지 않았다.

9. 모른다고 인정하도록 유도한다

코파일럿을 포함한 생성형 인공지능은 가능한 한 답을 생성하도록 설계되어 답변 불가 인정 빈도가 낮다. 이 특성은 환각이나 신뢰도 낮은 사이트 탐색으로 이어질 수 있다.

대응책으로, 프롬프트에 근거 부족 시 답변 불가를 명시하도록 지시한다.

예시 요청 문장 : 스칸디나비아 지역의 재택 사무용 가구 지출액을 2023년·2024년 기준으로 제시하고, 2030년 전망치를 제공하라. 신뢰 가능한 연구 근거를 찾지 못하면 답변 불가 사유를 명확히 밝혀라.

10. 최종 원고 작성에는 코파일럿을 사용하지 않는다

코파일럿으로 최종 원고를 작성하지 않도록 각별히 주의해야 한다. 코파일럿이 생성한 모든 초안 단계에서 사실 검증을 반복하면 중복 점검 효과가 발생한다. 반대로 최종 단계 작성을 맡기면 마지막 순간 환각 정보가 삽입될 수 있다. 코파일럿 출력물은 언제나 출발점으로 활용하고, 완성본으로 간주하지 않는다

11. 코파일럿을 친구처럼 대하지 않는다

코파일럿은 때때로 인간과 유사한 반응을 보여 친구에 가까운 존재로 착각하기 쉽다. 그러나 정서적 관계 설정은 환각 빈도를 높일 수 있다. 사용자의 기분을 맞추려는 경향 때문에 응답 왜곡이나 허구 생성이 발생한다.

뉴욕타임스도 생성형 AI에서 사용자에게 아부하는 성향이 관찰된다고 보도했다. 사람 평가 기반 학습 영향으로 사용자를 과도하게 칭찬하거나 동의하는 답변이 만들어질 수 있다고 분석했다. 이로 인해 사실과 무관한 내용도 사용자 만족을 위해 생성되는 사례가 보고되었다.

보도에는 극단적 사례도 포함되었다. 챗GPT가 고등학교 미수료자에게 획기적 수학 공식 발견을 믿게 하고, 악용 시 인터넷 전체 마비, 선용 시 반중력 빔 생성까지 가능하다고 연속적 거짓 서사를 제시한 사건이 있었다. 과장된 사례처럼 보이지만, 소규모 거짓이나 사소한 과장도 동일한 메커니즘으로 발생한다.

코파일럿은 칭찬 제공자가 아니라 업무 효율을 높이는 도구다. 칭찬이나 인정을 기대하지 말고, 업무 성과 향상을 위한 실용적 수단으로 활용해야 한다.
dl-itworldkorea@foundryco.com