스탠퍼드대학교가 주도한 연구에 따르면, 대부분의 AI 챗봇이 최근 건강 관련 질문에 대한 응답에서 의학적 면책 조항을 포함하지 않고 있는 것으로 나타났다. 사용자가 잠재적으로 위험한 조언을 신뢰할 가능성에 대한 우려가 제기된다.

AI 챗봇의 기반이 되는 생성형 AI 모델은 오류나 환각(hallucination) 현상이 빈번한 것으로 잘 알려져 있다. 일부 모델은 사용자의 지시를 무시하거나 아예 거짓 정보를 제공하기도 한다. 과거에는 이런 AI 모델이 의료 관련 질문을 받을 경우, “해당 모델은 면허가 있는 전문가가 아니며, 전문적인 의학적 조언을 대체할 수 없다”라는 면책 조항을 포함하는 것이 일반적이었다.

하지만 최근 연구에 따르면, 생성형 AI 기업은 이제 대부분 해당 의학적 면책 조항을 삭제한 상태다. 이에 따라 사용자가 안전하지 않은 조언을 실제로 따를 위험성이 커졌다는 분석이다. 연구팀은 또한 다수의 주요 AI 모델이 단순한 질문 응답을 넘어 경고 문구 없이 직접 진단을 제시하는 수준까지 나아간 점을 지적했다.

이번 연구는 스탠퍼드대학교 의과대학 소속 소날리 샤르마가 주도했다. 2023년, 샤르마는 AI 모델이 유방조영상(mammogram)을 해석할 때, “나는 의사가 아니다”라는 표현과 함께 면책 조항을 내세우거나 분석을 거부하는 사례가 자주 발생한다는 점에 주목했다. 하지만 올해 초에는 AI 응답에서 의학적 면책 조항이 사라졌다는 점을 포착했다.

이에 따라 샤르마는 2022년부터 출시된 AI 모델 15종을 대상으로 실험을 진행했다. 테스트 대상에는 오픈AI, 앤트로픽, 딥시크, 구글, xAI의 모델이 포함됐다. 해당 모델은 “어떤 약물을 함께 복용해도 괜찮은가”와 같은 건강 관련 질문 500개에 응답했고, 폐렴 여부를 확인할 수 있는 흉부 엑스레이 등 의료 영상 1,500건을 분석했다.

조사 결과, 2022년부터 2025년 사이 대형 언어 모델(LLM)과 비전-언어 모델(Vision-Language Model, VLM)의 응답에서 의학적 면책 조항이 포함된 비율이 급격히 감소한 것으로 나타났다. 연구에 따르면, 2022년에는 LLM 응답의 26.3%가 면책 조항을 포함하고 있었지만, 2025년에는 1% 이하로 급감했다. 마찬가지로 VLM도 2023년에는 19.6%였던 면책 조항 포함 비율이 2025년에는 1.05%로 떨어졌다.

이 시점에는 대부분의 공개형 AI 모델이 의학적 면책 조항 없이 의료 관련 콘텐츠를 생성하고 있는 것으로 확인됐다.

연구팀은 AI 시스템의 성능이 향상되고, 점점 더 권위 있는 정보 출처처럼 인식되는 상황에서 이런 안전장치의 부재는 심각한 문제를 야기할 수 있다고 지적했다. 특히 의료 및 건강 관련 환경에서 사용자 보호와 책임 있는 활용을 보장하려면 응답 내용의 성격에 맞는 맞춤형 면책 조항을 포함하는 것이 필수적이라고 강조했다.

샤르마는 보고서에서 “AI 응답에는 부정확한 정보가 자주 포함되기 때문에 이런 결과물이 전문적인 검토를 거치지 않았고 의학적 조언을 대체할 수 없다는 점을 사용자에게 상기시키는 의학적 면책 조항과 같은 안전장치가 매우 중요하다”라고 강조했다.

이어 “LLM과 VLM은 의료 용도로 설계되지 않았으며, 적절한 면책 조항 없이 오해의 소지가 있는 결과를 생성할 수 있다. 이들 모델이 더욱 유창하고 자신감 있는 방식으로 응답할수록, 명확한 경고가 없는 상황은 심각한 위험을 초래할 수 있다”라고 덧붙였다.

또한 프롬프트를 변형하거나 ‘적대적 테스트(adversarial testing)’를 적용하면, 안전성 검증 절차를 우회할 수 있다. 이른바 ‘탈옥(jailbreaking)’이라 불리는 이 방식은 AI 모델이 비일관적이거나 위험한 답변을 생성하는 원인이 될 수 있다.

오픈AI는 자사 서비스 이용 약관에 챗GPT를 포함한 모든 서비스가 어떠한 건강 상태의 진단이나 치료 목적으로 제공되는 것이 아니며, 전문적인 조언을 대체할 수 없다는 점을 명확히 하고 있다고 명시했다.

오픈AI 대변인은 이메일 질의에 대해 “위험을 줄이기 위한 안전성팀을 운영 중이며, AI 시스템이 사용자가 전문가의 도움을 받도록 유도하도록 훈련하고 있다”라고 밝혔다.

의료 분야의 생성형 AI 활용 확대

면책 조항 문제와 별개로 일부 연구에서는 AI 챗봇이 환자 진단에서 실제 의사를 능가하는 성과를 보이기도 했다는 결과도 나왔다. 다만, 이런 결과에는 여러 제한사항이 존재한다.

보스턴 베스 이스라엘 디코니스 메디컬센터(Beth Israel Deaconess Medical Center, BIDMC)의 AI 프로그램 책임자 아담 로드먼 박사는 “환자 치료 향상이라는 LLM의 잠재력을 실현하려면 엄격한 검증 과정이 반드시 필요하다. 진단 추론처럼 정답이 하나로 수렴되는 작업에는 LLM이 강점을 보이지만, 치료 방안처럼 명확한 정답이 없고 본질적으로 위험이 수반되는 선택지 간의 균형을 따져야 하는 경우에는 그렇지 않다”라고 설명했다.

AI는 수십 년 전부터 환자 상태 진단에 활용됐지만, 최근에는 오픈AI의 챗GPT, 구글의 제미나이, 앤트로픽의 클로드와 같은 신형 생성형 AI 툴이 빠르게 의료 현장에 도입되고 있다. 이들 도구는 치료 방안 추천을 포함해 다양한 방식으로 활용된다.

애틀랜틱 헬스 시스템(Atlantic Health System)의 부사장이자 책임의료기구(Accountable Care Organization, ACO) 대표인 앤드루 알바노 박사는 “의학적 면책 조항을 제거하는 것은 환자 안전에 대한 위험을 높이고, 환자와 보호자 모두의 신뢰와 확신을 약화시킬 수 있다”라고 지적했다.

또한 “의료는 환자와 의료 제공자 간의 신뢰에 크게 의존하는 분야이기 때문에 진료에 활용되는 AI 챗봇은 자신의 역할과 의학적 조언의 한계를 명확히 밝혀야 한다”라고 강조했다.

알바노는 헬스케어 네트워크에 AI를 도입하면 의료 품질을 개선하고 행정적 부담을 줄일 수 있는 기회가 있다고 보고 있다. 하지만 동시에, 기술이 올바른 목적에 따라 사용되지 않을 경우 심각한 상황과 부작용을 초래할 수 있다고 우려했다.

알바노는 “이런 점을 고려할 때 AI 기반 챗봇을 진료팀의 일부로 통합하려면 환자에게 해당 의학적 조언의 출처와 한계를 명확히 알리는 면책 조항을 반드시 포함해야 한다”라고 말했다.
dl-itworldkorea@foundryco.com