이번 주 CEO가 살해된 이후 유나이티드헬스케어(UnitedHealthcare, UHC)는 의사를 무시하고 노인 환자의 중요한 의료 보험 적용을 거부하는 결함이 있는 것으로 추정되는 AI 알고리즘을 사용한 것에 대해 본격적인 조사를 받고 있다.

유나이티드헬스케어의 CEO 브라이언 톰슨은 12월 4일 뉴욕의 한 호텔 밖에서 총격을 받고 사망했다. 범인은 전기 자전거를 타고 달아났으며, 동기와 관련된 메시지가 적힌 탄피를 남겼지만, 실제 의도는 아직 불분명하다. 다만, 탄피에는 지연, 부인, 방어 등 보험회사가 보험금 지급을 거절할 때 주로 사용하는 용어가 새겨져 있었다.

많은 사람들이 제기하는 한 가지 동기는 높은 치료 거부율 또는 UHC의 일부 치료비 지급 거부와 관련이 있을 수 있다는 것이다. 의료기관과 보험사는 생성형 AI 도구를 사용해 치료 요청에 대한 응답을 자동화해 왔으며, 이로 인해 치료 거부율이 일반보다 16배나 높은 경우도 있다는 비난을 받아왔다.

UHC는 nH Predict라는 생성형 AI 도구를 사용하는데, 이는 환자를 요양 시설에서 조기에 퇴원시켜 필수 치료에 개인 비용을 사용하도록 했다는 이유로 소송이 진행 중이다. 작년에 미네소타 연방법원에 제기된 이 소송은 UHC가 90%의 오류율을 보이는 AI 모델을 사용해 의사의 의학적 필요성에 대한 판단을 무시하고 노인 환자에 대한 메디케어 어드밴티지(Medicare Advantage, 65세 이상 또는 장애인을 대상으로 하는 건강보험인 메디케어를 보완하는 민간 보험) 치료를 불법적으로 거부했다고 주장하고 있다.

일부에서는 생성형 AI 알고리즘의 높은 거부율이 결함이 아니라 특징이라고 주장하기도 한다. 소송에 인용된 헬스케어 전문 미디어 STAT의 조사에 따르면, UHC는 환자 재활 입원 기간을 nH Predict가 예측한 기간의 1% 이내로 유지하기 위해 직원들에게 알고리즘을 사용해 메디케어 어드밴티지 지급을 거부하도록 압력을 가했다고 주장한다.

UHC는 2019년 11월부터 nH 프레딕트를 사용하기 시작했으며, 의료 IT 전문 회사 네이티브헬스(NaviHealth, 현재 유나이티드헬스 그룹의 일부)가 개발한 nH Predict는 개인 맞춤형 치료 계획을 설계하고 퇴원 시기를 포함한 치료 환경을 추천하는 평가 도구이다.

원고 측은 “높은 오류율에도 불구하고 피고는 결함이 있는 AI 모델을 사용해 체계적으로 청구를 계속 거부하고 있다. 이는 보험 계약자 중 극소수(약 0.2%)만이 거부된 청구에 이의를 제기하고 대다수는 본인 부담 비용을 지불하거나 처방된 퇴원 후 치료를 포기할 것이라는 사실을 알고 있기 때문이다”라며, “피고는 환자의 장애 상태, 지식 부족, 잘못된 AI 기반 결정에 이의를 제기할 자원 부족을 악용하고 있다”고 비난했다.

작년에 유나이티드헬스 그룹과 약국 서비스 자회사 옵텀(Optum)은 환자 치료비 지급을 거부하는 데 사용한 알고리즘에 대한 의회의 비판에 따라 네이티브헬스의 브랜드를 변경했다. 미국 상원 상설 조사 소위원회는 최근 보고서를 통해 환자 치료보다 이윤을 우선시하는 UHC, 후마나(Humana), CVS를 비판했다.

보고서는 “지금까지 얻은 데이터는 데이터에 반영된 결정이 예측 기술의 결과인지 아니면 인간의 재량에 의한 것인지에 관계없이 문제가 있다”라며, “이는 메디케어 어드밴티지 보험사가 의학적 필요성에 대한 판단을 재정적 이득에 대한 계산으로 대체해 비용이 많이 들지만 중요한 의료 영역을 표적으로 삼고 있음을 시사한다”고 밝혔다.

수백만 건의 의료 기록을 사용해 나이, 진단, 기존 질환 등의 환자 데이터를 분석하고 각 환자에게 필요한 치료 유형과 기간을 예측하는 nH Predict는 높은 오류율, 환자 치료비 지급의 조기 종료(특히 노인과 장애인), 의사 결정의 투명성 부족, 건강 불평등을 악화시킬 가능성 등으로 비판을 받아왔다.

UHC는 생성형 AI 도구 사용에 대한 언급을 거부하고 대신 CEO의 사망에 대처하는 방법에 대한 성명을 발표하기로 했다.

헬스케어 업계와 보험사는 오래 전부터 AI 및 생성형 AI를 도입해 왔으며, 이를 활용해 메모 작성 및 환자 기록 요약과 같은 작업을 간소화하고 있다. 이 기술은 방사선 및 심전도 결과를 평가하고 환자의 질병 발병 및 악화 위험을 예측하는 데도 사용됐다.

보험사는 AI를 사용해 병원이나 환자가 특정 의료 서비스, 시술 또는 약물을 받기 전에 보험사의 승인을 받아야 하는 사전 승인과 같은 프로세스를 자동화한다. AI 기반 자동화로 인한 높은 거부율로 인해 의사들은 좌절감을 느꼈고, 이에 따라 거부 처분에 대한 이의신청서를 AI 도구를 사용해 작성하는 방식으로 대응하고 있다.

천식 치료제와 새로운 체중 감량 치료제, 그리고 자가 면역 질환이나 암 환자의 생명을 구할 수 있는 생물학적 제제는 보험 회사가 일상적으로 보험 적용을 거부하는 항목이다. 데이터에 따르면, 임상의가 보험사 거부에 대해 두 번 이상 항소하는 경우는 거의 없으며, 최근 미국의학협회 설문조사에 따르면 의사의 93%가 사전 승인과 관련된 진료 지연 또는 중단을 경험했다고 답했다.

브라운 대학교 공중보건대학 학장인 아시시 쿠마르 자 박사는 앞서 컴퓨터월드와의 인터뷰에서 “일반적으로 고가의 약은 사전 승인이 필요하지만, 보험 회사가 더 저렴한 대체 약이 있다고 생각하는 곳에서 거부되는 경향이 있다”라고 설명했다.

브라운대학교의 보건 서비스, 정책 및 관행 교수이자 2022년과 2023년에 백악관 코로나19 대응 조정관을 역임하기도 한 자 교수는 사전 승인이 수십 년 동안 주요 문제였지만, 최근에야 AI가 이를 ‘터보차지’하고 일괄 거부를 만드는 데 사용됐다고 말했다. 이런 거부로 인해 의사들은 환자를 대신하여 매주 몇 시간씩 이의를 제기해야 한다.

생성형 AI 기술은 방대한 양의 데이터가 공급되는 LLM을 기반으로 한다. 그런 다음 사람들은 프롬프트 엔지니어링이라고 알려진 기술을 통해 쿼리에 대한 답변 방법을 모델에 학습시킨다. 자 박사는 “지난 10~15년 동안 점점 더 많은 양의 서비스를 거부하던 보험회사의 관행이 이제는 데이터베이스에 저장되고 AI 시스템을 훈련시켜 보험회사의 프로세스가 훨씬 더 빠르고 효율적으로 바뀌었다”라고 지적했다.

UHC CEO 총격 사건의 용의자는 아직 체포되지 않았으며 범행 동기에 대한 주장도 나오지 않았다.
dl-itworldkorea@foundryco.com