생성형 AI와 에이전트 AI가 기업 도입에 아직 준비되지 않았다는 점을 시사하는 AI 프로젝트 실패 보고서가 쏟아지고 있다. 일부 사실이 담겨 있지만, 기업 AI 프로젝트가 실패하는 원인이 결함 있는 알고리즘이나 모델인 경우는 드물다. 대다수 경우 경영진이 기술을 이해하지 못하는 것이 문제다.

먼저 실패를 정의해보자. AI가 개념 증명(POC)에서 저조한 성과를 냈다는 보고서 대부분에서 기술 자체가 작동하지 않은 것이 문제였던 경우는 거의 없다. 비즈니스 실패란 의사결정자가 설정한 초기 목표와 목적이 달성되지 않은 것을 뜻한다.

이 AI 문제를 전통적인 제조업 사례에 비유해보자. 건설 회사가 작업 현장에서 20마일 떨어진 곳으로 50톤의 흙을 옮겨야 하는 상황을 생각해보자. 포클레인과 적합한 트럭을 구하는 대신 직원 모두에게 소형 해머를 나눠줬다면 어떻게 될까?

흙이 새 위치로 옮겨지지 않아 프로젝트는 곧 실패로 판명될 것이다. 직원이 실패한 것인가?해머가 오작동한 걸까, 아니면 완전히 잘못된 도구를 사용하게 한 경영진의 책임인가? 또는 흙을 9,000마일 떨어진 해외로 옮겨야 하는데 경영진이 트럭만 허용했다면 어떻겠는가?

생성형 AI의 가장 큰 데이터 문제는 신뢰성 부족이다. 환각, 불량 학습 데이터, 잘못된 파인튜닝, 잘못 해석된 쿼리, 부적절하게 표현된 쿼리, 저품질 출처에 고품질 출처와 동일한 신뢰도를 부여하는 잘못된 데이터 가중치 등 다양한 요인에서 비롯된다.

그러나 이 현실을 이해하는 사람이라면 기술에서 여전히 엄청난 유용한 정보를 얻을 수 있다. 독립적으로 검증하기만 하면 된다. 생성형 AI 도구를 수학 문제에 활용하지만 항상 기존 계산기로 답을 검증한다. 조사 목적으로도 활용하되 출발점으로만 삼는다. 모든 세부 사항은 여전히 직접 확인해야 한다. 투자자 콜 녹취록을 예로 들면, 생성형 AI로 특정 발언을 찾을 수 있지만 신뢰도 높은 사이트에서 원본 오디오를 찾아 해당 구절을 직접 들어 녹취록이 정확한지 검증해야 한다.

자율 에이전트가 문제인 이유가 바로 여기에 있다. 배포 자체가 기술이 실제로 보장하는 수준 이상의 신뢰를 전제로 하기 때문이다.

일부 기업은 인간 검수(humans-in-the-loop) 방식을 도입하고 있다. 경영진이 현실적이고 합리적인 태도를 유지한다면 훌륭한 개념이다. 숙련된 사람이 수행하기에 기대되는 업무와 작업량이 현실적으로 타당한가?

병원 체인이 생성형 AI를 활용해 검사 결과나 X선을 더 효율적으로 분석하려 한다고 가정해보자. 법적 이유로 사람이 결과를 검증하고 승인해야 한다. 여기까지는 좋다. 숙련된 방사선과 전문의라면 분석을 직접 수행하는 것보다 AI 분석 결과를 검토하고 승인하는 속도가 더 빠를 것이다.

‘허드슨강의 기적’ 사건의 NTSB 증언에서 체슬리 설렌버거 기장은 시뮬레이션에 20초의 인간 반응 시간을 추가할 것을 요구했다. 2009년 양쪽 엔진이 모두 멈춘 여객기를 허드슨강에 비상 착수시켜 전원을 구한 것으로 유명한 설렌버거는 미국 국가교통안전위원회(NTSB) 청문회에서 “상업 조종사로 29년 경력을 가진 자신처럼 가장 숙련된 운영자도 비상 상황을 인식하고 통제권을 장악해 효과적으로 대응하기까지 그 정도 시간이 필요하다”고 밝혔다.

AI 도입 전 대다수 의료진은 시간당 8~10건의 검사 결과를 검토했다. 결과를 기록하는 시간까지 포함한 수치다.

일부 병원 체인이 같은 의료진에게 시간당 300건 이상의 검사 결과를 검토·승인·반려하도록 요구한다는 보고가 있다. 검사 결과 한 건당 평균 12초밖에 주어지지 않는다는 뜻이다. AI 추천을 훑어보고 원본 이미지를 힐끗 보는 것이 고작이다. 의미 있는 사고나 분석을 할 시간이 없다.

사람이 결과를 검증하는 것이 아니라, AI가 불가피하게 오류를 낼 때 책임을 떠안을 직원을 세워두는 것이다. 인간 검수를 도입하려면 기대치를 현실적으로, 그리고 인간적으로 유지해야 한다.

에이전트 시스템의 다양한 문제는 이미 짚은 바 있다. 예를 들어 탈취된 에이전트가 악성 명령으로 다른 에이전트를 오염시킬 경우 이를 추적하고 경보를 보내지 못하는 문제가 있다. 이런 공격을 차단할 수 없다는 사실만으로도 기업은 안전이 확보될 때까지 에이전트 시스템에 손대지 말아야 한다.

그런데도 기업은 계속 밀어붙이고 있다.

AI는 강력한 도구를 제공할 수 있다. 그러나 기술을 지나치게 신뢰하고 남아 있는 사람에게 비현실적인 요구를 쏟아부음으로써 초기 AI 프로젝트를 스스로 실패로 몰아가고 있다. 위험을 알면서도 이익을 좇다가 일이 틀어지면 AI 프로젝트 담당자를 해고한 경영진의 책임이 100%다.
dl-itworldkorea@foundryco.com