기업의 초기 온라인 AI 서비스 테스트 결과는 말 그대로 실망스러운 수준이었다. 가트너가 생성형 AI를 ‘환멸의 골짜기’ 단계에 두는 이유를 알 수 있을 정도였다. 많은 기업에서 인기 챗봇 기반 기술은 실제 업무 효율을 높이기보다는 직원이 장난처럼 시간을 소비하게 만드는 경우가 더 많았다. 1차 챗봇형 툴이 실질적 비즈니스 가치를 만든다고 판단한 기업은 8% 정도에 불과했다.

한 기업 임원은 “문서·이메일 작성 기능에 통합된 온라인 AI 툴이 직원 1명당 하루 30분 정도, 직원 1,000명 기준으로 하루 500시간을 절약한 것은 부정하지 않는다. 하지만, 1,000명 중 60명을 줄일 수 있다는 주장에는 동의하지 않는다. 실제로 아무도 줄이지 않았다”라고 지적했다.

하지만 이런 평가도 이제는 과거 이야기다. 현재는 기업의 약 85%가 온라인 AI에서 가치를 발견했다고 답했고, 절반 이상은 비용을 지불할 의향이 있는 사용례를 찾았다고 말한다. 무엇이 달라졌을까? 그리고 이런 변화가 AI 툴에 거액을 투자한 빅테크의 기대를 충족할 수 있을까? 여러 기업의 발언을 종합해 두 질문에 대한 답을 찾아보자.

기업이 발견한 28%의 핵심 사용자

달라진 지점은 단순하다. 기업은 전체 직원 중 약 60%가 컴퓨터를 사용해 AI 툴 접근이 가능하지만, 실제로 AI가 비즈니스 가치를 만들 만큼 개선 효과를 내는 업무를 수행하는 직원은 약 28%에 불과하다는 사실을 파악했다. 나머지 직원에게 AI는 어느 정도의 시간 절약이나 편의를 제공할 수 있지만, 기업 실적에 의미 있는 영향을 줄 정도는 아니었다. 다수 직원에게서 나타난 소폭 효율 개선은 AI가 만들어내는 오류, 흔히 말하는 환각 현상 때문에 상쇄됐고, 많은 직원이 오류를 잡아내지 못했다. 핵심 28%에 속하는 이른바 ‘지식 노동자’에게도 기존 온라인 생성형 AI 챗봇의 단순 프롬프트 방식이 최적 해법은 아니었다. 그래서 기업은 28%를 위한 새로운 AI 툴 방식을 모색하기 시작했고, 가치를 발견했다. 과연 어떻게? 이들 기업에는 한 가지 공통점과 두 가지 차이점이 있다.

공통점은 간단한 질문을 온라인 생성형 AI 서비스에 던지거나 이메일이나 문서, 프레젠테이션 앱에 기본 내장된 AI 기능을 활용하는 방식만으로는 성과가 거의 없었다는 사실이다. 단순 상호작용은 품질 향상 효과는 미미한 반면, 오류나 오해를 유발할 위험을 키웠다. 더 높은 품질과 통찰력을 얻으려면 기본 AI 기능을 넘어서 AI 에이전트 방식으로 나아갈 필요가 있다.

온라인 AI 서비스의 가치를 찾았다고 답한 85% 기업 중 2/3 이상은 비즈니스 인텔리전스 툴 등과 AI를 결합하는 ‘임베디드 AI 에이전트’ 방식에서 가치를 발견했다고 밝혔다. 이런 접근법은 IBM이 강하게 주도해온 전략이기도 한데, IBM은 여기에 상당한 기여를 했다. 이 방식에서 AI는 지식 노동자조차 찾기 어려운 데이터 인사이트를 찾아냈고, 누락한 통찰을 제시하는 경우도 많았다. 기업은 절약된 시간과 인사이트 품질이 유료 AI 지원을 정당화한다고 평가했다.

인터랙티브 AI 에이전트의 가능성

두 번째 방식은 약 35%만 도입하고 있지만 가장 높은 호응을 얻었다. 단순 Q&A 챗봇이 아니라 ‘인터랙티브 AI 에이전트’에 가까운 온라인 AI 툴을 활용하는 방식이다. 특히 주목받은 두 가지 도구는 학술 보고서 수준의 상세한 리포트를 생성하는 기능과 여러 문서를 종합 분석해 오디오 요약이나 팟캐스트 형태로 결과물을 생성하는 기능이었다. 가장 많이 언급된 도구는 구글의 제미나이 딥리서치와 노트북LM이었다.

이 상세 보고서 기능에 대해 모든 사용자는 깊이 있는 콘텐츠와 풍부한 참고 자료를 강점으로 꼽았고, 절반 이상은 보고서 자체가 통찰력을 제공한다고 평가했다. 필자는 딥리서치에 1980년 이후 네트워크 장비 시장 변화와 향후를 좌우할 주요 요인에 대한 보고서를 요청해 시험해봤다. 결과는 해당 기간 동안 애널리스트로서 기억하는 시장 진화를 그대로 재구성했고, 미래 핵심 요인으로 AI와 HPE-주니퍼 인수합병을 지목했는데 이는 필자의 견해와 일치했다. 한 문장짜리 프롬프트로 20여 쪽 분량의 참고자료 포함 보고서가 생성됐다.

오디오 출력 옵션을 테스트한 사용자는 1/5에 불과했지만, 반응은 가장 뜨거웠다. 영업, 마케팅, 제품 기획 조직은 여러 소스를 기반으로 양자 대담 형태의 팟캐스트 분석을 생성하는 기능을 특히 선호했고, 경쟁사 자료와 자사 자료를 비교하는 데 적극 활용했다고 설명했다. 일부 조직은 앞서 언급한 기능으로 시장 보고서를 생성한 뒤 경쟁사 자료나 실적 발표 회의 녹취록을 투입해 두 결과를 비교하는 ‘팟캐스트’를 요청하기도 했다.

이런 호응은 오디오 기반 결과물이 주는 교육 및 설명 효과 때문인 것으로 보인다. 어떤 기업은 해당 툴을 활용해 영업 교육 프로그램을 만드는 프로젝트를 진행했고, 또 다른 기업은 영업 담당자에게 실제 대화 포인트를 제공하는 사전 준비 도구로 활용했다. 이런 작업을 AI 없이 사람이 직접 만들 수도 있지만, 시간과 노력이 과도하게 들고 사람 중심 제작물은 자사 관점에 편향되는 경향이 있다. 따라서 AI 툴은 기업의 제품과 서비스를 좋은 말로 치장하지 않는 객관적인 자료를 만드는 데도 유용하다. 필자는 이 기능도 시험했는데, 결과물은 놀라울 만큼 현실적이고 몰입감이 높았다.

사용자가 지적한 유일한 문제는 저작권이었다. 약 절반은 AI 생성물이 저작권 보호 대상인지에 대한 법적 시각이 여전히 회의적이라는 점, 또는 AI가 외부 저작물을 침해했다는 주장에 직면할 가능성 때문에 대외 공개에 부담이 있다고 말했다. 다만 내부 활용에는 영향이 없었고, 일부 기업은 법무팀의 검토를 거쳐 제한적 외부 활용도 승인받았다고 밝혔다.

그렇다면 오류 문제는 어떨까?. 두 종류의 AI 툴 사례 모두에서 품질이 떨어지는 결과물이 나오지는 않았을까?. 그런 경우는 거의 없었다. 두 기능을 시험한 사용자 중 10% 미만만이 결과물을 폐기한 적이 있다고 답했고, 문제 발생 시 절반은 AI의 분석 오류라기보다 부정확한 프롬프트 작성 때문이라고 말했다. 필자는 자체 테스트에서 심각한 문제를 발견하지 못했고, 애널리스트에게 맡길 작업을 이 결과물로 대체해도 무리가 없을 것이라는 생각이 들었다.

거품을 걷어내고 현실 경쟁에 나서는 AI

AI가 일자리를 대체할까? 필자의 일자리도 포함될까? 필자는 AI 결과물을 본인의 작업 결과로 사용하는 것은 부정확하다고 보고 활용하지 않지만, AI 실험의 결과임을 명시해 공유한 사례는 모두 긍정적 반응을 얻었다. 프로젝트 리서치 수단으로는 AI 툴이 필자에게도 충분히 유용할 수 있다. 필자는 스스로 AI보다 통찰력이 높다고 생각하지만, 이는 장인이 수제 검이나 쟁기가 기계 생산품보다 낫다고 주장하는 것과 비슷할 수도 있다. 이미 인터넷 신규 콘텐츠의 절반 가량이 AI 생성물이라는 조사 결과도 있지 않은가?

종합적으로, 기업의 이런 반응은 필자에게 놀라움과 도전을 동시에 안겼다. AI가 인류를 파괴하거나 필자의 직업을 없애지는 않겠지만, 산업혁명에 필적할 영향력을 가질 것이라고 생각한다. 수백 년 전 장인이 기계보다 더 나은 칼이나 쟁기를 만들 수 있었더라도, 기계가 등장한 이후에는 기계를 활용하지 않고 해당 분야에서 성공하기 어려웠던 것처럼, 지식 노동자에게도 AI 활용 능력이 필수 역량이 될지 모른다. 이미 그런 시대가 시작됐을 가능성도 있다.

그렇다면, 이런 가치는 초창기 AI 열풍을 정당화할 만큼 충분한가? 그럴지도 모르지만, 지속적인 투자를 정당화할 만큼은 아니다. 사무직 노동자의 60% 중 28%에게만 영향을 미치는 수준으로는 AI 투자 흐름을 유지하기 어렵다. 오픈AI는 28%를 위한 전문형 AI 툴과 나머지를 위한 AI 에이전트 전략으로 전환하는 모습을 보이며 새로운 방향을 제시하고 있다. 구글도 이미 여러 툴을 보유하고 있으며, 최근에는 AI 에이전트에 대한 강한 의지를 드러냈다. 아마존과 마이크로소프트도 같은 행보를 보이고 있으며, 세일즈포스 역시 AI 에이전트 전략에 속도를 내고 있다.

이로 인해 ‘AI 종말론’ 같은 과장 대신 AI 툴 vs. AI 위협, 에이전트 기반 주권형 AI vs. 순수 AI 클라우드라는 현실적 구도가 형성되고 있다. 이 변화를 이해하는 기업이 승자가 되고, 변화를 보지 못하는 기업은 발 빠르게 전략을 재정비해야 한다. 생성형 AI에는 여전히 과장이 존재하지만, AI 전체가 허상인 것은 아니다.
dl-itworldfkorea@foundryco.com