생성형 AI는 잠재력이 크지만 전반적으로 상당한 양의 쓰레기를 양산한다.

최근 하버드 비즈니스 리뷰 블로그는 직원이 고품질 자료로 위장한 이 ‘워크슬롭(workslop)’에 점점 더 의존하고 있다고 전했다. 직원은 점차 게을러지고 생산성이 떨어지며, 품질 관리는 궤도를 벗어나고 무결성과 신뢰도 무너지기 시작한다.

전문가는 기업이 통제력을 완전히 잃기 전에 지금 당장 행동에 나서야 한다고 촉구한다.

옥스퍼드대 사이드 경영대학원 교수 마티아스 홀베크와 애널리스트 토머스 H. 데이번포트는 기고문에서 “슬로피피케이션(slopification)이 기업 프로세스 전반에 걸쳐 대규모로, 그리고 순차적으로 발생하면 프로세스 자체와 그 산출물이 저하되기 시작한다”며 “결국 사람들은 업무 수행을 위해 의존하는 프로세스에 대한 신뢰를 잃기 시작한다”라고 주장했다.

두 사람은 이 기업 차원의 현상을 ‘지식 붕괴(knowledge decay)’라고 명명했다.

세 가지 핵심 과제

홀베크와 데이번포트는 직장 내 AI 생성 콘텐츠와 관련해 지식 붕괴를 방지하기 위해 다뤄야 할 세 가지 핵심 과제로 검증(verification), 타당성 확인(validation), 엔트로피(entropy)를 제시했다.

또한, 검증은 명백한 오류를 포함할 수 있는 AI 생성 콘텐츠에서 진정한 인간의 콘텐츠를 ‘분리해내는’ 작업을 요구한다고 지적했다.

이 과정은 시간이 많이 소요되고 비판적 사고와 추가 조사를 수반하며, 많은 경우 그 노력이 AI 활용으로 얻은 이점을 상쇄한다. 채용을 예로 들면, 일부 지원자는 AI를 활용해 이력서와 자기소개서를 작성하고 AI 랭킹 알고리즘에 맞게 프롬프트를 조정해 서류 심사에서 상위권에 오르는 것은 물론, AI를 은밀히 활용해 면접 질문에 대한 답변을 거의 실시간으로 생성하는 교묘한 방법까지 동원하고 있다.

이런 방식이 복합적으로 작용할 경우, 역량이 부족하거나 기업과 맞지 않는 지원자가 채용되는 결과로 이어질 수 있다. 홀베크와 데이번포트는 그 결과 채용 담당자가 AI를 활용할 수 없는 현장 면접에 더 많은 시간을 할애해야 할 수 있다고 주장했다.

또 다른 문제는 지식 타당성 확인이다. AI가 워크플로에 활용될 때 인간이 어디서, 어떻게 실질적인 가치를 제공했는지 확인하는 것이다. 예를 들어, 컨설팅 업체는 AI를 활용해 표준화된 서면 보고서와 파워포인트 슬라이드를 손쉽게 작성할 수 있지만, 기업은 전문가의 인간적 통찰에 대한 대가를 지불하고 있다.

홀베크와 데이번포트는 “인간 전문가는 이제 제출된 결과물의 품질뿐만 아니라, 실제 인간의 지적 작업이 이를 생산했다는 사실까지 입증해야 한다”라고 강조했다.

마지막으로, 지식 엔트로피는 ‘위험한 AI 기반 전화 게임’과 같다고 두 사람은 지적했다. 지식이 반복적인 프로세스에서 AI를 거듭 통과하면서 최초에 지식을 만드는 데 사용된 원본 ‘그라운드 트루스(ground truth)’ 데이터에서 점점 멀어진다.

홀베크와 데이번포트는 “콘텐츠가 대규모 언어 모델(LLM)을 거치는 반복 횟수가 많을수록 원본에서 더 멀어질 것”이라고 언급했다. 대규모 언어 모델은 다음 단어를 예측하는 결과물을 생성하는 확률적이고 ‘맥락 무감각(context-agnostic)’한 통계 모델로, 두 사람은 대규모 언어 모델이 “사실이나 진실에 대한 개념이 없으며 단순히 가장 가능성 높은 결과물을 예측할 뿐”이라고 밝혔다.

또한 일부 경우 대규모 언어 모델이 다른 모델이 생성한 합성 데이터로 훈련될 때 더 큰 문제가 발생한다고 두 사람은 밝혔다. 이렇게 만들어진 데이터가 이후 모델을 반복적으로 통과하면 모델의 정확성과 변동성에 영향을 미칠 수 있다. 이 현상은 ‘생성형 근친교배(generative inbreeding)’ 또는 모델 붕괴(model collapse)로 불린다.

AI 슬롭 방지를 위해 기업이 취할 조치

두 전문가는 따라서 모델이 설계되는 방식의 ‘근본적인 단계적 변화’와 함께 모델 활용 방식에 관한 명확한 규칙 수립이 필요하다고 주장했다.

가장 어려운 급선무는 직원의 AI 사용을 제한하는 것이다. 두 저자는 AI가 실질적인 가치를 더하는 시나리오에만 적용되어야 한다고 조언했다.

예를 들어, 직원이나 입사 지원자가 자유롭게 이력서를 작성할 수 있도록 허용하면 생성형 AI를 활용해 작업을 ‘최적화’하려 할 가능성이 높다. 지식 붕괴를 방지하려면 채용 담당자들은 AI가 생성할 수 없는 사실적인 답변을 요구하는 구조화된 문서에 의존해야 한다. 지원자에게 특정 역할, 완료한 프로젝트, 참여한 팀원, 담당한 공급업체, 관리한 예산에 대해 묻는 방식이 그 예다.

홀베크와 데이번포트는 생성형 AI 사용이 허용되거나 불가피한 경우, 기업은 어떤 가치가 추가되는지 정의하고 그 의미에 대한 명확성을 확립해야 한다고 강조했다. 두 사람은 “콘텐츠가 완전히 인간이 만든 것일 필요는 없지만, AI를 사용한다면 왜, 어떻게 사용하는지 명확히 해야 한다”라고 밝혔다.

또한, 유익한 시나리오의 하나로, 표준 오피스 소프트웨어에 내장된 코파일럿이나 제미나이 같은 AI가 보고서와 파워포인트 슬라이드 내용의 추가 버전을 수동으로 작성하는 것을 ‘사실상 무의미하게’ 만드는 경우를 들었다.

또 다른 예시로, 성과 평가에서 관리자들은 팀원과 고객으로부터 구체적이고 상세한 정보를 수집한 뒤, 일반적인 불릿 포인트로 구성된 ‘체크박스 보고서’를 생성하는 대신 AI를 활용해 그 자료를 종합할 수 있다.

기업은 개별적인 AI 사용이 전체 프로세스에 어떤 영향을 미치는지도 고려해야 한다. 예를 들어 수익 주기와 같은 기업 간 흐름에서는 관련된 모든 사람이 AI가 어떻게 사용될 것인지, 프로세스의 어느 단계에서 활용될 것인지 알고 동의해야 한다. 홀베크와 데이번포트는 일부 시나리오에서 점점 그러하듯 AI가 특정 작업을 더 잘 수행하느냐의 문제가 아니라, AI가 작업을 인수해 효율성을 높이고 있느냐의 문제라고 밝혔다.

그러나 궁극적으로 두 사람은 퍼블릭 대규모 언어 모델이 일반적이고 오류를 자주 포함하기 때문에 ‘실질적인 가치가 거의 없거나 전혀 없다’고 주장했다. 반면 기업별 데이터로 훈련된 소규모 언어 모델(SLM)과 독점 모델은 인간의 업무를 보완할 수 있다.

아키텍처 관점에서 기업은 정형 데이터와 비정형 데이터 모두의 이력을 추적하고 ‘그라운드 트루스’ 정보를 파악해야 한다. 고객 인터뷰와 같은 자료는 중요한 사실, 감정, 맥락을 제공하며, AI가 이를 변경하거나 요약하는 데 활용된다면 기업은 근본적인 그라운드 트루스 데이터를 파악하고 기록하며 검증 가능한 원본 콘텐츠를 참조해야 한다.

홀베크와 데이번포트는 결국 기업이 과거의 실수를 반복하지 않으려면 지금 당장 실용적인 관행을 정립해야 한다고 강조했다.

두 사람은 “기업 프로세스에서 생성형 AI의 통제되지 않은 확산을 해결하지 못한다면, 반세기 전 기업 컴퓨팅 성장과 함께 나타났던 ‘생산성 역설(productivity paradox)’의 재현을 목도하게 될 것”이라고 밝혔다.

‘인적 자본’과 ‘토큰 자본’의 융합

다른 전문가도 인간의 장점과 AI의 장점을 결합하는 것의 중요성에 동의한다.

마이크로소프트 CEO 사티아 나델라는 이 모델을 ‘인적 자본’과 ‘토큰 자본’의 결합으로 설명한다. 전자는 인간의 ‘지식, 판단력, 관계, 독창성, 패턴 인식’이고, 후자는 내장되어 보유한 AI 역량이다. 두 가지를 학습 루프에서 융합하는 데 기회가 있다.

나델라는 X 게시물에서 이 루프 안에서 인간이 AI 시스템을 안내하고 목표를 설정하며 패턴을 파악함으로써 AI가 ‘제자리를 맴도는’ 일이 없도록 해야 한다고 밝혔다. 내부 평가를 통해 기업이 지정한 벤치마크 대비 AI 개선 여부를 파악할 수 있다. 그 결과 ‘조회 가능한’ 기업 기억이 생성되고, 토큰 사용량이 줄어 기업 비용도 절감된다.

나델라는 “워크플로우가 개선될 때마다 더 나은 학습 신호가 생성되면서 기업 고유의 암묵적 지식 축적이 가속화된다”라고 언급했다.
dl-itworldkorea@foundryco.com