생성형 AI 도구가 직장 내에서 빠르게 보편화되고 있다. 생산성 향상이라는 기대 속에서 많은 기업이 이러한 도구를 급격히 도입했지만, 일상 업무에 효과적으로 통합하는 방식에 대한 충분한 고민 없이 도입이 이뤄지고 있다는 지적도 나온다.

최근 일부 직원은 ‘프롬프트 피로(prompt fatigue)’를 호소하고 있다. 이는 팬데믹 당시 ‘줌 피로’와 유사한 인지적 소진 현상으로, 지속적으로 프롬프트를 생성·수정·최적화해야 한다는 압박에서 비롯된다.

포레스터의 수석 애널리스트 레슬리 조지프는 프롬프트 피로의 배경을 설명하며, 인터넷 시대 이후 지식 노동의 주요 방식은 ‘찾고 조합하기(find and assemble)’였다고 말했다. “어떤 주제에 대해 이해하려면 먼저 구글 검색을 통해 정보를 모으고, 이를 조합해 결과물을 만든다”는 설명이다.

하지만 대규모 언어 모델(LLM)의 등장으로 이러한 패러다임은 ‘질의하고 수정하기(query and refine)’로 전환됐다. 질의와 수정은 작업 흐름을 자주 끊고 다시 시작해야 하는 반복적 과정으로, 더 많은 좌절감을 유발할 수 있다.

조지프는 “LLM은 방대한 정보를 기반으로 일관된 결과물을 생성하는 데 매우 능하지만, 동시에 신뢰성이 떨어지는 경우가 많다”라고 지적했다. 결과적으로, 지식 노동자는 지속적으로 다양한 관점에서 프롬프트를 재구성하고 탐색해야 하며, 이는 몰입과 성과를 위한 흐름을 끊게 된다는 설명이다. 다만, 이러한 현상은 주로 소프트웨어 엔지니어를 대상으로 한 연구에서 관찰됐으며, 모든 직종에 동일하게 적용되는지는 아직 명확하지 않다고 덧붙였다.

IT 관리 전문 기업 매니지엔진(ManageEngine)의 AI 연구 책임자 람프라카시 라마무르티 역시 비슷한 견해를 밝혔다. 라마무르티는 프롬프트 피로의 원인으로 ▲어떤 LLM을 사용할지 결정하는 문제 ▲적절한 프롬프트를 구성하는 문제 ▲원하는 답변이 나올 때까지 이를 반복적으로 수정하는 문제라는 3가지 반복 과제를 꼽았다.

여기에 대다수 LLM이 불확실성에 대응할 안전 장치를 갖추고 있지 않다는 점도 문제라고 지적했다. 라마무르티는 “LLM은 ‘모르겠다’고 말하지 않는다. 오히려 ‘이게 맞다’며 확신에 찬 답변을 내놓는다”라고 지적했다.

프롬프트 피로에 대한 정의는 다양하고, 범위를 이해하려면 추가 연구가 필요하지만, 분명한 점은 지식 노동자와 기업 모두 생성형 AI 도구의 통합과 사용 방식을 개선할 수 있는 여지가 크다는 것이다.

생각을 멈춘 대가

프롬프트 피로의 가장 큰 문제는 생산성 향상보다 저하로 이어질 수 있다는 점이다. 라마무르티는 여러 개의 LLM에 프롬프트를 보내는 등 복잡한 절차를 거치는 사례에서 오히려 수작업으로 해결하는 것보다 시간이 더 걸리는 경우가 있다고 설명했다.

가트너의 부사장 겸 자문 위원 아론 맥이완은 생성형 AI의 생산성 효과가 경험 수준에 따라 달라진다고 분석했다. 또한 “저연차 직원은 AI 도구를 통해 상당한 도움을 받을 수 있지만, 경력이 높은 직원일수록 오히려 작업 속도가 느려지고 어려움을 겪을 수 있다”라고 말했다.

실제로, 모델 평가 및 위협 리서치(Model Evaluation & Threat Research)가 최근 실시한 소규모 연구에서는 경력 있는 개발자의 작업 속도가 19% 느려졌다는 결과가 나왔다. 흥미로운 점은 이가 작업이 더 빨라졌다고 착각했다는 점이다.

그럼에도 많은 기업이 직급이나 역량 수준을 고려하지 않고 생성형 AI 도입을 일률적으로 추진하고 있다.

또한 생성형 AI에 과도하게 의존할 경우, 지식 축적과 사고력에 부정적 영향을 줄 수 있다. AI 도구를 통해 많은 정보를 학습할 수는 있지만, 깊이 있는 사고 과정이 결여되면 오히려 전문성을 키우기 어려워질 수 있다는 것이다.

맥이완은 인지적 관점에서 설명하며 “사고 과정을 생략하고 곧바로 답에 도달하면, 뇌 속에 깊은 신경 연결망이 형성되지 않아 학습과 전문성, 지혜로 이어지기 어렵다”라고 말했다.

라마무르티 역시 같은 우려를 제기하며 스마트폰 시대에 전화번호를 외우지 않게 된 현상을 예로 들었다. 라마무르티에 따르면 지금 사람들은 티켓에 대한 답변을 작성할 능력을 점점 잃고 있다. LLM에 지나치게 의존하고 있기 때문이다.

라마무르티는 이러한 과의존을 줄이기 위해서는 먼저 스스로 사고하지 않고 있다는 사실을 인지해야 한다고 강조했다. 이어 어떤 상황에서 LLM의 도움이 유효한지 구체적으로 정의하고, 질문 유형에 따라 일반용·기술용으로 LLM을 구분해 사용하는 전략이 필요하다고 덧붙였다.

더욱 광범위한 관점에서, 기업 역시 구조적 리스크에 직면할 수 있다. 맥이완은 법조계의 예를 들며, “이미 고령화가 진행 중인 법조계는, 생성형 AI 도구가 핵심 역량 구축 기회를 대체하게 되면 더 큰 위기를 맞을 수 있다”라고 지적했다. 또한 “주니어 변호사가 중요한 분석 능력과 비판적 사고를 습득하지 못하게 되면, 중간 단계 자체가 사라지고, 유능한 시니어 변호사로 성장하는 경로가 붕괴될 수 있다는 우려가 현실화되고 있다”라고 설명했다.

여기서의 리스크는 단순히 훈련 기회 상실에 그치지 않는다. 업무의 목적 자체가 흐려질 수 있다는 점도 주목해야 한다. 맥이완은 “생산성이 단순한 효율성을 넘어서야 한다”라고 강조했다.

비니 길 코그니토스(Kognitos) CEO는 대규모 언어 모델(LLM)이 업무 속도와 진행 상황에 대한 잘못된 기대감을 조성할 수 있다고 경고했다. 코그니토스는 업무 프로세스 자동화 솔루션 기업이다.

길에 따르면, 전통적인 엔지니어링 워크플로는 주로 선형적이지만, 생성형 AI는 초반에 매우 빠른 가속도를 제공해 업무가 거의 끝난 듯한 착각을 불러일으킨다. 이로 인해 직원이 작업을 조기에 마무리 지으려는 경향이 나타난다.

길은 “그런데 그렇게 하면, AI가 이전에 잘 처리했던 부분까지 망쳐버리는 일이 발생한다. 그래서 ‘대체 언제 100%에 도달할 수 있지?’라는 의문이 든다. 한 걸음 나아갔다가 두 걸음 물러서게 되고, 결국 계속해서 지지부진하고 좌절하게 된다”라고 말했다. 이러한 반복이 프롬프트 피로의 핵심 원인이라는 것이다.

이에 따라 길은 개발자에게 “신뢰하되 검증하라”는 원칙을 강조하고 있다. 즉, 앱이나 리포트 등 거대한 완성본을 AI에 통째로 맡기기보다, 작은 단위로 쪼개어 각 구성 요소를 점진적으로 검증하는 방식을 권장한다.

길은 “AI에 맡기더라도 작업을 쪼개서 처리하면, 좌절감이 덜하다. 각 요소를 개별적으로 점검하고 수정할 수 있기 때문”이라고 설명했다.

이러한 접근법은 인간의 문제 해결 방식과도 닮아 있다. 사람은 어려운 문제에 부딪혔을 때 잠시 휴식을 취하거나 하룻밤 자고 나면 해결 실마리를 찾는 경우가 많다. 길은 생성형 AI에도 유사한 방법을 적용하라고 조언한다. 예를 들어, 새로운 챗 창을 열고, 기존 작업은 참조용으로 남겨두며, 모델이 프로젝트를 처음부터 새롭게 인식하도록 유도하라는 것이다.

길은 “AI가 처음 보는 것처럼 설명해보라고 요청하면, 이전에는 보지 못한 이슈를 새롭게 발견할 수 있다”라고 설명했다.

그럼에도 해결되지 않는 경우, 모델을 바꾸는 것도 하나의 방법이라고 강조했다. 예컨대 클로드에서 제미나이 프로로 전환하면, 모델마다 ‘사고 방식’이 다르기 때문에 문제 해결 접근도 달라진다는 것이다. “한 모델이 해결하지 못하는 문제도 다른 모델은 풀 수 있다. 인간도 마찬가지다. 어떤 사람이 문제를 해결하지 못하면 다른 사람과 이야기하면서 새로운 아이디어를 얻을 수 있다”라고 말했다.

가트너의 아론 맥이완은 이러한 우수 사례를 단순히 교육장에서 전달하는 데 그치지 않고, 실제 현장에서의 교육과 코칭을 통해 반복 학습하는 방식이 필요하다고 지적했다.

맥이완은 “경험 많은 직원이 저연차 직원을 코칭하며, 산출물을 함께 검토하고 정확성을 점검하는 과정이 중요하다. 이는 교실 강의만으로는 부족하며, 현장에서 손에 잡히는 실전형 코칭이 병행돼야 한다”라고 강조했다.

‘약한 연결 고리’ 더 약해지다

한편, 줄리아 프리랜드 피셔는 고립을 조장하는 도구 대신, 인간 관계 형성을 촉진하는 AI 도구를 탐색해야 한다고 제안하며, 보디(Boardy), 시리즈(Series), 클라임 투게더(Climb Together) 등을 유망한 사례로 소개했다.

생성형 AI 확산에 따라 개인 적응을 넘어서 기업 차원의 대응이 더 중요해지고 있다. 포레스터의 레슬리 조지프는 AI 관련 도전 과제를 해결하려면 기업 전체의 인식 전환이 필수적이라고 강조했다.

조지프는 “많은 기업이 생산성 지표를 중심으로 접근하지만, 사실 이는 심리적 전환 과정이며, 이를 개인 수준뿐만 아니라 기업 수준에서도 인식하고 대응해야 효과를 거둘 수 있다”라고 지적했다.

조지프는 개발자 사례를 들어 설명했다. 최근 많은 개발자가 통합 개발 환경(IDE)에서 벗어나 AI 지원 개발 도구로 전환하고 있다. 조지프는 “이 변화가 기술적인 차원뿐 아니라 업무 몰입도에 어떤 영향을 주고 있는지, 내부 팀 차원에서 충분히 논의되고 지식이 공유되고 있는가를 자문해봐야 한다”라고 말했다. 아울러 AI 도구를 성공적으로 통합하고 있는 인물로부터 배울 수 있는 기회를 기업적으로 마련해야 한다고 강조했다.

AI 모델 공급업체의 책임도 적지 않다. 비니 길은 현재 많은 공급업체가 실제 성능보다 과장된 기대를 유도하고 있다며 ‘AI 세탁(AI-washing)’ 현상을 경고했다. 그는 “시장에서 연기와 거울(smoke and mirrors)이 너무 많다”며, 데모에서는 완벽해 보이지만 실제로는 작동하지 않는 경우가 많다고 지적했다.

길은 이를 초기 자동차 산업과 비교하며, “AI 기업에 주고 싶은 조언은 처음부터 완전자율주행을 목표로 하지 말라는 것이다. 처음에는 핸들과 크루즈 컨트롤 정도로 시작하고, 사용자가 신뢰를 쌓을 수 있도록 점진적으로 확대해야 한다”라고 말했다.

화이트 라벨 PR의 키릴 페레보즈치코프는 AI 소프트웨어 도입에 있어 탈중앙화 방식을 택하고 있다. 이 기업은 툴에 구애받지 않고 직원이 가장 잘 맞는 AI 도구를 자유롭게 시도해볼 수 있도록 허용하고 있다. 페레보즈치코프는 “직원이 도구를 직접 시도해보고 계속 사용할지 여부를 스스로 결정한다. 괜찮다고 판단되면, 회사는 이를 공식 비용으로 승인하고 지속 사용하게 한다”라고 설명했다.

이러한 실험과 공유의 문화는 팀 미팅 시 ‘이런 도구를 써봤는데 좋더라, 함께 이야기해보자, 모범 사례를 공유하자’는 자발적인 발표 문화로 이어지고 있다.

한층 더 넓은 관점에서, 페레보즈치코프는 프롬프트 피로를 줌 피로 및 원격 근무로 인한 다양한 디지털 스트레스의 연장선으로 바라봐야 한다고 주장했다. 결국 문제의 본질은 사람들이 오랫동안 컴퓨터 앞에 붙들려 있다는 데 있다. 페레보즈치코프는 “더 나은 도구를 도입하는 것도 좋지만, 자연 속으로 나가 풀밭을 걷는 것처럼 물리적으로 공간을 바꾸는 활동도 매우 중요하다”라고 강조했다.
dl-itworldkorea@foundryco.com