회의 중에 AI를 향해 크게 소리를 지르는 우스꽝스러운 모습을 보이고 싶은 사람은 없다. 사무실 환경에 음성 에이전트를 잘 구현하기 위한 핵심은 더 좋은 코드가 아니라 “인간적인” 느낌이다.

음성 AI 에이전트 시장은 2024년 24억 달러에서 2034년 475억 달러 규모로 성장할 전망이다. 연평균 성장률은 34.8%에 이른다. 그러나 매킨지에 따르면, 기업 중 자사의 AI 배포를 “성숙” 단계로 평가하는 비율은 1%에 불과하다. 또한 파일럿 단계를 통과하는 AI 사용례는 10% 미만이다.

모델은 잘 작동한다. 간극은 이런 시스템이 기업 협업에서 실제 인간과의 상호작용을 위해 설계되는 방식에 있다. 기업 협업 환경에서는 음성 명령에 따라 워크플로우가 시작되고, 회의에 여러 사람들이 참여하며, 실수는 사회적 부담을 수반한다. 이 글에서는 문제가 어디에서 발생하는지, 어떻게 해결할 수 있는지를 살펴본다.

기업용 음성 AI가 삐끗하는 지점

현재 사용자의 81%가 일상적으로 음성 기술을 사용하지만 만족도는 그에 미치지 못한다. 조사에 따르면 음성 비서 사용자 중 65%는 음성 비서가 말을 잘못 알아듣는 경우가 많다고 답했으며 41%는 원하는 대로 작동하지 않을 때 음성 비서에 크게 소리를 지른다고 말했다. 이 사람들은 회사에 출근해서는 일정, 회의, 메시지를 이 미덥지 많은 음성 에이전트에 맡겨야 한다. 집에서 사용하며 좌절감에 익숙해진 만큼 직장에서의 기본 기대치도 낮다.

대다수 팀은 이와 같은 수치에 대해 기술적인 해결책, 즉 더 나은 음성 인식 모델, 더 낮은 단어 오류율(WER), 더 빠른 처리 속도 등을 모색한다. 그러나 WER은 시스템이 오디오를 얼마나 잘 받아썼는지를 보여줄 뿐이다. 어떤 직원이 상사 앞에서 사용할 만큼 그 음성 에이전트를 신뢰했는지, 다음 주에 다시 음성 에이전트를 열어볼 의향이 있는지에 대해서는 아무런 정보도 제공하지 않는다. 기업 협업 환경에서는 음성 에이전트가 지시를 한 번만 잘못 알아들어도 의도하지 않은 초대장이 발송될 수 있다.

문제의 근본적인 원인은 반복되는 설계 전제에 있다. 바로 음성 AI를 마이크가 달린 텍스트로 취급하는 것이다. 음성에는 고유한 제약이 있다. 응답 대기 시간이 500ms를 넘어가면 대화의 흐름이 깨진다. 회의 중 오가는 일상적인 대화와 사방이 개방된 사무실의 소음 속에 명령이 섞여 들어온다. 사용자는 에이전트가 한 말을 뒤로 스크롤해서 확인할 수 없다. 그리고 회의 중에 시스템이 뭔가를 잘못하면 채팅 창의 오타와는 차원이 다른 당혹감이 닥친다.

음성 기반 기업 워크플로우에서 사용자 여정을 매핑해 보면, 문제의 중심은 전사 실패 지점이 아니라 사회적 위험의 순간에 있다. 사회적 위험의 순간이란 임원 앞에서 에이전트에 명령하기, 시스템이 적절한 메시지를 보낼 것이라고 신뢰하기, 또는 에이전트가 처리하는 동안 어색한 침묵 속에서 기다리기 등이다. 닐슨의 사용 편의성 휴리스틱을 통해 그 이유를 설명할 수 있다. 진행률 표시줄, 로딩 중임을 알리는 모래시계 아이콘이 없는 순수한 음성 전용 인터페이스에서 시스템 상태에 대한 가시성은 전혀 다른 의미를 갖는다. 사용자는 침묵의 의미를 직접 해석해야 한다. 이 모호성은 조기 이탈에 대한 가장 강력한 예측 변수다.

음성 AI 에이전트 구축을 위한 UX 원칙

대화의 리듬에는 이유가 있다. 삭스, 셰글로프, 제퍼슨은 1974년 어떤 언어에서든 사람들이 말을 주고받는 주기는 약 200ms라는 사실을 발견했다. 음성 에이전트가 응답하는 데 이보다 조금이라도 더 오래 걸리면 상호작용의 흐름이 깨지기 시작한다. 사람들은 ‘지연이 너무 길다’고 말하지 않는다. 그냥 어색하다고 말하거나 아예 사용을 중단한다.

따라서 에이전트는 사용자의 말을 처리하는 중이라도 일단 말을 잘 들었음을 알려야 한다. ‘알겠습니다, 지금 알아보는 중입니다..’와 같은 응답은 협업적으로 느껴진다. 작업 완료율이 동일하더라도 응답이 더 빠른 시스템에 대해 사람들은 “더 도움이 된다”고 평가한다. 구글은 스피치 투 텍스트(Speech-to-Text) 문서에서 스트리밍 애플리케이션에 대해 100ms 프레임 크기를 권장한다. 댄 새퍼의 미세 상호작용에 관한 연구도 도움이 된다. 자연스러운 전화 통화를 구성하는 요소가 무엇인지 생각해 보자. 상대의 말을 듣고 있음을 나타내는 ‘음-음’, 대답하기 전의 잠시 멈춤, 계속 말하도록 북돋우는 추임새 등이 있다. 음성 에이전트에도 이런 모든 요소가 필요하다. 사양에는 나타나지 않지만 사람들이 억지로 쓰는 시스템과 기꺼이 사용하는 시스템의 차이를 결정하는 요소다.

성능만큼 회복도 중요하다. 사람들은 음성 에이전트의 첫 실수에 대해서는 관대하다. 두 번째 실수에는 의심이 싹튼다. 세 번째가 되면 “제대로 작동하지 않는다”는 결론을 내리고 신뢰하지 않게 된다. 에이전트는 혼란스럽거나 올바른 응답을 제공할 수 없는 경우 이를 명확히 밝혀야 하며, 가장 가까운 참조 문서나 다음 단계 등 사용자가 취할 수 있는 대응법을 제시해 신뢰와 투명성을 확보해야 한다.

암묵적 확인도 기업 환경에서 즉각적으로 작용하는 원칙이다. ‘저에게 판매 청구서를 보냈습니까? 예 또는 아니오로 답하세요’보다는 ”업데이트된 판매 청구서를 받은 편지함으로 보냈습니다’라는 표현이 더 효과적이다. 사용자가 음성 명령을 내리기 직전에는 약 0.5초 정도의 멈춤이 존재하는데, 이는 에이전트가 올바르게 응답할지, 계속 진행해서 이 명령을 내려야 하는지에 대해 의심하는 시간이다. 적절한 확인 설계는 이 사회적 위험을 낮춰준다.

마지막으로, 환경은 테스트 변수가 아니라 설계 제약이다. 개방된 사무실, 회의실, 이동 중 사용, 하이브리드 회의 등 각각의 환경마다 음향이 다르고 실패 모드도 다르다. 노이즈 제거와 자동 화자 분리는 있으면 좋은 부가적인 기능이 아니라 가장 중요한 핵심 기능이다.

효과적인 음성 AI 에이전트를 구축하기 위한 UX 연구 플레이북

표준 사용성 테스트는 인터페이스가 눈에 보이고 시스템이 항상 동일하게 동작한다고 전제한다. 그러나 음성 AI 에이전트에서는 이 두 가지 전제가 모두 깨진다. 시스템의 동작은 비결정적이고 상호작용은 시각적 흔적을 남기지 않으며, 환경에 따라 모든 것이 바뀐다. 따라서 연구 접근 방식도 이런 모든 특성을 반영해야 한다.

음향 환경이 설계상의 주된 제약 요소인 만큼 맥락적 조사(contextual inquiry)가 필수적이다. 통제된 실험보다는 회의실 벽 건너편 동료의 스피커폰 소리가 들리는 상황에서 누군가가 음성 에이전트를 사용하는 모습을 관찰하는 편이 훨씬 더 많은 정보를 얻을 수 있다. 사고 구술법(think-aloud protocols)도 음성 에이전트에 맞춰 조정해야 한다. 참여자는 이미 시스템과 대화하고 있으므로 사고 구술법을 동시에 진행할 경우 간섭이 발생한다. 해결 방법은 녹음을 사용한 회고적 사고 구술법이다. 즉, 참여자가 지난 상호작용을 재생하면서 각 시점에서 무엇을 생각했는지 설명하는 방식이다.

그러나 현장 연구가 포착하는 것은 스냅샷일 뿐이다. 다이어리 연구는 AI 음성 에이전트에서 전통적인 소프트웨어와 다른 역할을 수행한다. 기능 사용이 아닌 시간 경과에 따른 신뢰를 추적한다. 참여자는 단순히 무엇이 일어났는지가 아니라 동료들 앞에서 그 상호작용을 다시 수행할 의향이 있는지도 기록한다. 이를 통해 기술 사용률이 하락하기 전에 신뢰가 흔들리기 시작하는 시점을 포착할 수 있다. 경험 표집법은 다이어리 연구에서도 놓치는 부분을 포착한다. 사후 연구가 아니라 참여자가 실제로 에이전트를 사용하는 중에 임의의 시점에 개입해 확인한다. 참여자가 사후 인터뷰에서는 문제가 없었다고 말하더라도 해당 시점의 기록에는 전혀 다른 상황이 드러날 수 있다.

정량적 UX 연구와 행동 데이터 수집도 있다. 대화 로그를 살펴보면서 에이전트가 보편적인 응답으로 후퇴하는 빈도가 얼마나 되는지, 사람들이 요청을 중간에 포기하는 지점이 어디인지, 어떤 사용자 집단이 다른 집단보다 더 많은 오류를 겪는지를 확인한다. 여기서 얻은 데이터는 규모가 커질 때 시스템이 실패하는 지점을 보여준다. 이를 정성적 연구 결과와 결합하면 각기 동떨어진 여러 관찰 내용을 취합해 제품 의사결정을 내릴 수 있다.

그러나 가장 중요한 지표는 정작 눈에 잘 띄지 않는다. 작업 완료와 사용자 만족도가 서로 상반되는 패턴이 반복적으로 나타난다. 즉, 사람들은 작업을 완료했음에도 불구하고 좌절감을 느끼며 음성 에이전트를 외면한다. 즉, ‘작동은 했지만 회의에서는 다시 사용하고 싶지는 않다’는 것이다. 이런 괴리를 포착하기 위해서는 시스템 사용성 척도(System Usability Scale)와 같은 지표를 행동 데이터 및 정성적 후속 조사와 결합해야 한다. 측정은 여러 수준에서 동시에 이뤄질 때 가장 효과적이다. 대화 수준에서는 에이전트가 대화 중단을 어떻게 처리하는지, 보편적인 응답으로 후퇴하는 빈도가 얼마나 되는지를 본다. 비즈니스 수준의 질문은 단순하다. 첫 주가 지난 다음에도 사람들이 계속 사용했는가? 중요한 내용은 이런 각 수준 사이의 간극에 존재하는데, 이를 확인하기 위해서는 연구 팀이 제품 의사결정이 확정된 이후가 아니라 초기 단계부터 참여해야 한다.

프로덕션에서 직면하게 되는 다양한 발화 패턴과 억양, 접근성 요구사항에 걸쳐 테스트하다 보면 팀이 예상하지 못한 방식으로 제품의 방향이 조정된다. 일리노이 대학은 구글, 애플, 아마존과 함께 진행한 발화 접근성 프로젝트(Speech Accessibility Project)에서 더 폭넓은 발화 샘플로 모델을 학습시켜 비표준 발화 패턴에서 정확도를 18~60%까지 높였다. 다양한 사용자 집단을 대상으로 한 카드 분류 실험에서는 제품 팀이 사용자가 원하는 것이라고 전제했던 부분이 뒤집어지는 경우가 자주 발생한다. 또한 음성 AI에서도 커브컷(장애인을 위한 설계가 모든 사용자에게 이익이 된다는 원칙) 효과가 존재한다. 즉, 음성에 전적으로 의존하는 사용자에 맞춰 설계하면 전체 경험이 더 향상된다.

UX 연구가 에이전틱 음성 AI에 미치는 영향

음성 에이전트가 하나의 명령을 실행하는 수준에서 벗어나 기업 워크플로우 전반에서 자율적으로 작동하게 되면 UX 연구의 문제도 달라진다. ‘내일 고객 회의를 준비해’라는 요청을 이행하기 위해서는 일정 데이터를 가져오고 문서를 찾고 요약을 작성해야 할 것이다. 줌의 AI 컴패니언(AI Companion) 3.0이 이 방식으로 작동한다. 이제 연구에서 던져야 할 질문은 ‘시스템이 말을 이해했는가?’가 아니라 ‘에이전트가 대신 수행한 작업을 사람이 신뢰하는가?’가 된다.

신뢰 문제는 심성 모형(mental model)으로 귀결된다. 누군가 ‘내일 회의 일정을 조정해’라고 말할 때 그 사람은 전체 그림, 즉 일정 충돌을 확인하고 시간을 변경하고 초대장을 업데이트하고 참석자에게 알리는 과정을 함축해서 말하는 것이다. 에이전트가 시간만 변경하고 알리지도 않은 채 나머지를 생략한다면 그 불완전한 결과는 ‘그 요청은 수행할 수 없다’는 답보다 더 좋지 않은 인상을 줄 것이다. 사람들은 정직하게 알리는 한계는 너그럽게 받아들일 수 있지만, 한 시간이 지나도 아무에게도 일정 조정 사실이 전달되지 않았다는 사실은 용납하지 않는다.

기업 환경에서는 에이전트의 행동이 다른 사람들에게 영향을 미친다. 기업용 음성 에이전트가 오작동하면 동료의 시간이 낭비되고 상사에게 잘못된 정보가 전달되고 자신이 참여하지도 않은 회의에 방해가 될 수도 있다. 에이전트가 뭔가를 잘못 처리하면 그 대가는 다른 사람이 치른다. 이로 인해 사람들은 에이전트의 실수에 대해 훨씬 덜 관대해진다. 연구 초기 단계에서 이 문제를 포착하는 효과적인 방법이 있다. 에이전트가 작업을 수행하기 전에 참여자에게 에이전트가 어떻게 행동할 것이라고 예상하는지 먼저 설명하게 한 뒤, 실제 결과와 대조하는 것이다. 여기서 드러나는 불일치가 조기 경보 신호다. 여기서 포착되는 불일치는 조기 경보다. 지원 티켓이나 사용 포기라는 결과로 나타나기 몇 달 전에 연구에서 먼저 잡아낼 수 있다.

‘놀람 최소화(least surprise)’ 원칙은 에이전트 맥락에서 그 의미가 더 크다. 백그라운드에서 여러 작업이 동시에 진행 중이라 해도 사용자는 명확한 하나의 답을 받아야 한다. 대기 시간 동안 “요청을 처리하기 위해 몇 가지를 정리하는 중입니다”와 같은 피드백을 제공하면 침묵 없이 몇 초의 시간을 벌 수 있다. 여정 매핑을 보면 사용자는 요청 중간, 즉 이 공백 구간에서 확신을 잃는다. 따라서 공백 순간을 제대로 처리해야 한다.

참신한 느낌이 사라지는 상황에도 대비해야 한다. 초기에는 시스템이 실수하더라도 사람들이 용인하고 넘어간다. 그러나 이 관대함은 빠르게 소진된다. 2~3주가 지나면 비교 기준이 달라진다. 그전까지는 “AI 치고는 괜찮네”라고 생각했다가 이 시점부터는 “진짜 사람 비서였다면 제대로 처리했을 텐데”라고 생각하는 것이다. 기업 환경에서는 유능함의 기준이 명확하다. 일정을 능숙하게 관리하는 비서, 문제에 대해 한 번만 이야기하면 바로 해결하는 IT 담당자, 회의 안건 전달을 잊지 않는 동료들이다. 이것이 사용자가 기준으로 삼는 비교 대상이다. 시스템이 지속적으로 이 기준을 충족할지 여부를 확인하는 유일한 방법은 종단적 연구다.

엔지니어링 문제가 아닌 설계 문제

기업용 음성 AI의 문제는 기술적 문제가 아니다. 모델은 잘 작동한다. 지금까지 부족했던 것은 음성 AI를 처음부터 UX 문제로 다루고, 기업 협업 환경에서 음성과 에이전틱 AI가 만들어내는 특수한 과제에 연구 방법을 적용하는 것이다. 사회적 위험, 자율적인 신뢰 의사결정, 시스템이 할 수 있는 일과 사람들이 실제로 의존하고자 하는 것 사이의 간극은 엔지니어링 문제가 아니라 설계 문제다.

음성 AI 에이전트의 자율성이 높아질수록 연구자와 개발자가 함께 던져야 할 질문은 ‘잘 작동하는가?’가 아니라, ‘사람들이 사전에 결과를 확인하지 않고도 다른 사람들 앞에서 일을 맡길 수 있을 만큼 음성 AI 에이전트를 신뢰하는가?’이다. 이것이 실제 도입을 좌우하는 기준이다. 이 기준에 도달하기 위한 방법과 원칙은 잘 알려져 있다. 이제 관건은 과연 이런 방법을 활용할 수 있을 만큼 충분히 초기부터 UX 연구자를 프로젝트에 참여시키는지다.
dl-itworldkorea@foundryco.com