‘감정 AI’, ‘감정형 컴퓨팅’, ‘감정 분석’, ‘알고리즘식 감정 관리’ 등 다양한 이름으로 불리는 기술은 결국 같은 개념이다. 어떤 이름으로 부르든, 문제가 있는 아이디어다.

“측정할 수 없으면 고칠 수 없다.”는 경영학에서 흔히 하는 말이고, 실제로도 맞다. 하지만 고쳐야 할 대상이 직원의 태도라면 어떨까?

생성형 AI 기술의 발전으로 감정과 정신 상태를 측정할 수 있게 됐다. 그렇다면 기업들이 이를 광범위하게 활용해 문제를 해결하려는 시도는 자연스러워 보인다.

감정 AI의 개념이 바로 여기서 출발한다. ‘감정형 컴퓨팅’, ‘감정 분석’, ‘알고리즘식 감정 관리’라고도 하는데, 센서와 AI를 활용해 직장 내 인간의 감정을 감지하고 해석하며 분류하고 그에 대응하려는 기술을 말한다.

컴퓨터 비전, 자연어 처리, 음성 분석, 생체 인식, 머신러닝, 딥러닝, 엣지 컴퓨팅 하드웨어 등 다양한 분야의 기술 발전과 혁신이 감정 AI를 현실화했다.

이미 코지토(Cogito), 어펙티바(Affectiva), 휴미 AI(Hume AI), 엔트로픽(Entropik), 하이어뷰(HireVue) 같은 많은 기업이 감정 AI 애플리케이션을 위한 즉시 사용 가능한 솔루션을 제공하고 있다.

작동 원리는 단순하다. 직원으로부터 데이터를 수집하고 AI로 처리한 후 직원이 어떤 감정 상태인지 보여주는 결과를 얻는 것이다. 솔루션에 따라 수집 데이터는 다음 출처에서 나온다.

• 음성 특성 — 음높이, 톤, 리듬, 마이크로 포즈(미묘한 말의 끊김), 음성 스트레스

• 얼굴 표정 — 화상 통화 및 데스크톱 카메라를 통한 영상 분석

• 텍스트 — 이메일, 슬랙/팀즈 메시지, 설문 응답, 성과 평가에 대한 대규모 감정 분석

• 생리적 생체 신호 — 심박수 변동성, 피부 전기 반응(웨어러블 기기 통한)

• 행동 원격 측정 — 키보드 입력 속도, 마우스 움직임, 앱 전환 패턴

• 자세와 시선 — 직장에 설치된 카메라의 컴퓨터 비전 분석

기술 발전과 솔루션 다양화에도 불구하고, 감정 AI의 활용에는 근본적인 문제가 존재한다.

기업이 감정 AI를 사용하려는 이유

기업이 감정 AI를 활용하려는 이유와 목표는 여러 가지다. 가장 정당한 이유는 안전이다. 공장 근로자나 트럭 운전사 같이 위험한 일을 하는 노동자들은 부상과 사망을 피하는 데 도움이 되는 AI 도구로 보호받을 수 있다. 흔한 사례는 트럭 운전사가 졸고 있음을 감지한 후 알람을 울리거나 자동 조종 장치로 전환해 트럭을 제어하고 도로변에 세우는 기술이다.

또 다른 목표는 고객 서비스 개선이다. 메트라이프 같은 기업은 콜센터 상담원의 음성, 톤, 음높이를 모니터링하는 소프트웨어를 사용해 상담원이 고객에게 무뚝뚝하게 대하거나 불만을 표현하지 않도록 한다.

HR 부서는 AI를 활용해 회사 커뮤니케이션과 직원 설문을 분석해 직장 분위기를 파악할 수 있다. 기업은 직원 번아웃을 확인하거나 채용에 감정 AI를 활용할 수도 있다. 화상 입사 면접에 감정 AI를 적용하면, 기업은 더 나은 인재를 채용할 수 있을 것이다.

감정 AI는 직원 이직률, 의료 비용, 안전 위험을 낮추면서 고객 만족도, 직원 생산성, 팀이나 경영진의 기능 장애에 대한 인사이트를 높이는 등 다른 이점을 줄 수 있다.

감정 AI의 문제점

직원의 감정을 측정해서 이에 맞게 대응하면 성과가 클 것처럼 보이지만, 실제로는 과학적 근거가 부족하다.

얼굴 표정에 의존하는 감정 AI 시스템은 미국 캘리포니아대학 샌프란시스코 캠퍼스의 심리학자 폴 에크먼의 이론에 기초하고 있다. 에크먼은 1960년대 후반에 인간의 기본 감정이 소수의 제한된 집합으로 이루어져 있으며, 이것이 문화를 초월해 보편적이고 신뢰할 수 있는 얼굴 표정을 만들어낸다고 이론화했다.

그러나 에크먼의 이론은 2019년 리사 펠드먼 배럿이 이끈 메타분석에서 문제가 있는 것으로 드러났다. 이 분석 결과는 심리과학 공공 이슈 저널에 공개됐다. 배럿은 1000개 이상의 연구를 검토했고, 얼굴 움직임만으로는 인간의 감정 상태를 항상 신뢰할 수 있게 추론할 수 없다는 결론에 도달했다.

대다수 감정 AI 솔루션은 모든 사람의 감정을 같은 방식으로 해석할 수 있다는 가정에 기초하는데, 외모, 음성, 성격, 생리 등이 사람마다 크게 다르다는 점을 생각하면 이 가정이 타당하지 않음은 명백하다.

최근 몇 년간 경영과 리더십 영역에서처럼, AI도 대규모 직원 관리 문제의 만능 해결책으로 통용되고 있다.

감정 AI는 경영진이 직원을 설득하고 동기 부여하는 노고를 들이지 않고도, 감시를 통해 직원의 행동을 회사 목표에 맞출 수 있다는 환상을 제시한다.

하지만 감정 AI 지지자들은 이를 반박한다. 감정 AI는 직원 지원을 위한 도구라고 주장하며 도입하는 기업들이 많다. 그러나 실제 연구 결과는 반대를 보여준다.

2024년 핀란드의 사례 연구는 직장 감정 추적 기술이 직원 복지를 지원하기보다는 훼손하는 경향이 있으며 여러 문제를 안고 있다는 것을 발견했다. 먼저 이 기술은 제대로 작동하지 않는 경우가 많다. 구체적으로, ‘스트레스를 받는’ 또는 ‘집중된’ 같은 정신 상태를 식별한다고 주장하지만, 실제로는 실제 내적 기분을 충실히 드러내지 못한다.

둘째, 감정 AI 결과물의 품질은 인종에 따라 자주 다르다. 연구에서 흑인의 얼굴이 백인 참가자와 같은 얼굴 표정을 보였음에도 ‘화난’ 또는 ‘경멸하는’으로 잘못 분류되는 경우가 더 많았다. 이런 사례는 AI의 결함 있는 인간 감정 표현 해석 능력에 따라 직원을 다르게 대우하는 데서 비롯될 수 있는 편향의 한 가지 예시에 불과하다.

셋째, 소규모 팀에서는 데이터 익명화가 실제로 작동하지 않는다. 집계된 데이터에서도 개별 직원의 신원이 드러날 수 있으며, 이는 프라이버시 침해가 된다.

넷째, 감정 AI는 실제로 ‘감정 노동’을 요구하는 실질적 효과를 가질 수 있다. 이는 일의 일부로서 올바른 감정을 불러일으키고 표현하는 것을 의미하며, 이것이 계속 증가하는 직업 범위에 적용된다.

마지막으로, 감정 AI는 점점 더 광범위하게 사용되는 경향이 있다. 기업들은 처음에는 특정 목적으로만 도입했다가 나중에 직원 감시 범위를 계속 넓혀간다.

감정 AI에 미래가 있을까

감정 AI는 일부 분야에서 성장 중이나, 규제 강화로 인해 사용 범위가 줄어들고 있다. 유럽연합은 지난해 의료 또는 안전상의 이유로 한정된 예외를 제외하고 직장과 교육 기관에서 감정 AI를 금지했다. 다국적 기업은 유럽 표준으로 쏠리고 있다.

캘리포니아, 뉴욕, 일리노이 주를 포함한 몇몇 주에서도 제한적인 법적 또는 규제 조치가 있었다.

일부 기업은 자발적으로 감정 AI를 거부했다. 예를 들어 마이크로소프트는 2022년 6월에 애저 페이스 API의 감정 인식 기능(성별, 나이, 미소, 수염, 머리, 화장에 대한 추론과 함께)을 폐지할 것이라고 발표했다. 마이크로소프트가 책임 있는 AI 표준을 재정비하는 과정에서 단행된 조치였다.

마이크로소프트의 책임 있는 AI 담당 최고 책임자 나타샤 크램턴은 “감정의 정의에 대한 과학적 합의 부족, 추론이 사용례, 지역, 인구 통계학에 따라 어떻게 일반화되는지에 대한 도전 과제, 프라이버시 우려”를 인용하며 이 변화를 설명했다. 마이크로소프트는 또한 이런 기술이 “사람들을 고정 관념, 차별, 또는 부당한 서비스 거부에 노출시킬 수 있다”는 우려도 가지고 있었다.

감정 AI가 드물게 쓸모 있을 수 있다 해도 과학적 근거는 미약하고, 결과는 부정확하며, 직원 스트레스만 유발한다. 체계적 편향과 프라이버시 침해 가능성, 법적 문제까지 고려하면 도입할 수 없다.

얼핏 매력적으로 보이더라도 감정 AI는 배포가 불가능한 아이디어에 불과하다.
dl-itworldkorea@foundryco.com