생성형 AI가 소프트웨어 엔지니어링 발전에서 유망한 성과를 보였지만, 최종 사용자 애플리케이션에 포함되는 방식은 사뭇 다르다. AI 레이블이 붙은 기능이 모든 사용자 인터페이스에 계속 나타나고 있지만, 항상 도움이 되거나 유용한 것은 아니다. 과대광고에 영향을 받을 때가 많으며, 사용자를 더 산만하게 하기도 하고 심한 경우 생산성을 해치기도 한다.

스택 오버플로의 최고상품기술책임자 조디 베일리는 “많은 기업이 실제 사용자 문제를 해결하기 위함이 아니라 과대광고에 편승하려고 AI 기능을 덧붙이는 함정에 빠진다”라고 지적했다. 베일리는 결과적으로 버그를 유입시키고 보안 취약점을 만들며 업무 흐름을 방해하는 취약한 기능이 나온다고 설명했다.

결과적으로 최종 사용자는 “모든 곳에 항상 있는 AI”에 질려 가고 있다. 지디넷-애버딘 조사에 따르면 미국인의 단 8%만이 AI에 추가 비용을 지불할 의향이 있다. AI가 생성한 저질의 콘텐츠에 대한 우려가 높아지고 사용자 반발이 커지는 가운데 월스트리트저널은 기업이 제품 내 AI 홍보 방식에 더 신중해지고 있다고 보도했다.

디지털 제품 엔지니어링 회사 R 시스템즈(R Systems)의 데이터 및 AI 담당 부사장 니라즈 아브햔카르는 “맥락 없이 ‘모든 곳에 AI를 넣는 것’이 가장 나쁜 사례”라고 말했다. 아브햔카르는 개발팀이 채팅봇이나 자동 생성 콘텐츠를 기존 제품과 업무 흐름에 사용자의 흐름을 방해하는 방식으로 추가한다고 지적했다.

영상 생성 앱 소라의 갑작스러운 서비스 종료 같은 사건은 시장 내 AI 제품의 취약함을 부각한다. AI 생성 콘텐츠에 대한 호감도 감소하고 있다. 서베이몽키의 마케팅 현황 2025 보고서에 따르면 응답자의 46%가 AI로 콘텐츠를 생성하는 기업을 싫어하며, 43%는 그런 기업에서 구매할 가능성이 낮다고 답했다.

기업 손실 위험에 직면한 상황에서 소프트웨어 제품이나 서비스에 AI를 추가하는 것이 정말 가치 있는가? 그리고 올바르게 한다면 어떻게 해야 하는가? 기존 제품에 성급하게 AI를 덧붙이는 단점과 함께 측정 가능한 이점을 지닌 긍정적 사례를 살피고, 유용한 AI와 방해만 되는 AI의 경계를 그으려는 전문가의 의견을 정리했다.

그저 덧붙이기만 하는 나쁜 사례

과도한 AI 추가 기능은 대부분 그저 과대광고를 재생산할 뿐이다. 통합 클라우드 제공 플랫폼 인프라코드베이스의 창립자이자 CEO 저스틴 오코너는 “유행에 편승해 AI를 추가하는 것이 가장 흔한 실수인데, 실제 사용자 문제 해결이 아니기 때문”이라고 말했다. 오코너는 이런 접근법이 사용자가 요청하지 않은 기능을 만들어내며 사용자 신뢰도 얻지 못한다고 지적했다.

AI가 대체 방법 없이 사용자에게 강요되면, 특히 기능이 명확한 이점으로 이어지지 않을 때 사용자가 갇혀 있다는 느낌을 받을 수 있다. 레드햇의 상품관리 담당자 브라이언 스미스는 “가장 피해야 할 나쁜 사례는 기능이 사용자에게 명확한 가치를 제공하지 않을 때 AI 기능 사용을 강제하는 것”이라고 말했다.

회의 일정 조율 도구 클록와이즈의 전 CEO 매트 마틴은 주 앱과 단절된 채팅 환경은 특히 산만함을 초래한다고 예를 들었다. 마틴은 “사용자가 이미 입력 중일 때 구글 문서 내 챗봇이 핵심 업무 흐름을 향상하거나 핵심 ROI의 효율성, 빈도 또는 영향력을 높이지 않는다면 무엇을 하는 건가”라고 의문을 제기했다. (클록와이즈는 최근 세일즈포스에 인수됨)

스택 오버플로의 베일리는 “사용자 의도를 명확히 이해하지 못한 채 구축하면 인상적으로 보이지만 실제 사용자 요구를 충족하지 못하는 도구가 나온다”라고 덧붙였다. 베일리는 이런 솔루션이 신뢰를 훼손하고 팀 속도를 떨어뜨려 좌절감을 초래하며 AI 도입 전보다 플랫폼을 더 악화시킨다고 언급했다.

기술의 성능 지표에만 집중하다 보면 실제 사용자가 어떻게 행동하는지 간과하기 쉽다. 오코너는 “팀이 모델 품질 지표에 과도하게 집중하고 제품 결과는 무시해서 기능이 기술적으로는 영리하지만 유용하지 않다”라고 지적했다.

이런 상황에서 AI가 작업에 맞는 도구가 아닐 수도 있다. 가트너는 생성형 AI 프로젝트 실패의 핵심 이유가 불명확한 비즈니스 가치라고 보도했다. 사이버 보안 업체 앱오미니의 AI 담당자 멜리사 루치는 똑같은 문제를 통계학 및 데이터 과학 접근법으로 해결할 때보다 AI로 푸는 데 훨씬 더 많은 시간과 비용이 드는 경우도 있다고 밝혔다.

클라우드 네트워킹 서비스 업체 익스트림 네트웍스의 AI 엔지니어링 담당 마르쿠스 니스펠은 AI 이니셔티브 실패가 데이터 접근성 문제와 관련이 많다고 말했다. 니스펠은 “필요한 데이터가 없거나 도메인 특화 전문 지식이 AI가 이해할 수 있도록 제대로 통합되지 않아 시스템이 데이터를 이해하지 못한다”라고 분석했다.

마지막으로 향후의 변화 관리 요구 사항을 과소평가하는 경우도 종종 일어난다. 인프라코드베이스의 오코너는 “팀이 온보딩, 문서화, 지원을 재고하지 않고 AI를 출시하면 사용자가 혼란스러워하고 짜증 낸다”라고 말했다.

AI를 성급하게 추가하면 부정적인 영향이 계속 누적된다. 최선의 경우 사용자들은 불필요한 AI 기능이 많아져도 그저 무시하고 지나간다. 최악의 경우 자의적 AI는 신뢰 상실, 기능 포기, 지원 요청 증가로 이어진다.

AI를 제품에 통합하는 모범 사례

기존 제품에 AI 기능을 추가할 때 여러 접근법이 기존 사용자 기반을 짜증 나게 하거나 소외시키는 것을 피하는 데 도움이 될 수 있다. 첫 번째이자 아마도 가장 중요한 것은 사용자 관점에서 생각하는 것이다.

“‘AI로 무엇을 멋지게 할 수 있을까’가 아니라 ‘우리 사용자가 원하고 필요한 것이 무엇인가’라는 관점에서 구축해야 한다”라고 관찰 가능성 플랫폼 허니콤의 CTO 차리티 메이저스는 조언했다. 메이저스는 사용자 우선 접근법이란 제품이 AI 없이도 사용 가능해야 하며, 쉽게 선택을 해제할 수 있고 피드백이나 평점 요청이 없어야 한다고 덧붙였다.

메이저스는 기능, 제품 또는 마케팅 캠페인에 ‘AI 기반’이라는 레이블을 붙이려는 것이 유일한 목적이라면 차라리 하지 않는 것이 낫다고 강조했다. 또한, 단순히 AI를 집어넣다고 해서 모든 것이 개선되지는 않는다고 추가했다.

이를 넘어 AI 기능은 자동 활성화가 아니라 선택사항이어야 한다. R 시스템즈(R Systems)의 아브햔카르는 “옵트아웃이 아니라 옵트인으로 시작하라”라고 권고했다. 아브햔카르는 이 방식이 사용자 선택을 존중하면서 개발자가 AI 기능 출시의 영향과 성능을 단계적으로 테스트하는 데 도움이 된다고 말했다.

사용자 의견을 일찍 수렴하는 것도 중요하다. 스택 오버플로의 베일리는 사용자와 자주 소통하면 실수를 피할 수 있다고 전했다. 피드백 루프, 개방 커뮤니티 프롬프트, A/B 테스트 등을 통해 사용자 의견을 수렴할 수 있으며, 명확한 설명과 함께 단계적으로 출시하면 사용자들이 새로운 기능에 자연스럽게 적응할 수 있다는 의견이다.

가능하면 광범위한 출시 전 얼리 어댑터 마인드를 가진 사용자를 먼저 식별하라. 클록와이즈의 마틴은 “소규모 사용자 집단과의 테스트 베드 출시가 잘 작동한다”라고 말했다. 마틴은 “AI에 열정을 가진 얼리 어댑터를 대상으로 하는 것이 이상적”이라며, “새 기술을 채택할 준비가 안 된 사용자를 너무 일찍 포함시킬 경우 소외시킬 위험이 있다”라고 지적했다.

저조한 사용자 경험은 앱이나 서비스 이용을 중단하게 만드는 주요 원인이다. 따라서 마찰을 초래하거나 새로운 업무 방식을 강제하는 AI 기능 도입을 피해야 한라. 일관성을 위해 기존 컨트롤을 완전히 대체하기보다는 보강하는 것이 좋다. 아브햔카르는 “AI를 지원적이기보다는 침투적으로 유지하는 것이 핵심”이라고 강조했다.

다른 전문가도 단계적 출시가 기존 업무 흐름에 가까워야 한다고 동의했다. 오코너에 따르면, 좋은 패턴은 AI 지원이 배경에 머물러 있다가 유용할 때만 나타나고 무시해도 불이익이 없다. 오코너는 “AI가 사용자에게 명확하게 식별되어야 하며, UI에 명확한 경계와 신호가 있어 AI 사용 시점을 알려야 한다”라고 말했다.

사용자 우선 AI 기능 출시 사례

성공한 AI 기능들은 구체적인 사용자 문제를 풀기 위해 설계되며, 사용자들이 익숙한 업무 방식을 크게 바꾸도록 강요하지 않는다는 공통점이 있다. 그렇다면 실제 성공 사례는 어떤 것들이 있을까?

기존 플랫폼에 AI를 추가한 사례로 스택 오버플로의 AI 어시스트(AI Assist)가 있다. 2025년 도입된 AI 어시스트는 사용자가 대규모 언어 모델 기반의 채팅 지원 인터페이스를 통해 스택 오버플로의 방대한 지식베이스에 접근하는 것을 돕는다.

베일리는 “AI 기능이 실제 사용자 의견을 바탕으로 진화해야 한다는 것이 배운 가장 중요한 교훈”이라고 말했다. 또한 커뮤니티가 항상 목소리를 내고 참여해 왔으며, “AI 통합에 대한 피드백이 필수적이었다”라고 보충했다.

기업 사용자 측면에서 마틴은 이메일 관리 도구 슈퍼휴먼(Superhuman)을 좋은 사례로 꼽았다. 자동 분류화 및 자동 초안 작성 같은 유익한 기능을 언급했으며, “낮은 마찰도와 차별화되지 않은 SKU, 즉 제품에 바로 추가되는 가치”가 빛났다는 것이다.

생성형 AI는 또한 저코드 및 노코드 플랫폼에서 시민 개발과 애플리케이션 통합을 모두 개선하며 가능성을 보여주고 있다. AI 에이전트가 CRM 같은 시스템에 계층화되면서 IT 리더들은 금융, 영업 등 업무 흐름 전반에서 측정 가능한 이득을 보고했다.

소프트웨어 엔지니어링 내에서 기존 플랫폼에 통합된 에이전트는 개발자 업무 흐름과 잘 맞춰졌으며, SaaS 도구의 일부 공급업체가 UI에서 AI 기반 설계로 이동하도록 촉발했다.

오코너는 기존 SaaS 제품에 AI를 추가한 경험을 강조했다. 사용자들이 문제 해결을 위해 AI 에이전트를 사용하는 것을 선호하게 되면서 행동이 빠르게 바뀌었다는 점이 가장 놀라웠다는 것이 오코너의 평가였다. 일단 사용자들이 에이전트 사용에 익숙해지면 기존의 SaaS 사용자 인터페이스는 거의 사용하지 않게 되는 현상을 목격했다고 덧붙였다.

또 다른 신중한 선택사항의 사례는 레드햇 엔터프라이즈 리눅스의 대규모 언어 모델 기반 명령줄 어시스턴트다. 레드햇의 스미스는 이 어시스턴트가 완전히 선택사항이며 엔지니어들이 설치하지 않기로 선택할 수 있다고 요약했다. 또한 팀이 연결 방식, 오프라인, 온프레미스 등 배포 환경에 따라 구성을 자유롭게 결정할 수 있다고 말했다.

AI를 추가할 시기는 언제인가

2024년 워싱턴주립대학교 연구진은 사용자가 제품 설명에 “AI” 문구를 사용하는 제품 구매 가능성이 낮다는 것을 발견했다. 연구진은 감정적 신뢰 감소를 그 이유로 꼽았다.

소프트웨어 엔지니어링 업계에도 유사한 회의론이 나타난다. 예를 들어 개발자의 절반이 이제 매일 AI 도구를 사용하지만, 스택 오버플로 펄스 2025 조사에 따르면 79%가 배포용 AI 사용을 계획하지 않는다고 했다.

사용자 채택 주변의 불확실성을 감안할 때, 제품 관리자는 어떻게 AI 기능이 가치 있는지 판단해야 할까? 전문가는 제품 우선 원칙으로 귀결된다고 말했다. 마틴은 제품에 AI라는 레이블을 붙인다고 해서 새로운 사용자들이 자동으로 몰려오지 않는다며, 결국 제품의 핵심 가치에 돌아가야 한다고 강조했다.

AI 기능이 성과를 내고 있다는 신호는 여러 가지다. 사용자들이 계속 사용하고, 긍정적인 피드백을 주며, 시간이 지날수록 더 많은 사용자가 채택하고, 산출물의 품질이 높아지는 것들이다. 특히 사용자들이 다른 업무 방식 대신 AI 기능을 선택하는 비율이 높을수록 성공했다는 의미다.

더 구체적인 지표는 작업에 소요되는 시간 절감, 더 높은 작업 완료율, 업무 마무리에 필요한 단계 감소, 사용자 검토 기준 개선된 산출물 품질을 포함한다. 반대로 경고 신호는 높은 옵트아웃율, 지원 요청 증가, 사용자 불만 상승, 사용자 피드백이나 AI 상호작용을 통해 포착된 부정적 감정을 포함한다.

가장 좋은 신호는 사용자들이 AI의 존재를 깨닫지 못할 때다. 메이저스는 고객들이 AI를 거부하고 엔지니어들이 비판하는 것은 실패한 경우라고 지적했다. 반대로 사용자들이 AI임을 알지 못하거나 신경 쓰지 않으면서 자연스럽게 기능을 사용하는 것이 진정한 성공이다. 메이저스는 구글의 스팸 필터처럼 대부분 사람들이 AI 기술임을 인식하지 못하면서도 효과적으로 작동하는 사례를 높이 평가했다.

실제 문제 해결용 AI 활용

사용자는 절대 사용하지 않을 AI 기능의 팝업을 빠르게 넘기지만, 실제로 시간을 절약하는 기능은 수용한다. 후자는 단순한 과대광고를 넘어 공통 실마리를 공유한다. 실제 문제를 해결한다는 것이다.

니스펠은 의미 있는 성과를 내는 기업들은 AI를 막연한 목표가 아니라 구체적인 사용자 문제를 해결하는 도구로 본다고 말했다. 이런 기업들은 특정 업무 흐름을 겨냥해 AI 기반 솔루션을 빠르게 배포하고 개선한다는 뜻이다. 니스펠은 이 원칙을 따르지 않으면 AI 파일럿은 진전 없이 머물러 있으며 성과를 증명하지 못한다고 밝혔다.
dl-itworldkorea@foundryco.com