건설 현장, 대학 캠퍼스, 법률·소매 산업 등 다양한 업무 환경에서 IT 책임자가 생성형 AI 도우미를 활용하며 생산성 향상 전략을 모색하고 있다. 마이크로소프트 365 코파일럿을 중심으로 실제 사례를 통해 이 AI 도구의 가능성과 한계를 살펴본다. 기업 도입을 위한 실질적인 로드맵을 도출할 수 있다.

마이크로소프트는 윈도우 등에서 제한적으로 무료 제공되는 코파일럿 챗봇 외에, 별도 유료 옵션으로 마이크로소프트 365 코파일럿을 마이크로소프트 365의 비즈니스 및 엔터프라이즈 요금제에 독점 제공하고 있다. 기본 구독료 외에 사용자당 매월 30달러를 추가로 지불하면, 오피스 제품군과 긴밀히 통합된 도구와 워크플로 자동화를 위한 AI 에이전트 등 고급 엔터프라이즈 기능을 이용할 수 있다.

저렴한 가격은 아니다. 따라서 최대 효과를 거둘 수 있도록 전략적 도입이 중요하다.

다양한 조직에서 코파일럿을 대규모로 배포한 네 명의 IT 책임자와의 인터뷰를 통해, 고효율 사용례 선정, 데이터 및 접근 제어 관리, 사용자 도입 유도, 일반적인 실패 회피 방법 등에 대한 인사이트를 정리했다.

1단계 : 실용적인 사용례 파악

모든 IT 책임자는 코파일럿이 빠르게 가치를 입증할 수 있고 마이크로소프트 생태계와 매끄럽게 통합될 수 있는 워크플로를 먼저 파악하는 것에서 출발했다.

파트너코의 디지털 제품 관리 수석 부사장 트로이 힐트브랜드는 내부 활용에서 초기 성과를 거뒀다. “회의 요약, 메모 작성, 문서 분석 등으로 코파일럿을 먼저 활용했다”라고 설명했다. “이후에는 내부 고객지원 상담사를 위한 챗봇으로 확장했다. 구축에는 이틀도 걸리지 않았고, 현재는 100명 이상의 상담사를 지원하고 있다”라고 전했다.

한 제품 책임자는 이해관계자 인터뷰 중 코파일럿을 활용해 지라에 바로 사용할 수 있는 사용자 스토리를 즉시 생성함으로써 몇 주에 걸친 후속 작업을 줄이기도 했다.

ARCO 컨스트럭션의 데이터·분석·AI 디렉터 로빈 파트라는 더 전략적인 접근을 취했다. 파트라는 임원과 비서진이 회의에 많은 시간을 소비하고 후속 조치를 수작업으로 관리하고 있다는 점을 발견했다. 파트라는 이후 “회의 내용을 필사하고, 실행 항목을 생성해 마이크로소프트 플래너와 동기화하는 데 코파일럿을 활용했다. 이 기능만으로도 책임감과 이행률이 눈에 띄게 향상됐다”라고 분석했다.

사우스플로리다대학교의 최고정보책임자 겸 디지털 경험 부총장 시드니 페르난데스는 시험 운영 단계에서 수요가 급증했다고 언급했다. “500개 라이선스로 시작했는데, 요청은 700건에 달했다”라고 밝혔다. “IT 직원부터 연구진까지 엑셀로 데이터 정제, 실시간 회의 중 후속 작업 작성 등 다양한 방식으로 시간을 절약하고 있었다”라고 전했다.

페르난데스는 특히 팀즈 회의 중 참가자가 놓친 내용을 코파일럿에 질문할 수 있는 기능이 매우 인기가 높다고 설명했다.

테크고퍼스의 CTO이자 공공 부문 클라이언트를 지원하는 이튼 어소시에이츠의 컨설턴트 모하메드 샬라비는 많은 고객사가 코파일럿을 활용해 보고서를 더욱 효율적으로 작성하고 있다고 말했다. 작업 시간이 10시간에서 15분으로 줄어든 사례도 있었다.

2단계 : 데이터 체계를 정비하라

AI의 성능은 접근 가능한 데이터의 품질에 달려 있다. 네 명의 IT 책임자 모두 데이터 위생이 필수라고 입을 모았다.

샬라비는 “한 마케팅팀이 내부 및 외부 시장 데이터를 통합하려 했지만, 파일이 원드라이브, 쉐어포인트, 드롭박스에 흩어져 있어 AI가 필요한 정보를 찾지 못했다”라고 말했다. “혼돈은 자동화할 수 없다”는 교훈을 강조했다.

데이터 정제와 접근 권한 설정은 모두 중요하다. 샬라비는 “데이터가 정제되고 중앙에 통합되며 접근 제어 태그가 설정돼 있어야 의미 있는 결과를 얻을 수 있다”라고 지적했다. “그렇지 않으면 환각 현상이 발생하거나 민감한 콘텐츠가 잘못된 사용자에게 노출될 위험이 있다”라고 경고했다.

샬라비는 역할 기반 데이터 접근을 강조했다. “AI 에이전트는 사용자가 권한을 가진 데이터만 보도록 설계한다. 쉐어포인트처럼 그룹 기반 권한을 설정할 수 있는 환경에서 더 수월하다”라고 말했다.

페르난데스도 같은 의견이었다. “기본적으로 모든 것이 안전하다고 가정하면 안 된다”며, “원드라이브와 쉐어포인트 설정을 철저히 조정했고, 마이크로소프트 퓨리뷰를 통해 데이터 접근 수준을 분류했다”라고 설명했다. 단지 AI 도입을 위한 조치가 아니라, 데이터 거버넌스를 강화하기 위한 전사적 접근이었다고 강조했다.

힐트브랜드는 “코파일럿 활용은 전부 마이크로소프트 테넌트 내에서 이뤄진다”라고 말했다. “파일을 제3자 도구에 업로드할 필요가 없고, 유출 위험도 없다”라고 설명했다.

하지만 힐트브랜드는 또 다른 거버넌스 문제도 경험했다. 파트너코는 건강 및 웰니스 제품을 판매하는 직접판매 네트워크로 여러 국가에 걸쳐 운영 중이다. 이때 각 국가마다 제품과 보상 체계가 달라서, 미국 고객상담 담당자의 질문에 유럽용 답변이 제공되는 일이 있었다. 힐트브랜드는 콘텐츠 포맷을 개선 중이고, 궁극적으로는 지역별로 에이전트를 분리 배치할 계획이다.

3단계 : 체계적으로 교육하고, 지속적으로 훈련하라

AI 도구는 직관적이지만, 숙련된 사용에는 학습이 필요하다. 아웃룩, 워드 등 익숙한 앱에 통합돼 있지만, 코파일럿을 효과적으로 활용하려면 프롬프트 구조화 역량과 AI 작동 원리에 대한 이해가 요구된다.

샬라비는 “대다수 사용자는 AI가 마법처럼 작동하길 기대한다”라고 지적했다. 하지만 AI의 역할 정의, 맥락 제공, 작업 명시, 출력 형식 지정, 문체 설정 등 프롬프트 구성 방법을 가르쳐야 한다. 이 훈련만으로도 활용 가치를 두 배로 끌어올릴 수 있다.

ARCO에서는 생산성 도구를 넘어 AI 전반에 대한 교육을 시행하고 있다. 파트라는 “AI 101은 전 직원 필수, AI 102는 건설 업무에 AI를 적용하는 방법, AI 103은 도구를 개발하고자 하는 직원용”이라고 설명했다. 전체 4,000명 직원 중 2/3가 AI 102 교육을 이수했다고 밝혔다.

USF는 더 자율적인 접근을 택했다. 페르난데스는 팀즈 그룹을 개설해 매달 ‘커피와 코파일럿’ 세션을 열어 사용자가 팁과 프롬프트를 공유하게 했다. 또한 “매주 ‘빠른 기술 팁’을 게시해 교육 워크숍 없이도 지속적인 학습을 유도했다”라고 설명했다.

힐트브랜드는 “사용자가 코파일럿을 한 번 시도한 뒤 결과가 이상하면 다시는 사용하지 않는다”며, 정형 교육이든 자발적 공유든 일종의 ‘AI 근육’을 키워야 한다고 말했다.

파트너코는 추가로 ‘AI 우수 사례 현상금 프로그램’을 운영 중이고 “매주 가장 유용한 코파일럿 사용례에 100달러 상금을 지급했다. 이 덕분에 자발적 혁신이 늘었다”라고 전했다. 한 엔지니어는 코파일럿을 활용해 수 주 걸리던 서버 설정 문제를 하루 만에 해결했다고 한다.

4단계 : 작게 시작하고, 점진적으로 확장하되 ROI를 명확히 하라

기업 내 성공적인 코파일럿 도입은 실무 중심의 성공 사례에서 출발한다. IT 책임자는 모두 임원진, 비서진, IT팀 또는 자원자 등 소규모 대상군으로 시작해, 성과가 확인되면 확장하는 방식으로 진행했다.

파트라는 “ARCO에서는 15~20명으로 시범 그룹을 구성해 도입했다”라고 말했다. “도구가 실제로 사용됐는지, 워크플로가 개선됐는지, 사용자 만족도가 높은지를 기준으로 측정했고, 확인 후 확산했다”라고 밝혔다.

페르난데스는 중앙 예산으로 라이선스를 확보해 시범 사업을 시작하고, 이후 각 부서가 직접 예산을 들여 지속 여부를 결정하게 했다. 사용 후 구매 모델은 신뢰를 구축하는 데 효과적이었다. 현재는 1,000명 정도가 코파일럿을 사용 중이다.

페르난데스는 도입 전략에서 상하 양방향 접근을 강조했다. “대학 총장을 포함한 최고경영진 교육과 함께, 학생과 부서 참여도 동시에 이끌어냈다”라고 설명했다. 양쪽 모두의 참여가 필수적이었다.

샬라비는 전통적인 변화 관리와는 다르다며 “접근 정책을 대대적으로 바꾸기보다, 에이전트 응답 방식과 데이터 소스, 출력 형식을 실사용자 피드백에 따라 지속적으로 조정한다”라고 전했다.

기업 전반에 AI가 확산될수록 비용도 증가한다. 이에 따라 IT 책임자는 코파일럿을 내부 용도로 한정하거나 특정 인력에게만 라이선스를 부여하는 등 관리 전략이 필요하다.

힐트브랜드는 코파일럿 챗봇을 외부에 확장하고 싶었지만, 라이선스 비용이 너무 높은 문제를 겪었다. 그래서 고객 대응용 챗봇은 인터컴과 젠데스크 챗으로 프로토타이핑하고, 내부에서는 코파일럿을 사용해 적절한 데이터 소스와 프롬프트를 검증하는 방식을 택했다.

예산 관리 외에도, 사용률과 효과를 지속적으로 측정해 ROI를 판단하는 것이 중요하다. 페르난데스는 월 30달러는 적은 비용이 아니라며 “대시보드로 사용 현황과 영향력을 추적해야 한다”라고 강조했다. “마이크로소프트의 기본 제공 대시보드도 있지만, 회의 생산성 같은 정량화 어려운 요소는 일화 기반 피드백도 필요하다”라고 말했다.

작동하지 않는 방식은 무엇인가

코파일럿 도입으로 실제 성과가 있었지만, 네 명의 IT 책임자 모두 기대치 관리가 무엇보다 중요하다고 강조했다.

샬라비는 “많은 이가 코파일럿이 모든 작업을 해줄 거라 기대한다”라고 말했다. “그러나 기존 워크플로가 비효율적이면, 코파일럿은 단지 그 비효율을 더 빠르게 만들 뿐이다”라고 지적했다. 또한 “윈도우 코파일럿과 마이크로소프트 365 코파일럿을 동일한 제품으로 착각하는 사용자도 많다”며, 무료로 제공되는 것으로 오해하는 사례도 있다고 밝혔다.

페르난데스는 과대광고는 금물이라며, “코파일럿은 만능 해결책이 아니라 단지 도구일 뿐이다. AI가 마법인 것처럼 소개하면, 임원진은 실현 불가능한 비용 절감을 기대하게 된다”라고 지적했다.

AI의 어투도 문제일 수 있다. 샬라비는 “코파일럿이 작성한 문서는 실용적이지만 무난한 수준”이라며, “회사 고유의 문체로 학습시키지 않으면 기계적으로 느껴질 수 있다. 외부 이메일이나 대외 홍보물은 여전히 사람의 검토가 필요하다”라고 설명했다.

IT 책임자를 위한 체크리스트 : 주요 교훈

1. 데이터를 통합하고 보안을 확보하라.
   AI를 효과적으로 사용하려면 데이터가 분산되거나 잘못 분류돼 있어선 안 된다. 마이크로소프트 퓨리뷰 같은 도구를 활용해 접근 제어를 강화하라.
2. 진입 장벽이 낮은 사용례부터 시작하라.
   코파일럿은 마이크로소프트 365 생태계에 최적화돼 있다. 팀즈 회의 요약, 플래너와의 작업 동기화, 엑셀 데이터 분석 등은 절차 변경 없이 빠른 성과를 낼 수 있다.
3. 초기 사용자를 교육하고 성공 사례를 확산하라.
   현상금 프로그램, 슈퍼 유저 그룹, 짧은 튜토리얼 등 다양한 방법으로 실험과 학습 문화를 조성하라.
4. AI를 IT 전담 과제로 만들지 말라.
   페르난데스의 말처럼 “이건 IT 프로젝트가 아니라 비즈니스 생산성 과제다. 결과물은 각 부서가 책임져야 한다.”
5. 과대기대를 예상하고 대비하라.
   초기 열기는 쉽게 사그라든다. 최신 기능, 실질 사례, 지속적인 지원으로 사용자의 관심을 유지하라.

앞으로의 전망

코파일럿의 전체 ROI가 가시화되기까지는 시간이 걸릴 수 있지만, 인터뷰에서 만나 본 4명의 IT 책임자는 정성적 성과는 이미 명확하다고 강조한다. 작업 속도 향상, 인지 부담 감소, 혁신 문화 확산 등이 대표적이다.

샬라비는 “AI는 수동적 도우미에서 능동적 에이전트로 진화하고 있다”라고 말했다. “머지않아 회의를 요약하는 데 그치지 않고, 후속 작업을 실행하고 알림을 보내며, 약속을 잡는 기능까지 맡게 될 것이다. 그게 앞으로의 방향이다.”

하지만 지금으로서는 성공이 기본에 달려 있다. 깨끗한 데이터, 체계적인 교육, AI의 가능성과 한계를 정확히 이해하는 시선이 필수다. 파트라는 이렇게 정리했다. “AI는 사람을 대체하러 온 것이 아니라, 역량을 강화하러 온 것이다. 이 점을 모든 CIO가 명확히 전달해야 한다.”
dl-itworldkorea@foundryco.com