2024년은 끝났다. AI에 모든 것을 던져보고 무언가 걸리길 기대하는 방식도 이제 끝내야 한다. 2025년 기업이 AI에서 최대한의 가치를 끌어내기 위해서는 보다 현실적인 접근이 필요하다.

초기 투자로 시장에서 일부 성과를 거두기도 하지만, 항상 노력한 만큼의 보상이 따르지는 않는다. AI 프로젝트의 10개 중 8개는 실패하거나 심각한 좌초 또는 예산 초과에 직면한다.

기업이 AI에 지속적으로 투자할 것이라는 점에는 의심의 여지가 없다. 그러나 2025년, 기업은 이런 노력에 대한 투자 대비 수익(ROI)을 반드시 확인해야 하며, 동시에 기업 수준의 예측 가능하고 반복 가능하며 확장 가능한 솔루션을 요구하게 될 것이다.

여기서는 기업이 AI에 현실적으로 접근할 수 있는 6가지 방법을 소개한다.

핵심이 아닌 주변부터 시작하라

AI는 많은 가능성을 품고 있으며, 생성형 AI는 특히 획기적인 전환점을 만들어냈다. 기업은 이 기술이 업무 효율성을 높이고 새로운 수익원을 창출할 수 있는 잠재력을 분명히 인식하고 있다.

많은 기업이 AI를 통해 비즈니스를 혁신하고자 하지만, 실제로 수익성에 영향을 줄 정도의 AI 전문 역량을 갖춘 곳은 드물다. 아직 완전히 익숙하지 않고 끊임없이 변화하는 기술로 핵심 사업을 바꾸려는 시도는 상당히 난도가 높은 과제다.

먼저 기업의 주변 영역에 AI를 적용해 경험과 전문성을 쌓아야 한다. 예를 들어 헬프데스크, 인사 운영, 마케팅 업무 등에 AI를 도입하는 방식이다. 이런 접근법은 한 걸음씩 단계적으로 업무 수행 방식을 혁신할 수 있도록 도와주며, 동시에 실질적인 가치도 제공할 수 있다.

이런 방식의 변화 속도는 점진적일 수 있지만, 문제가 발생하더라도 대외적인 파장이 크지 않고 영향도 최소화할 수 있다. 전사적 차원의 AI 도입에서 문제가 생기면 업무가 마비되거나 고객에게 잘못된 정보를 제공한 챗봇 때문에 법적 분쟁으로 이어질 수도 있다.

주변 영역에서 AI를 충분히 활용하고 그 과정에서의 성공과 실패를 통해 학습했다면, 이제는 핵심 사업을 변화시킬 준비가 갖춰진 셈이다. 이 단계에서는 실전으로 쌓은 역량과 경험을 바탕으로 본격적인 전환에 나설 수 있다.

기대 수준을 현실에 맞게 조정하라

AI의 가능성은 분명 무궁무진하지만, 이를 근거로 전체 인력을 AI로 대체할 수 있다고 기대하거나, 그렇게 오해하도록 방치해서는 안 된다. AI는 단순히 스위치를 켜듯 도입할 수 있는 기술이 아니며, 하룻밤 사이에 완성되는 변화도 아니다.

원하는 성과를 얻기 위해서는 체계적인 접근이 필수다. 시간과 노력을 투입할 준비가 되어 있어야 하며, 성과를 이끌어낼 수 있는 전문가와 협업하는 것도 중요하다. 계획하고, 개발하고, 구현하고, 평가하고, 조정하고, 다시 반복하는 과정이 필요하다.

ROI를 명확히 정의하고 실현하라

AI의 ROI를 정의하는 일은 매우 어려울 수 있다. 해당 기술이 비즈니스에 얼마나 직접적인 이익을 주는지에 따라 달라지기 때문이다.

최상의 결과를 얻기 위해서는 먼저 ‘성공’의 기준을 명확히 정의하는 것부터 시작해야 한다. 어떤 성과와 개선을 목표로 하는지 설정한 뒤, 이에 대한 측정 기준을 구체화해야 한다. 예를 들면 마케팅팀의 신규 리드 생성 역량을 높이는 것이 하나의 목표가 될 수 있다.

AI를 통해 실질적인 변화를 만들어냈다는 점을 입증하면 이후에도 AI에 재투자할 명분이 생기고 다른 영역으로도 쉽게 확산할 수 있다.

적시에 적절한 투자 결정을 내려라

AI를 통해 달성하고자 하는 목표를 명확히 설정했다면, 이제 그 목표를 실현하기 위해 데이터 환경 측면에서 어떤 준비가 필요한지 판단해야 한다.

물론 이런 과정은 부담스럽게 느껴질 수 있다. 특히 자사가 보유한 데이터가 무엇인지, 어디에 있는지도 모르는 경우라면 더욱 그렇다. ‘우리 데이터는 AI에 활용할 수 있는 수준이 아니다’라는 생각이 들 수 있지만, 처음부터 전체 데이터 환경을 완벽하게 정비할 필요는 없다. 당장 목표를 달성하는 데 필요한 부분부터 집중하면 된다.

이후에는 필요에 따라 나머지 데이터 환경을 점진적으로 현대화해 나가면 된다.

교육과 역량 강화를 병행하라

AI 투자에서 최대의 가치를 얻기 위해서는 적절한 교육도 반드시 필요하다. 조직 내에서 AI 기술을 다루는 누구든지 해당 시스템을 운영하고 유지할 역량을 갖춰야 한다. IT팀만의 과제가 아니라, AI를 실제로 활용하는 최종 사용자 역시 함께 책임져야 하는 문제다.

사내 최종 사용자가 AI 도구를 올바르게 활용할 수 있도록 명확한 베스트 프랙티스를 정의하고 이를 공유해야 한다. 예를 들어, 프롬프트를 효과적으로 구성하는 방법이나, AI가 사실과 다른 답변을 제시하는 환각(hallucination) 현상을 식별하는 법 등을 교육할 수 있다.

교육은 시장 동향 기반으로 HR팀이 제공할 수 있고, 특정 업체의 기술에 특화된 형태일 수도 있다.

전문 파트너를 발굴하라

AI에 현실적으로 접근하는 것은 헬스장에 처음 방문하는 것과 비슷하다. 처음에는 어디서부터 어떻게 시작해야 할지 몰라 압도당하기 쉽지만, 헬스장에서는 트레이너와 함께 목표를 설정하고 체계적으로 달성하는 방식으로 문제를 풀 수 있다. 비즈니스 프로세스를 개선하고 조직을 발전시키는 데도 이와 같은 방식을 적용할 수 있다.

AI 도입을 성공으로 이끄는 핵심은 데이터에 있다. 따라서 혁신을 위한 탄탄한 데이터 기반을 제공할 수 있는 파트너를 찾아야 한다. 복잡한 문제를 단순화할 수 있는 체계적인 AI 접근 방식을 가진 파트너인지 확인하고, 확장 가능성과 지속 가능성을 고려하면서 실제 비즈니스 성과를 이끌어낼 수 있는 역량이 있는지 따져봐야 한다.

단순히 기술력만 볼 것이 아니라, 기업을 산업을 깊이 이해하는 전문성을 가진 파트너를 선택하는 것이 중요하다. 관련된 운영 경험과 업계 지식은 실질적인 이해를 바탕으로 기업에 현실적인 해법을 제시할 수 있는 기반이 된다. 이들은 고객사의 핵심 과제와 기존 프로세스를 이해하고, 그 개선 방향까지 함께 고민할 수 있다.

단지 기술만 던져놓고 문제를 해결하려 한다면, 결국 제자리걸음만 반복하게 될 뿐이다. 많은 비용을 들이고도 비즈니스는 전혀 앞으로 나아가지 못하는 상황에 빠질 수 있다.

AI에 현실적으로 접근하려면, 기업의 운영 환경과 AI 기술 양쪽 모두를 깊이 이해하는 파트너와 함께해야 한다. 특히 동일한 산업에서 자사 비즈니스를 AI로 성공적으로 혁신해 본 경험이 있는 파트너라면 성공 가능성은 훨씬 더 높아진다.

*Jason Hardy는 히타치 반타라(Hitachi Vantara)의 AI CTO다.
dl-itworldkorea@foundryco.com