AI/ML을 비즈니스에 효과적으로 통합하고 운영하는 것은 빠르게 변화하는 시장에서 경쟁력을 유지하고자 하는 기업의 최우선 과제가 됐다. 그러나 의미 있는 방식으로 AI/ML의 잠재력을 활용하는 것은 여전히 많은 기업에 미완의 과제로 남아 있다. 따라서 많은 기업이 최신 ML옵스(MLOps) 트렌드와 ML 엔지니어링에서 흔히 마주하는 문제를 해결할 수 있는 실질적인 조언을 필요로 할 것이다.

생성형 AI 모델은 개발, 배포, 운영 요구사항 면에서 기존 ML 모델과 상당한 차이를 보인다. 여기서는 훈련 과정과 전달 파이프라인부터 모니터링, 확장, 모델 성과 측정까지 주요 차이점을 짚어보고, 기업이 AI/ML 전략 수립 시 고려해야 할 핵심 질문을 제시한다.

궁극적으로 모델이 아니라 솔루션에 집중하고 ML옵스를 IT 및 데브옵스 시스템과 정렬하면 AI 이니셔티브의 잠재력을 극대화하고 측정 가능한 비즈니스 성과를 이끌어낼 수 있을 것이다.

ML옵스의 기본 이해하기

인생의 많은 것들과 마찬가지로 AI/ML을 비즈니스 운영에 성공적으로 통합하고 관리하기 위해서는 먼저 그 기초를 명확하게 이해해야 한다. 오늘날 ML옵스의 가장 기본적인 원칙은 생성형 AI 모델과 기존 ML 모델 간의 차이를 이해하는 것이다.

생성형 AI 모델은 데이터 요구사항, 파이프라인 복잡성, 비용 측면에서 기존 ML 모델과 크게 다르다. 생성형 AI 모델은 텍스트나 이미지 같은 비정형 데이터를 처리할 수 있고 프롬프트 처리, 대화 이력 관리, 개인 데이터 소스 통합 등을 위한 매우 복잡한 파이프라인이 필요하다. 반면, 기존 ML 모델은 특정 데이터에 초점을 맞추고 특정 문제를 해결하도록 최적화돼 있어 구조가 비교적 단순하며 비용 효율적이다.

비용은 중요한 차이점이다. 생성형 AI 모델은 연산이 더 복잡하기 때문에 지연 시간이 길어지고 더 많은 컴퓨팅 성능이 필요하며, 따라서 운영 비용이 높아진다. 반면 전통적인 모델은 사전 훈련된 아키텍처나 경량화된 학습 프로세스를 사용하므로 비용 부담이 상대적으로 적다. 따라서 생성형 AI 모델과 기존 모델 중 어떤 것을 사용할지 결정할 때는 이런 기준을 평가하고 각 사용례에 어떻게 적용되는지 신중히 검토해야 한다.

모델 최적화 및 모니터링 기법

특정 사용례에 맞춘 모델 최적화는 매우 중요하다. 전통적인 모델에서는 사전 훈련된 모델을 미세 조정하거나 처음부터 새롭게 학습하는 방식이 일반적이다. 반면, 생성형 AI는 개인 데이터를 사용해 컨텍스트를 제공함으로써 궁극적으로 모델 출력을 개선하는 RAG(Retrieval-Augmented Generation)와 같은 추가 옵션이 있다. 범용 모델과 특정 작업에 최적화된 모델 중 어떤 것을 선택할지도 중요한 역할을 한다. 정말 범용 모델이 필요한가, 아니면 특정 사용례에 맞게 학습된 더 작은 모델로도 충분한가? 범용 모델은 다양한 작업을 처리할 수 있지만, 특정 업무에 맞춰 설계된 소형 모델보다 효율성이 떨어지는 경우가 많다.

모델 모니터링 또한 생성형 AI와 기존 ML 모델에 따라 접근 방식이 크게 다르다. 기존 ML 모델은 정확도, 정밀도, F1 점수 같은 명확한 평가 지표에 기반해 성능을 측정한다. 반면, 생성형 AI 모델은 사용자 참여도, 콘텐츠 적절성처럼 다소 주관적인 지표를 활용하는 경우가 많다. 아직까지는 생성형 AI 모델을 평가하는 확립된 기준이 부족하며, 실제로는 개별 사용례에 따라 달라진다. 이처럼 모델 성능을 평가하는 과정은 매우 복잡하고 경우에 따라서는 비즈니스 성과 지표를 함께 분석해야 모델이 기대한 대로 작동하는지 파악할 수 있다. 기업은 어떤 시나리오에서든 원하는 결과를 제공하도록 측정할 수 있는 아키텍처를 설계하는 것이 필수적이다.

ML 엔지니어링의 발전

전통적인 ML은 오랫동안 오픈소스 솔루션을 기반으로 발전해 왔다. LSTM(Long Short-Term Memory)과 YOLO(You Only Look Once) 같은 오픈소스 아키텍처부터 XG부스트(XGBoost), 사이킷런(Scikit-learn) 같은 라이브러리까지, 이들 도구는 접근성과 범용성을 갖추면서 대부분의 문제 해결을 위한 표준으로 자리 잡았다. 반면, 생성형 AI 분야에서는 오픈AI의 GPT 모델이나 구글의 제미나이 같은 상용 솔루션이 주도권을 쥐고 있다. 높은 비용과 복잡한 훈련 과정 때문이다. 생성형 AI 모델을 처음부터 자체 구축하려면 방대한 데이터, 정교한 학습 프로세스, 그리고 상당한 비용이 필요하다.

상용 생성형 AI 모델이 인기를 끌고 있지만, 오픈소스 대안도 점점 주목받고 있다. 라마나 스테이블 디퓨전 같은 모델은 성능 격차를 좁히면서 특정 데이터를 활용해 모델을 미세 조정하거나 학습하려는 기업에 훨씬 더 비용 효율적인 솔루션을 제공한다. 그러나 오픈소스 모델은 라이선스 제한과 통합 과정에서의 어려움이 발생할 수 있으며, 지속적인 규정 준수 및 운영 효율성을 확보하기 위한 추가적인 관리가 필요하다.

ML 시스템의 효율적인 확장

AI에 투자하는 기업이 늘어남에 따라, ML 시스템을 확장하고 높은 성능을 유지하기 위해 반드시 고려해야 할 데이터 관리 및 분류 방식, 최적의 아키텍처 접근법에도 베스트 프랙티스가 존재한다.

RAG를 통한 내부 데이터 활용

AI 활용에서 가장 중요한 질문은 데이터와 관련된다. 내부 데이터는 무엇인가? 이를 어떻게 활용할 수 있는가? 이 데이터를 적절한 구조로 학습할 수 있는가? 와 같은 질문이 핵심이다. 생성형 AI 기반 ML 시스템을 확장하는 가장 강력한 전략은 RAG다. RAG는 내부 데이터를 활용해 범용 모델의 컨텍스트를 조정하는 기술로, 내부 데이터 임베딩 및 쿼리 과정을 통해 특정 맥락에 맞는 답변을 생성하고 생성형 AI의 출력 정확도를 향상할 수 있다. 예를 들어, 제품 설명서를 벡터 데이터베이스에 업로드하면 모델이 사용자 질문에 더 정확하고 컨텍스트를 반영한 답변을 제공할 수 있다.

주요 아키텍처 고려 사항

확장 가능하고 효율적인 ML옵스 아키텍처를 구축하려면 임베딩, 프롬프트, 벡터 저장소와 같은 구성요소를 신중하게 설계해야 한다. 특정 언어, 지역, 사용례에 맞춰 모델을 미세 조정하면 훨씬 더 최적화된 성능을 얻을 수 있다. 그러나 미세 조정을 지원하는 ML옵스 아키텍처는 더 복잡하므로, 기업은 다양한 구성요소에 대한 A/B 테스트를 우선적으로 수행해 결과를 최적화하고 솔루션을 개선해야 한다.

모델 성공을 위한 지표

모델 결과를 비즈니스 목표와 정렬하는 것은 필수적이다. 고객 만족도 및 클릭률과 같은 지표는 실제 영향을 측정할 수 있어 모델이 의미 있는 결과를 제공하고 있는지 파악하는 데 도움이 된다. 인간 피드백은 생성형 AI 모델 평가에 꼭 필요하며, 여전히 최적의 방법으로 여겨진다. HITL(Human-in-the-loop) 시스템을 활용하면 지표를 미세 조정하고, 성과를 확인하고, 모델이 비즈니스 목표를 충족하는지 확인할 수 있다.

경우에 따라서는 고급 생성형 AI 툴이 인간 검토자를 보조하거나 대체해 프로세스를 더욱 빠르고 효율적으로 만들 수 있다. 피드백 루프를 완성하고 예측 결과를 사용자 행동과 연결함으로써 지속적인 개선과 더 안정적인 성능을 얻을 기회를 마련할 수 있다.

모델이 아닌 솔루션에 집중

ML옵스의 성공은 개별 모델이 아닌 통합적인 솔루션을 구축하는 데 달렸다. 효율적인 아키텍처는 규칙 기반 시스템, 임베딩, 전통적인 모델, 생성형 AI 등 다양한 ML 접근방식을 결합해 견고하고 유연한 프레임워크를 만든다.

기업이 AI/ML 전략을 수립할 때 고려해야 할 핵심 질문은 다음과 같다.

• 범용 솔루션이 필요한가, 아니면 특정 용도에 맞춘 모델이 더 적절한가?
• 성공을 어떻게 측정할 것이며, 어떤 지표가 비즈니스 목표와 일치하는가?
• 상용 솔루션과 오픈소스 솔루션 간의 장단점은 무엇이며, 라이선스 및 통합 요건이 선택에 어떤 영향을 미치는가?”

핵심은 단순히 모델을 만드는 것이 아니라, 솔루션을 구축하는 것이다. AI/ML 시스템은 여러 구성요소가 맞물려 작동하는 아키텍처이며, 각 요소는 사용자 경험과 성과 지표에 직접적인 영향을 미친다. 따라서 기업은 확장 가능하고 지표 중심적인 아키텍처에 집중하면서 ML옵스의 발전에 적응해야 한다. 도구와 전략을 적절하게 조합한다면 AI/ML의 잠재력을 극대화하고 혁신을 주도하며, 측정 가능한 비즈니스 성과를 창출할 수 있을 것이다.

*Yuval Fernbach는 콰크(Qwak)의 공동 창립자이자 CTO다.
dl-itworldkorea@foundryco.com