기업의 AI 활용상은 빠르게 변화하고 있다. 이제 AI는 멀티 에이전트로서 다양한 업무를 자동으로 판단하고 실행하며, 기업은 정형 데이터를 넘어 비정형, 반정형 데이터까지도 쉽게 분석할 수 있게 됐다. 분명 환영할 만한 변화지만, 여기엔 우려도 적지 않다. 기업의 운영 환경이 점점 더 복잡해진다는 의미이기 때문이다. 기업은 AI를 안정적으로 운영할 전문 인력 부족과 초기 구축 비용, 그리고 급변하는 모델 환경에 유연하게 대응하는 문제를 해결해야 하는 상황에 놓여있다.

특히 GPU·네트워크·스토리지·데이터 레이크가 유기적으로 연결되어야 하는 엔터프라이즈 AI 영역에서는, 개별 장비를 각각 도입하는 방식으로는 원하는 성능을 이끌어내기 어려울 수 있다. 개념 증명(PoC)을 넘어 실제 업무에 AI를 적용하려는 기업에는 무엇보다 통합된 인프라 설계와 일관된 관리 체계가 요구되는 시점이다. 이런 상황에서 HS효성인포메이션시스템이 AI의 운영 안정성과 비용 효율성을 동시에 확보할 현실적인 해법을 제시했다. CIOKorea와 ITWorld가 3월 25일 주최한 ‘Cloud & AI 서밋’에서 HS효성인포메이션시스템 DX아키텍트팀의 권동수 전문위원은 “지금은 실질적으로 AI 모델을 어떻게 활용해 업무에 적용할 것인가를 고민해야 하는 단계”라고 조언했다.

Foundry

“진화하는 AI, 운영 구조는 점점 더 간소화”

많은 기업이 구체적인 투자 대비 수익(ROI)을 확보하기 위해 나선 가운데, 권동수 전문위원은 AI의 운영 구조가 점점 더 간소화되고 있다고 진단했다. 우선 AI 모델 개발의 흐름을 살펴보면, 초기였던 지난 2024년까지만 하더라도 기업 AI 프로젝트는 파운데이션 모델에 미세 조정을 더하는 방식이 주를 이뤘지만, 같은 해 12월 라마3.3(Llama 3.3) 모델이 출시되면서 별도의 미세 조정 없이 업무에 한국어를 곧바로 활용할 수 있는 환경이 마련됐다. 2025년 8월에는 오픈AI가 양자화 기술을 적용한 오픈 웨이트 언어 모델 ‘gpt-oss-120b’를 공개하면서 더 적은 GPU로도 대형 모델을 운용할 수 있는 환경이 마련됐다. 권 위원은 “AI 모델의 발전으로 기업이 초기 투자 규모를 현실적인 수준으로 조정할 수 있게 됐다”라고 말했다.

또한 멀티모달 AI의 등장으로 AI가 처리할 수 있는 정보의 범위와 깊이도 급격히 확장됐다. 초기에는 정형 데이터를 기반으로 한 분석이 주를 이루고 비정형 데이터는 별도의 가공과 라벨링 과정을 거쳐 제한적으로 활용되는 수준에 머물렀다. 그러나 이제는 멀티모달 AI를 통해 정형은 물론 비정형·반정형 데이터까지 분석 환경 내에서 아우를 수 있게 됐다.

이제 AI는 멀티 에이전트 단계로 진입하고 있다. 기존에 머신러닝과 딥러닝으로 수행하던 업무가 AI 에이전트를 통한 자동화로 대체되고 있으며, 나아가 피지컬 AI(Physical AI) 영역에서는 가상 환경 시뮬레이션을 통해 실제 로보틱스와 제조 공정에 AI를 접목하는 시도가 확산되고 있다. 권 위원은 “모델은 계속해서 진화할 것”이라며, “이때 기업이 집중해야 할 핵심은 AI 개발에 직접 뛰어드는 것이 아니라, ‘독자 AI 파운데이션 모델’과 같이 새롭게 등장하는 모델을 현업에 얼마나 빠르고 유연하게 적용할 수 있느냐에 있다”라고 조언했다.

추론 중심 AI 인프라의 복잡성과 기업 과제

이와 같은 변화는 최근 AI 활용이 학습 중심에서 추론 중심으로 이동하는 흐름 속에 있다. AI 도입 초기에 대규모 데이터를 기반으로 한 모델 학습이 핵심 경쟁력으로 여겨졌다면, 이제는 사전 학습된 모델을 실제 업무에 어떻게 적용하고 얼마나 빠르고 효율적으로 추론을 수행하느냐가 기업의 AI 활용 기준으로 자리 잡고 있다.

특히 에이전틱 AI는 대부분 다양한 모델과 시스템이 실시간으로 연결돼 추론을 수행하는 구조다. 따라서 단순한 모델 성능이 아니라, 추론 요청을 처리하는 인프라의 안정성과 처리 효율성이 서비스 품질을 좌우하는 핵심 요소가 된다. 동일한 모델이라도 추론 환경에 따라 응답 속도와 결과 품질이 크게 달라질 수 있기 때문이다.

이런 흐름에 따라 멀티 에이전트 AI 시스템을 온프레미스로 구축하거나 클라우드와 병행하려는 움직임도 본격화하고 있다. 추론이 단발성 작업이 아니라 지속적으로 요청을 발생시키는 구조인 만큼, 사용량이 증가할수록 비용이 빠르게 누적되는 퍼블릭 클라우드 대신 직접 AI 시스템을 구축하는 기업이 증가한다는 것이다. 권 위원은 “온프레미스 방식은 초기 투자 이후에 비용 구조를 유지할 수 있어, 장기적인 관점에서 비용 효율성을 확보하는 데 유리하다”라고 설명했다.

그림 1. 멀티 에이전트 인프라 구성의 복잡성 (출처: HS효성인포메이션시스템)

Foundry

문제는 이런 변화가 기업에 새로운 부담으로 작용하고 있다는 점이다. PoC 단계가 제한된 환경에서 단일 모델을 테스트하는 구조였다면, 실제 에이전트 운영 환경은 다양한 모델과 데이터, 그리고 서비스 요청이 동시에 얽히기 때문에 인프라 복잡도도 급격히 증가한다. GPU 자원 관리, 네트워크 병목, 데이터 연계, 보안 문제, 비용 효율성 등 고려해야 할 요소도 크게 늘어난다.

그러나 많은 기업이 이런 구조를 자체적으로 설계하고 운영하는 데 어려움을 겪고 있다. AI 인프라를 도입하더라도 이를 운영할 내부 인력 및 기술이 없다는 우려가 기업 규모와 관계없이 공통적으로 제기된다. 권 위원은 “이런 문제는 기업이 AI PoC를 넘어 실제 서비스 단계로 확장하지 못하는 주요 원인”이라고 지적했다. 

엔터프라이즈 AI의 현실적 해법, 통합 플랫폼과 운영 전략

그렇다면 기업은 어떻게 AI 시스템이 비용 효율적으로, 안정적으로 운영되게끔 할 수 있을까? 권 위원은 “운영에 필요한 각 요소를 하나의 플랫폼으로 아우르지 못한다면 AI를 통해 원하는 결과값을 얻기는 어려울 것”이라고 내다보며, 플랫폼화에 현실적인 해법이 있다고 진단했다. 전체 인프라를 하나의 통합 관리 화면으로 운영할 수 있도록 구성해야 별도의 AI 전문 인력 없이도 IT 직원이 기존 솔루션을 운영하듯 시스템을 관리할 수 있다는 설명이다.

그림 2. AI 에이전트를 위한 통합 플랫폼 히타치 iQ 스튜디오 (출처: HS효성인포메이션시스템)

Foundry

이런 요구에 맞춰 HS효성인포메이션시스템은 GPU, ARM 서버 기반의 컴퓨팅 환경과 AI 스토리지와 데이터 레이크하우스를 지원하는 스토리지, 가상화를 통합한 AI 플랫폼을 제공하고 있다. 특히 AI 오케스트레이션 플랫폼인 히타치 iQ 스튜디오(iQ Studio)는 GPU 자원과 데이터, 그리고 AI 워크플로우를 하나의 체계로 묶어 엔터프라이즈 AI 에이전트 구축 및 운영을 간소화했다. 히타치 iQ 스튜디오는 엔비디아(NVIDIA) AI 엔터프라이즈와 님(NIM) 프로세스를 기반으로, 검색 증강 생성(RAG) 파이프라인과 모델 컨텍스트 프로토콜(MCP)을 결합해 노코드 환경에서 AI 에이전트를 보다 쉽게 설계, 배포, 관리할 수 있는 AI 플랫폼이다.

아울러 HS효성인포메이션시스템은 플랫폼 접근 방식을 토대로 다양한 구축 사례를 확보해 가고 있다. HPC(고성능 컴퓨팅) 환경에서 사용되는 오픈소스 워크로드 매니저인 슬럼(Slurm) 기반의 플랫폼 구축 사례뿐만 아니라, 엔터프라이즈 컨테이너 플랫폼을 적용한 사례도 보유하고 있다. 권 위원은 “오픈소스 기반 환경은 초기 구축 비용 측면에서 유리하지만, 안정적인 운영을 위해서는 내부에 이를 지속적으로 관리하고 고도화할 수 있는 인력이 필요하다. 반면 엔터프라이즈 플랫폼은 추가적인 유지보수 비용이 발생하는 대신, 운영 자동화와 안정성 확보 측면에서 강점을 갖는다”라고 설명했다.

다만 AI 인프라는 GPU, 네트워크, 스토리지 등 주요 자원의 균형이 맞지 않을 경우 성능 저하 문제로 이어질 가능성이 높다. 대규모 GPU 팜을 도입했다면, 한 번 발생한 성능 저하가 막대한 비용을 초래할 수 있다. 따라서 초기 설계 단계부터 균형을 고려한 정교한 아키텍처 구성이 요구된다. 권 위원은 “여기엔 다양한 구축 경험이 필요하다. HS효성인포메이션시스템이 소규모 환경부터 수백 노드에 이르는 대규모 클러스터까지 다양한 사례를 확보하고 있다는 점은 분명한 강점”이라고 강조했다.

특히 HS효성인포메이션시스템은 기업이 보유한 인력과 운영 역량, 그리고 향후 확장 계획 등을 종합적으로 고려해 최적의 구축 방안을 설계하는 데 초점을 맞추고 있다. 실제로 구축 이전 단계에서부터 컨설팅을 통해 리소스 규모와 운영 방식에 대한 방향성을 함께 수립하고, 이에 맞춰 인프라 구조를 설계하는 방식으로 진행된다.

그림 3. 오픈소스 워크로드 매니저인 슬럼(Slurm) 기반의 플랫폼 구축 사례 (출처: HS효성인포메이션시스템)

Foundry

“AI 운영의 완성도, 에코시스템과 지원 체계에서 갈린다”

GPU 인프라, 플랫폼, 데이터 레이크, 애플리케이션 등이 유기적으로 연결돼야 하는 AI 플랫폼에서 단일 벤더가 모든 영역을 다루기란 현실적으로 어렵다. 이에 HS효성인포메이션시스템은 파트너 에코시스템을 AI 플랫폼 구축의 중요한 요소로 꼽고 있다. AI 환경에서 각 영역의 전문성이 결합될 때 비로소 전체 시스템의 완성도가 확보될 수 있다는 진단이다.

HS효성인포메이션시스템에 따르면 파트너 에코시스템은 단순한 기술 결합 이상의 의미를 지닌다. 실제 구축 과정에서는 예상치 못한 병목이나 성능 저하, 구성 간 충돌 등 다양한 변수가 발생하는데, 각 영역의 전문 파트너가 함께 참여하는 구조에서는 문제를 보다 빠르게 진단하고 해결할 수 있다. 이는 구축 기간 단축은 물론, 시행착오를 줄이는 데에도 중요한 역할을 한다.

아울러 기술 지원도 지속적인 최적화와 운영 관리에 핵심적인 요소다. 장애 대응이나 성능 개선 과정에서의 대응 속도와 전문성은 서비스 품질을 좌우하며, GPU 자원 활용 최적화나 모델 성능 튜닝과 같은 영역은 고도의 기술 이해도를 요구한다. HS효성인포메이션시스템은 국내 인력을 통한 기술 지원 체계를 핵심 경쟁력으로 내세우고 있다. 권 위원은 “앞으로도 HS효성인포메이션시스템은 국내 지원 체계를 바탕으로 기업이 AI를 더 안정적으로 운영하고, 장애 지원을 더 빠르게 받을 수 있도록 할 것”이라고 설명했다.

그림 4. HS효성인포메이션시스템의 AI 플랫폼 구성 (출처: HS효성인포메이션시스템)

Foundry

dl-itworldkorea@foundryco.com