많은 기업에서 데이터 웨어하우스, 데이터 레이크, 서비스형 소프트웨어(SaaS) 플랫폼, 클라우드 드라이브, 데이터센터 전반에 데이터가 분산돼 있다. 데이터 패브릭은 기업이 데이터 접근을 중앙화하고 통제할 수 있도록 지원하며, 데이터 과학자나 시민 데이터 애널리스트 같은 사용자가 신뢰할 수 있는 관리형 데이터 소스를 쉽게 찾아 활용하도록 돕는다.

데이터 패브릭, 데이터 메시, 분산 데이터 클라우드는 모두 IT·데이터 팀이 수많은 데이터 소스의 복잡성을 정리하도록 돕는 플랫폼이다. 대기업은 데이터 소스의 양과 다양성 때문에 데이터 패브릭이 필수적이다.

데이터 통합 플랫폼 전문 업체 스냅로직(SnapLogic)의 데이터 및 AI 전문가 도미닉 웰링턴은 “데이터 패브릭은 기업 전반에 걸쳐 데이터 접근성, 가용성, 이해의 일관성을 보장하는 연결 기업으로 볼 수 있다”라고 설명했다. 또한, 개별 사일로 플랫폼은 자체 내부 데이터 전송 시스템을 갖출 수 있고, 특정 팀이나 부서는 각 도메인에 최적화된 교환 체계를 채택할 수 있지만, 데이터 패브릭은 더 높은 수준에서 작동하며 통합 데이터 정책이 기업 전체에 종단 간 적용되도록 보장한다고 덧붙였다.

데이터 패브릭의 유형

데이터 패브릭을 검토할 때는 주요 사용례, 지원 데이터 유형, 데이터 처리 기능, 데이터 관리 구조, 거버넌스 기능을 고려해야 한다. 아래는 데이터 패브릭을 기능, 플랫폼, 독립형 제품 관점에서 검토할 때 참고할 사항이다.

• 일부 데이터 패브릭은 애널리틱스와 머신러닝 사용례에 최적화되어 있으며, 비정형 데이터 지원이 제한될 수 있다.
• 일부 데이터 패브릭은 데이터 카탈로깅과 메타데이터 관리를 넘어 데이터 거버넌스 플랫폼의 기능을 확장하며, 영속적 데이터 관리, 데이터 품질, 데이터옵스(DataOps) 기능을 포함한다.
• 다수의 데이터 통합 및 API 연결 플랫폼은 데이터 프록시, 파이프라인, 변환 기능을 넘어 검색, 거버넌스 등 데이터 중앙화에 필요한 기능을 아우른다.
• 일부 서비스형 소프트웨어 플랫폼은 연결성과 데이터 통합 기능을 확장해 멀티 클라우드 이식성과 영속적 데이터를 지원한다.
• 더 고도화된 데이터 패브릭은 AI 에이전트와 AI 모델 학습에 필요한 기능을 갖춘다. 정형·비정형 데이터 소스를 위한 시맨틱 컨텍스트 레이어를 구성하고, 모델 컨텍스트 프로토콜(MCP) 통합을 지원하며, 실시간 쿼리 기능과 정책 기반 거버넌스 중앙화, 데이터 리니지 추적 기능을 갖춘다.

AI에 데이터 패브릭이 필요한 이유

데이터 패브릭은 대기업만을 위한 것이 아니며, 오늘날 중소기업도 AI 민주화 프로그램의 일환으로 데이터 패브릭을 필요로 한다. 다음은 그 이유다.

• 엔터프라이즈 서비스형 소프트웨어에 탑재된 AI 에이전트는 핵심 워크플로 데이터를 넘어 광범위한 데이터셋에 접근해야 한다. 어도비, 로우코드 자동화 플랫폼 전문 업체 애피언(Appian), 오라클, 세일즈포스, 서비스나우, SAP, 클라우드 기반 인력 관리 플랫폼 전문 업체 워크데이(Workday) 등의 플랫폼은 AI 에이전트 범위 내에서 관리 비즈니스 프로세스 외부 데이터를 활용할 수 있도록 데이터 패브릭 기능을 갖추고 있다.
• 비정형 데이터는 AI 에이전트의 컨텍스트 설정에 중요하며, 데이터 패브릭은 문서, 이메일, 트랜스크립트 및 기타 미디어 형식에 대한 접근을 지원하는 수단으로 활용되고 있다.
• 데이터 패브릭은 AI 코드 생성기, 바이브 코딩 도구, 스펙 기반 개발 방식을 실험하며 애플리케이션과 AI 에이전트를 개발하는 데브옵스(DevOps) 팀에 데이터 접근 표준을 제공한다.
• 기업이 MCP 서버를 활용해 AI 에이전트를 연결함에 따라, 데이터 패브릭은 에이전트가 거버넌스가 적용된 신뢰할 수 있는 데이터 소스에 접근하는 표준화된 방식을 갖추게 한다.

SAP 데이터·애널리틱스 부문 사장 겸 최고 제품 책임자 이르판 칸은 “AI 에이전트가 인사이트 생성에서 실제 행동으로 전환함에 따라, 데이터 패브릭은 에이전트 시대의 토대가 된다”라고 말했다. 칸에 따르면 대다수 기업은 분산된 데이터 소스와 다양한 데이터 환경에서 운영되기 때문에 공유 비즈니스 컨텍스트, 거버넌스가 적용된 접근, 의사결정에서 데이터 활용에 대한 명확한 책임이 필요하며, 그 맥락 없이는 에이전트가 기업 전반을 완전히 이해하거나 조율해 의미 있는 가치를 제공하기 어렵다.

AI 기반 엔터프라이즈 자동화 전문 업체 이볼루트IQ(EvoluteIQ)의 최고 제품 책임자 겸 공동 창업자 산제이 코피카르는 통합 데이터 패브릭 아키텍처가 없으면 멀티 에이전트 아키텍처의 신뢰성이 무너진다고 지적했다. 에이전트가 각자의 목표를 위해 서로 엇박자로 작동하는 경우가 많기 때문이라는 것이다.

AI 에이전트에 컨텍스트 전달

AI 에이전트는 의사결정을 이끌기 위해 실시간 데이터, 사용자 정보, 문제 세부 내용, 과거 컨텍스트를 종합적으로 필요로 한다. AI 콘텐츠 생성 플랫폼 전문 업체 타입페이스(Typeface)의 연구개발 부문 사장 비샬 수드는 “MCP와 데이터 패브릭은 에이전트에 접근 권한을 부여하지만, 더 어려운 문제는 여러 소스에 걸쳐 데이터를 맥락화하고 기반 콘텐츠, 미디어, 비정형 데이터의 신뢰성을 확보하는 것”이라고 말했다.

데이터 패브릭은 AI 에이전트에 최신 정보와 장기 메모리를 제공하는 핵심 기반 요소다. 다수의 AI 모델, AI 에이전트, MCP 서버 통합을 다수의 정형·비정형 데이터 소스와 연결하는 다대다 문제를 단순화한다.

애피언의 제품·혁신 부문 수석 부사장 사나트 조시는 “데이터 패브릭은 애플리케이션과 프로세스 생성에 필요한 세 가지 개념인 데이터 카탈로그, 데이터 모델, 데이터 접근을 훌륭하게 아우른다”라고 말했다. 조시는 여기에 비즈니스 규칙, 프로세스 모델, API, 보안 그룹, 기업 모델과 상호 관계를 기업의 통합된 단일 뷰에 더하면 그것이 바로 컨텍스트 레이어가 된다고 덧붙였다.

데이터 패브릭 통합

AI 에이전트 개념 검증(PoC)을 막 시작하는 데브옵스 팀은 최적의 데이터 소스와 API에 직접 연결하고 싶을 수 있다. 오픈소스 데이터 통합 전문 업체 에어바이트(Airbyte)의 CEO 겸 공동 창업자 미셸 트리코는 에이전트를 라이브 API에 연결하는 것이 좋은 출발점이지만 두 가지 큰 문제가 생긴다고 지적했다. API는 에이전트가 이미 요청할 것을 알고 있는 데이터만 반환하며, 모든 쿼리가 오버헤드와 함께 프로덕션 규모에서 인프라를 압박할 수 있는 고비용 API 호출 체인을 유발한다는 점이다.

트리코는 AI 사용례를 위한 데이터 패브릭은 복제 데이터에서 사용 가능한 정보를 탐색하고, 라이브 컨텍스트 정보를 가져오며, 데이터를 비즈니스 애플리케이션에 다시 기록해 레코드를 업데이트하는 동적인 구조여야 한다고 강조했다.

데이터 패브릭으로 데이터를 이동하려면 통합 전략이 필요하다. 제로 ETL(추출·변환·적재)은 정보 복제 없이 정형 데이터 소스에 연결하는 저비용·고효율 방식 중 하나다. 정보를 중앙에서 접근할 수 있게 되면 보안과 거버넌스도 간소화된다.

데이터 관리 솔루션 전문 업체 데이터반(Databahn)의 최고 보안·전략 책임자 프레스턴 우드는 “불안정한 ETL 대기, 낮은 데이터 품질, 분석에 필요한 컨텍스트 부족이 AI 에이전트의 잠재력을 무너뜨린다”라고 지적했다. 우드는 데이터 패브릭 내에서 AI 준비 데이터를 생성하면 에이전트가 의사결정 품질을 저해하는 지연과 드리프트 없이 운영 데이터에 실시간으로 접근할 수 있으며, 잘 설계된 데이터 패브릭은 에이전트가 어떤 데이터를 왜 다루는지 정확히 파악하면서 자신 있게 배포할 수 있는 거버넌스와 리니지 통제 기능을 갖춘다고 강조했다.

AI 준비 데이터 중앙화

데이터 패브릭은 AI 준비 데이터를 중앙화하고, 데이터 거버넌스 팀이 데이터 품질 문제, 편향 데이터 우려, 개인정보 보호 규정 준수 및 기타 필수 거버넌스 사안을 해결하도록 지원한다. 통합 문제 해결, 데이터 파이프라인 오류 모니터링, 성능 지연 보고에도 활용된다. 그 결과 AI 에이전트, 모델 및 기타 애널리틱스 기능이 신뢰할 수 있는 데이터 소스에 일관되게 연결될 수 있다.

데이터베이스 관리 전문 업체 레드게이트 소프트웨어(Redgate Software)의 데이터베이스 및 AI 애드보킷 엔지니어 켈린 고먼은 “AI 에이전트와 MCP 아키텍처가 데이터 패브릭을 단일 신뢰 원천으로 점점 더 의존함에 따라, 데이터 품질은 단순한 위생 문제가 아닌 신뢰 문제가 된다”라고 말했다. 또한, 지금 데이터 패브릭 전반에 걸쳐 시맨틱 일관성, 리니지 추적, 관측 가능한 데이터 계약에 투자하는 기업만이 지속적인 인간 수정 없이 AI 에이전트를 신뢰하며 작동시킬 수 있다고 말했다.

제로 ETL과 기타 양방향 소스 통합을 지원하는 데이터 패브릭은 기업의 지식 기반이자 AI 모델 학습용 데이터 소스, 데이터 지표 생성의 토대가 된다.

결제 기술 전문 업체 NMI의 애널리틱스 디렉터 토비아스 오스트발트는 “AI 에이전트의 신뢰성은 기반 데이터에 달려 있으며, 대다수 기업은 소스 시스템보다 변환 로직에 얼마나 많은 암묵적 경험 지식이 잠재돼 있는지 과소평가한다”라고 지적했다. 오스트발트는 데이터 패브릭을 에이전트나 MCP 통합에 노출할 때는 리니지, 테스트, 지표 정의가 어딘가에 문서화된 것이 아니라 레이어 자체에 내재돼 있어야 한다고 전했다. 에이전트는 수치 검증을 위해 동료에게 확인을 구할 수 없기 때문이다.

보안 및 거버넌스 간소화

데이터 패브릭이 구축되면 거버넌스, 보안 및 기타 리스크 관리 책임자들이 데이터 보안 관리, 접근 제어 중앙화 및 기타 거버넌스 책임을 이행할 수 있는 단일 거점이 마련된다. IT 솔루션 전문 업체 인사이트(Insight)의 솔루션 라인 AI CTO 마일스 워드는 “격리에 의한 보안에서 벗어나, 패브릭 자체가 규정 준수의 도로와 벽을 강제하는 거버넌스 모델로 전환해야 한다”라고 말했다.

데이터 패브릭은 AI 에이전트와 사용자에 대한 권한도 관리한다. 비즈니스 규칙을 중앙화하면 데이터 소스나 사용자에 직접 통제를 구현할 경우 발생할 수 있는 AI 부채(AI debt)를 기업이 예방하는 데 도움이 된다.

코드 보안 전문 업체 아피로(Apiiro)의 제품 부문 부사장 카렌 코헨은 “AI가 생성한 코드 스프롤과 자율적 MCP 연결의 결합이 아키텍처 드리프트와 유해한 권한 조합의 ‘퍼펙트 스톰’을 만들어낸다”라고 경고했다. 효과적인 거버넌스를 위해서는 자율 연결을 실시간 모니터링해 의도 기반 정책을 시행하고 에이전트 범위를 특정 목적으로 엄격히 제한하는 보안 데이터 패브릭이 필요하다고 코헨은 강조했다. AI 지원 개발을 안전한 아키텍처 원칙에 맞추는 가드레일을 통합하면 기업이 개발자 속도를 희생하지 않고 확장되는 공격 표면을 선제적으로 보호할 수 있다는 것이다.

데이터 패브릭의 미래 전망

데이터 패브릭의 범위는 텍스트와 문서를 넘어 확장될 것으로 예상된다. 일부 업체는 청구서, 계약서, 제품 문서 같은 일반 형식에 특화된 문서 처리 기능을 포함할 것이다. 의료 기록, 건설 문서 같은 산업별 문서를 지원하는 역량과 도구도 등장할 것이다. 멀티미디어 파일 유형을 지원하고 메타데이터 추출 및 검색 기능을 갖추는 업체도 등장할 것이다.

데이터 무결성 솔루션 전문 업체 프리사이슬리(Precisely)의 최고 데이터 책임자 데이브 슈만은 “기업이 에이전트에게 계약서, 이미지, PDF, 영상을 넘나들며 추론하도록 요구하는 것이 바로 대다수 데이터 패브릭이 한계에 부딪히는 지점”이라고 말했다. 또한, 멀티모달 데이터는 리니지와 접근 제어를 포함해 정형 데이터와 동일한 엄격함으로 청킹, 임베딩, 거버넌스가 이뤄져야 한다고 지적했다.

그 밖에 주목할 만한 신흥 기능으로는 다음이 있다.

• AI 에이전트 인터페이스에 대한 확장 지원을 통해 데이터 탐색을 보조하고, AI 에이전트의 민감 데이터 접근 시점과 위치에 대한 세밀한 컨텍스트 통제
• 비즈니스 온톨로지, 시맨틱 레이어, 지식 그래프 기능 및 관리 도구 또는 서드파티 플랫폼 통합
• 데이터 계약, 서비스 수준 계약(SLA), 중앙화된 데이터 관측 가능성, 감사 및 설명 가능한 AI 역량을 강화하는 기타 기능 지원
• 데이터 소유자와 사용자를 위한 비용 추적 핀옵스 기능

AI 에이전트 도입이 기업 운영 전반으로 확산되는 만큼, 주요 데이터 패브릭 플랫폼도 적용 범위·규모·사용례·거버넌스를 아우르는 고도화된 기능을 잇따라 선보일 것으로 보인다.
dl-itworldkorea@foundryco.com