AI로 인해 데이터베이스의 개념이 통째로 바뀌고 있다. 관계형 데이터베이스, NoSQL 데이터베이스와 같은 전통적인 데이터베이스는 정형 데이터와 분석 쿼리에 맞게 설계됐다. 즉, 정돈된 테이블과 스키마, 명확하게 정의된 필드가 있다. 쿼리는 키워드, 필터와 정확히 일치해야 하며 그렇지 않으면 아무것도 반환되지 않는다.

그러나 대규모 언어 모델(LLM)을 기반으로 하는 자연어 처리 애플리케이션은 이에 비해 훨씬 더 느슨하다. 이러한 애플리케이션은 정형 레코드에서 일치 항목을 찾는 것이 아니라 검색 증강 생성(RAG)과 같은 기법을 사용해 방대한 양의 비정형 데이터를 살피면서 의미적 유사성을 찾는다.

바로 이 부분에서 벡터 데이터베이스가 사용된다. 전통적인 데이터베이스보다 더 동적인 벡터 데이터베이스의 특성은 AI 사용 사례와 잘 맞는다. 큐드런트(Qdrant), 파인콘(Pinecone), 오픈서치(OpenSearch), 위비에이트(Weaviate), 크로마(Chroma)와 같은 새로운 벡터 네이티브 데이터베이스는 벡터 임베딩을 저장하고 검색하며, RAG에 필수적인 AI 에이전트를 위한 고속, 컨텍스트 인식, 멀티모달 데이터 검색을 실현한다.

데이터 및 AI 컨설팅 업체 인디시움(Indicium)의 기술 수석 AI 엔지니어인 바그너 스트라파손은 “벡터 데이터베이스는 에이전틱 AI 시스템이 텍스트 또는 이미지 특징과 같은 방대한 양의 비정형 임베딩을 의미적 유사성과 함께 저장하고 쿼리할 수 있게 해준다”라고 설명했다.

이러한 특성에 따라 벡터 데이터베이스는 AI 분야에서 폭넓게 사용되고 있다. HostingAdvice.com에서 2025년 8월 데이터, AI, 머신러닝 관련 분야에 종사하는 미국 거주 엔지니어 300명을 대상으로 실시한 설문조사에 따르면 엔지니어의 약 70%가 이미 벡터 데이터베이스를 사용 중인 것으로 나타났다. 또한 현재 벡터 데이터베이스를 사용하지 않는 엔지니어의 대다수(73%)가 향후 AI 사용 사례에 벡터 데이터베이스를 사용하는 방안을 검토 중이다.

그러나 벡터화를 최대한 활용하기 위해서는 단순히 기존 데이터베이스에 벡터를 새로운 데이터 타입으로 추가하는 이상의 작업이 필요한 경우가 많다. 실제로 엔지니어 4명 중 3명 이상이 전통적인 데이터베이스에 벡터 애드온을 추가해 사용하는 것이 아니라 네이티브 벡터 데이터베이스를 사용 중이라고 답했다.

아래에서는 벡터 네이티브 데이터베이스가 기존 데이터베이스와 어떻게 다른지 알아보고, 벡터 스토리지를 지원하는 관계형 또는 NoSQL 데이터베이스가 아닌 벡터 네이티브 데이터베이스를 사용할 때 얻는 이점을 살펴본다.

벡터 데이터베이스에 대한 관심의 증대

벡터 데이터베이스에 대한 관심 증가는 머신 러닝으로 인해 발생하는 새로운 요구사항의 등장과 맞물려 있다. LLM을 통해 누구나 알게 됐듯이 머신 러닝 모델은 막대한 양의 텍스트 또는 기타 비정형 데이터를 다룰 수 있다. 그러나 머신 러닝 모델은 이러한 데이터를 직접 다루는 것이 아니라 벡터 임베딩이라고 하는 수치 표현을 통해 다룬다.

이러한 고차원 벡터 임베딩은 벡터 공간에서 예를 들어 단어, 단락 또는 기타 텍스트 뭉치 간의 의미적 유사성을 측정할 수 있게 해준다. 이 고차원 수치 공간에서 벡터가 서로 근접할수록 해당 텍스트 뭉치의 의미도 더 근접해진다. 벡터 데이터베이스를 근사 최근접 이웃(ANN) 검색과 함께 사용하면 생성형 AI와 LLM을 다루는 데 필수적인 빠른 의미 기반 검색 프로세스를 구현할 수 있다.

인시디엄의 스트라파손은 “에이전틱 AI 애플리케이션에서 벡터 데이터베이스는 외부 메모리 또는 ‘지식 색인’ 역할을 하면서 AI 에이전트가 관련된 사실 또는 과거 상호작용 기억을 꺼낼 수 있게 해준다”라고 말했다. IBM 왓슨 X의 부사장인 에드워드 칼베스버트는 “기업은 벡터 데이터베이스를 통해 비정형 데이터를 수집, 관리, 검색하고, 정확하고 성능이 뛰어난 에이전틱 AI 시스템을 확장할 수 있다”라고 말했다.

AI 기반 애플리케이션의 특성상 벡터 데이터베이스는 특히 인메모리 사용 사례, AI 에이전트를 위한 장기 저장, 그리고 긴 쿼리에 대한 편리한 액세스에 유용하다. 임베딩, 하이브리드 검색과 같은 기능은 벡터 데이터베이스의 활용도를 더욱 높여준다.

큐드런트의 공동 창립자 겸 CEO인 안드레 자야르니는 “AI 애플리케이션이 기존의 단일 턴 프롬프트에서 여러 단계에 걸쳐 추론, 계획, 행동하는 AI 에이전트로 발전하면서 이제는 모델 품질뿐만 아니라 메모리와 검색도 중요한 요소가 됐다”라고 말했다.

전통적인 DB를 넘어

2025년 중반부터 포스트그레스, 몽고DB, 일래스틱서치(Elasticsearch) 등 개발자들 사이에서 인기 있는 데이터베이스들이 벡터를 지원하기 시작했다., AWS의 아마존 S3 벡터에 이어 마이크로소프트 SQL 서버도 스토리지에 네이티브 벡터 데이터 타입을 추가했다. 그렇다면 이러한 애드온이 이미 존재하는데 굳이 특화된 벡터 네이티브 데이터베이스를 사용하는 이유는 무엇일까?

특화된 벡터 데이터베이스는 일반적인 데이터베이스에 비해 더 우수한 정보 검색 메커니즘을 제공하며, 이를 통해 AI 에이전트가 데이터를 통해 추론하는 속도와 정확도가 향상된다. IBM의 칼베스버트는 “전용 벡터 데이터베이스는 텍스트, 이미지, 오디오를 포괄하는 고밀도, 희소, 멀티모달 검색을 위해 여러 벡터 필드를 결합하는 데 있어 높은 유연성을 제공해서 전체 컨텍스트와 특정 용어를 포착해 가장 포괄적인 검색 결과를 도출한다”라고 설명했다.

또한 벡터 네이티브 데이터베이스는 대규모 시나리오에 더 적합하며 조정 필요성도 상대적으로 낮다. 분석 및 컨설팅 업체 자나키람 앤 어소시에이츠(Janakiram & Associates)의 수석 분석가인 자나키람 MSV는 “수십억 개의 벡터를 다루고 지연을 50ms 미만으로 유지해야 하는 조직, 또는 멀티모달 검색과 같은 특수 기능이 필요한 조직이 네이티브 벡터 데이터베이스의 이점을 가장 크게 누릴 수 있다. 전통적인 데이터베이스의 경우 광범위한 튜닝이 필요하고 대규모 벡터 작업에 맞춰 성능이 최적화되지도 않았다”라고 말했다.

인시디엄의 스트라파손은 포스트그레스의 pgvector 또는 몽고DB의 아틀라스 벡터 서치(Atlas Vector Search)와 같은 벡터 데이터베이스 확장 기능을 사용해도 이러한 작업을 수행할 수 있지만 “수백만 또는 수십억 개의 벡터에 걸쳐 낮은 지연과 높은 처리량으로 고속, 대규모 유사성 검색을 수행해야 하는 애플리케이션에는 독립형 벡터 데이터베이스가 최적”이라고 말했다.

HostingAdvice.com 보고서에 따르면 벡터 데이터베이스를 사용하는 엔지니어의 절반 가까이(46%)가 1,000만 개~1억 개의 벡터를 저장하고 있으며, 그 외의 대부분은 100만 개~1,000만 개를 저장한다.

간단히 말해 벡터 네이티브 데이터베이스는 지연에 민감한 대규모 멀티모달 AI 사용 사례에서 애드온보다 대체로 성능이 더 우수하다. 다만 비교적 소규모 워크로드의 경우 내장된 확장 기능이 더 간단하고 비용 효율적인 선택이 될 수 있다.

네이티브 벡터 데이터베이스가 적절한 시나리오

현재 사용되는 새로운 종류의 벡터 데이터베이스는 전통적인 데이터베이스와 구분되는 많은 기능을 제공한다. 벡터 데이터베이스는 AI를 위한 백엔드라는 명확한 목표로 두고 설계되며, AI 사용 사례를 위한 전용 데이터베이스다.

구체적인 기능의 몇 가지 예를 들면 다음과 같다.

• 고급 쿼리 : 근사 최근접 이웃(ANN) 또는 k-최근접 이웃(KNN)은 의미적으로 유사한 항목을 찾기 위한 고급 쿼리 프로세스를 제공한다.
• 하이브리드 검색 : 의미, 메타데이터 필터링, 키워드 매칭을 결합하는 옵션
• 멀티모달 지원 : 텍스트, 이미지, 오디오와 같은 다양한 파일 형식을 임베딩할 수 있으며, 비정형 데이터도 가능
• 실시간 인덱싱 : 동적 데이터 업데이트 또는 즉석 모델 추론 기능
• 희소 벡터 및 다중 벡터 지원 : 더 세분화된 검색을 위해 하이브리드 고밀도 또는 희소 검색 및 객체당 다중 임베딩을 처리한다.
• AI 요구사항을 위한 데이터 관리 기능: 전문화된 순위 재조정 알고리즘, 네임스페이스 분할, 반복되는 쿼리를 위한 의미 캐싱
• 양자화와 메모리 최적화 : 벡터 크기를 줄여 스토리지를 절약하고 정확도의 큰 저하 없이 속도 개선
• 통합: 랭체인(LangChain), 라마인덱스(LlamaIndex), 헤이스택(Haystack) 등 인기 있는 AI 프레임워크와의 RESTful API 및 네이티브 통합.

몇몇 벡터 데이터베이스는 여기서 한 단계 더 나아간다. 자나키람은 “고급 기능으로는 GPU 가속, 분산 확장, 희소 벡터 지원, 파이토치 및 텐서플로우와 같은 머신 러닝 프레임워크와의 통합 등이 있다”라고 덧붙였다. 또한 관리형 서비스에는 자동 확장, 모니터링, 내장 임베딩 모델 또는 추론과 같은 유용한 기능이 포함될 수 있다.

적절한 벡터 데이터베이스 선택하기

다음 프로젝트를 위한 벡터 데이터베이스를 선택할 때 가장 우선 평가해야 할 항목은 AI 워크로드의 세부적인 특징, 성능과 확장 요구사항, 그리고 기존 기술 스택과의 통합이다.

큐드런트의 자야르니는 모든 AI 프로젝트는 고유하므로 적응성이 중요하다면서 “좋은 벡터 데이터베이스는 애플리케이션에 특정 아키텍처를 강요하는 것이 아니라 구체적인 요구 사항에 맞게 조정할 수 있는 기능을 제공한다”라고 말했다. 자야르니는 메모리 사용량을 줄이는 양자화, 고급 필터링, 구성 가능한 스토리지 옵션과 같은 기능이 이러한 유연성을 제공하는 데 도움이 된다고 덧붙였다.

하이브리드, 온프레미스, 멀티 클라우드 환경의 확산을 감안하면 상호운용성과 독점 종속성 수준은 중요한 평가 영역이다. IBM의 칼베스버트는 “하이브리드와 개방성은 벡터 데이터베이스를 선택할 때 우선 고려해야 하는 두 가지 핵심적인 특성”이라고 말했다.

이러한 특성을 고려하면 하이브리드 사용 사례에서 오픈소스 옵션의 경쟁력이 높아진다. 인시디엄의 스트라파손은 “위비에이트는 하이브리드 및 멀티모달 사용 사례와 온프레미스 요구사항에 유리하다”면서 벡터 데이터베이스마다 가격 정책이 다르므로 쿼리당 비용, 총 스토리지 및 컴퓨팅 비용 등 오픈소스 제품과 관리형 서비스의 장단점을 고려하는 것이 좋다고 덧붙였다.

그 외의 오픈소스 네이티브 벡터 데이터베이스로는 베스파(Vespa), 블라드(Vlad), 밀버스(Milvus) 등이 있다.

자나키람은 파인콘의 호스팅 데이터베이스와 같은 관리형 서비스는 사용하기가 더 쉽고, 밀버스나 위비에이트와 같은 오픈소스 옵션은 더 높은 유연성을 제공한다면서 크로마와 같이 메모리 내에서 실행이 가능한, 프로토타입 친화적인 가벼운 옵션도 고려할 수 있다고 덧붙였다.

AI 사용 사례마다 관련성을 가장 잘 판단하기 위해 필요한 검색 스타일과 패턴도 각기 다르다. 자나키람은 따라서 자신에게 필요한 데이터 타입과 쿼리 패턴을 고려할 것을 권장했다. 즉, 희소 벡터와 고밀도 벡터 중 무엇이 필요한지, 또는 실시간 옵션과 일괄 처리 옵션 중 무엇이 필요한지를 판단해야 한다.

자나키람은 전체 그림을 봐야 한다면서 “운영 오버헤드, 확장 비용, 가용 개발자 자원, API, 그리고 유지 관리를 위한 SDK를 포함한 총소유비용을 평가해야 한다”라고 강조했다.

많은 에이전트용 데이터 소스 중 하나

점점 더 많은 기업이 AI 개발을 확장하면서 RAG 기반 시스템부터 혁신적인 검색 엔진, LLM 기반 가상 비서, 에이전틱 AI 애플리케이션에 이르기까지 다양한 기술을 구축하면서 벡터 데이터베이스는 백엔드 인프라의 표준 요소로 빠르게 자리 잡고 있다.

그러나 에이전트 개발 플랫폼 제공업체 아카(Akka)의 CEO 타일러 주얼은 벡터 데이터베이스는 전체 그림의 한 조각일 뿐이라고 강조했다. AI 에이전트는 벡터 데이터베이스, 대화 기록, API, 스트리밍 데이터를 비롯한 많은 소스와 효과적으로 연결돼야 한다.

게다가 벡터화에는 비용이 따른다. 주얼은 “벡터 검색에는 계산 비용이 많이 들고 일반적으로 기존 데이터베이스에 비해 속도가 느리기 때문에 에이전틱 시스템은 느린 쿼리로 인한 지연을 방지하려면 비동기식 비차단 I/O를 사용해야 한다”면서, 기본적으로 AI 기반 애플리케이션은 안정성을 유지하면서 다양한 소스에서 데이터를 가져오기 위해 업스트림 엔진이 필요할 가능성이 높다고 말했다.

그럼에도 불구하고 주얼은 AI 에이전트를 적절한 지식 및 데이터와 동기화하는 데 있어 벡터 데이터베이스의 역할을 확신한다면서 “LLM의 품질은 전적으로 LLM에 제공하는 컨텍스트에 따라 결정된다. 벡터 데이터베이스는 그러한 의미적 컨텍스트를 제공하는 데 있어 필수적”이라고 말했다.

큐드런트의 자야르니는 “벡터 데이터베이스가 없다는 것은 에이전트 관점에서는 눈을 가린 채 작동하는 것과 같다. 에이전트는 추론하고 적응하고 에이전틱 AI의 약속을 실현하기 위해 필요한 컨텍스트와 연속성, 속도를 벡터 데이터베이스를 통해 얻는다”라고 말했다.
dl-itworldkorea@foundryco.com