LLM의 무상태(stateless) 특성은 AI 애플리케이션 개발 환경의 근본적인 제약 요소로 작용해 왔다. 모든 상호작용이 처음부터 새로 시작되기 때문에 사용자는 매번 맥락과 선호 사항을 반복적으로 입력해야 한다. 비효율적이고 불편한 경험이다. 이 문제를 해결하기 위한 혁신적인 방법으로 등장한 멤제로(Mem0)는 AI 애플리케이션에 지속적이고 맥락을 유지한 기억 기능을 제공하며, 이 기억은 각 사용자 상호작용을 거치며 계속 발전한다.

프로젝트 개요

멤제로는 타란짓 싱과 데쉬라브 야다브가 현대 AI 시스템이 가진 기억력의 한계를 극복하기 위해 개발한 오픈소스 프로젝트다. 앞서 두 사람은 200만 번 이상 다운로드된 오픈소스 검색 증강 생성(retrieval-augmented generation, RAG) 프레임워크인 임베드체인(Embedchain)을 구축하면서 LLM 망각 문제에 시달렸는데, 그 경험을 바탕으로 멤제로 프로젝트를 시작했다. 기사 작성 시점을 기준으로 멤제로 깃허브 리포지토리의 별 개수는 3만 7,000개를 넘어서는 등 AI 커뮤니티에 빠르게 채택되고 있다.

멤제로는 AI 애플리케이션과 언어 모델의 사이에 위치하는 기억 계층으로 작동하면서 사용자 상호작용으로부터 관련 정보를 캡처해 저장한다. 즉, 사용자가 반복해서 맥락을 설정하지 않아도 AI 애플리케이션이 맥락을 인식한 개인화된 응답을 제공할 수 있다. 실제로 넷플릭스, 레모네이드, 로켓 머니 등이 멤제로를 도입해 영구 기억 기능으로 AI 시스템을 강화했다.

멤제로가 차별화되는 부분은 셀프 호스팅을 위한 오픈소스 버전과 기업을 위한 클라우드 호스팅 매니지드 플랫폼 서비스, 2가지를 모두 제공한다는 점이다. 오픈소스 프로젝트는 파이썬과 노드js SDK를 통해 여러 프로그래밍 언어를 지원하므로 개발자의 접근성이 높다. 멤제로는 아파치 2.0 라이선스와 활발한 커뮤니티 개발에 힘입어 연구용 프로토타입에서 프로덕션에 사용 가능한 메모리 관리 솔루션으로 빠르게 발전했다.

멤제로는 어떤 문제를 해결하는가?

현대 AI 애플리케이션의 근본적인 과제는 LLM의 무상태 특성에서 비롯된다. 즉, LLM은 이전 상호작용에서 얻은 정보를 유지할 수 없기 때문에 각 요청을 독립적으로 처리한다. 이 제약으로 인해 개발자와 사용자 모두에게 여러 치명적인 문제점이 발생한다.

사용자 입장에서는 대화할 때마다 매번 똑같은 선호 사항과 맥락을 제공해야 한다는 점이 매우 불편하다. 예를 들어 고객 지원 상호작용에서 사용자는 계정 정보와 이전에 겪은 문제, 그리고 자신의 선호를 여러 세션에 걸쳐 반복적으로 설명해야 한다. 이 반복적인 맥락 설정은 시간을 낭비하고 사용자 경험의 질을 떨어뜨린다.

기술적 관점에서 보면 기억의 부재로 인해 개발자는 복잡한 우회로를 구현해야 한다. 애플리케이션의 맥락 범위(context windows)를 크게 유지하거나 유용한 대화 기록을 버리거나 둘 중 하나를 선택해야 하는데, 전자의 경우 많은 비용이 들고 속도도 느리다. 동일한 맥락 정보를 반복적으로 처리하는 데 드는 비용으로 인해 토큰 사용량이 많게는 90%까지 늘어나고, 결국 경제적인 관점에서 개인 맞춤형 AI 경험은 실현 불가능한 목표가 된다.

현재 시중에 판매되는 기억 솔루션은 일반적으로 단순한 검색 증강 생성 방식에 의존하지만 이 방법은 사용자 선호 사항과 관계의 복잡성을 포착하지 못한다. 이러한 시스템은 상호 모순되는 정보를 처리하는 데 어려움을 겪고, 여러 상호작용의 우선순위를 파악하지 못하며, 여러 정보 단편 간의 관계를 효과적으로 모델링하지 못하는 경우가 많다.

멤제로 자세히 살펴보기

멤제로는 여러 특화된 저장 시스템의 강점을 결합한 혁신적인 하이브리드 데이터 저장소를 통해 이러한 문제점을 해결한다. 상호 보완적인 3가지 저장 기술을 사용한다. 의미적 유사성 검색을 위한 벡터 데이터베이스, 관계 모델링을 위한 그래프 데이터베이스, 그리고 빠른 사실 검색을 위한 키-값 저장소다.

기본적으로 멤제로는 LLM을 사용해 대화에서 핵심 정보를 추출하고 처리한다. 사용자 상호작용이 발생하면 보존해야 할 관련 사실과 선호 사항, 맥락 정보를 시스템이 자동으로 식별한다. 이렇게 추출된 정보는 다양한 유형의 메모리 검색에 최적화된 여러 저장 시스템으로 구성된 하이브리드 데이터 저장소에 저장된다.

벡터 데이터베이스 구성요소는 기억 내용을 수치적으로 표현한 데이터를 저장해서 효율적인 의미 검색 기능을 구현한다. 사용자가 요청을 다르게 표현하더라도 시스템은 임베딩 유사성을 통해 개념적으로 관련된 기억을 검색할 수 있다. 그래프 데이터베이스는 개체, 사람, 개념 간의 관계를 포착해서 시스템이 지식 기반 내의 복잡한 연결을 이해할 수 있게 해준다.

멤제로의 검색 시스템은 관련성, 중요성, 최신성 등 여러 요소를 반영하는 지능적인 랭킹을 사용한다. 이를 통해 관련성이 가장 높은 기억이 먼저 발굴되고, 오래됐거나 모순되는 정보는 적절한 비중으로 가중치가 설정되거나 아예 대체된다. 시스템은 사용자 상호작용을 통해 지속적으로 학습하면서 저장된 기억을 자동으로 업데이트하고 수정하므로 시간이 지나도 정확성이 유지된다.

멤제로가 기존 기억 시스템보다 월등히 뛰어나다는 것은 이미 입증됐다. LOCOMO 평가 프레임워크를 사용한 종합 벤치마크에서 멤제로의 정확도는 오픈AI 기억 시스템보다 26% 더 높았으며, 지연 시간의 경우 전체 맥락을 사용하는 방식에 비해 91% 낮았다. 또한 전체 대화 기록이 아닌 관련된 기억 정보만 전송하는 방식 덕분에 토큰 비용도 90% 절감된다.

멤제로는 오픈AI, 앤트로픽 클로드, 구글 제미나이를 포함한 다양한 업체의 LLM을 지원하며 올라마를 통해 로컬 모델도 지원한다. 유연함 덕분에 개발자는 일관적인 기억 기능을 유지하면서 구체적인 사용례에 가장 적합한 모델을 선택할 수 있다. 멤제로는 여러 주요 AI 프레임워크와 매끄럽게 통합되며, 셀프 호스팅 솔루션과 매니지드 플랫폼 서비스 2가지 방식으로 배포가 가능하다.

멤제로의 주요 사용례

멤제로의 가장 매력적인 애플리케이션은 개인 맞춤형 AI 비서와 에이전트다. 이런 시스템은 사용자 선호 사항과 작업 패턴, 개인 정보를 여러 세션에 걸쳐 기억할 수 있다. 예를 들어 AI 비서는 사용자가 오전 회의를 선호하거나 식단 제한이 있거나 특정 시간대에 일한다는 점 등을 기억해서 이 정보를 기반으로 더 관련성 높은 권장 사항을 제시할 수 있다.

고객 지원 분야에서 멤제로의 기억 기능으로 얻는 이점은 상당하다. 멤제로를 기반으로 하는 지원 상담원은 과거 고객 상호작용과 현재 진행 중인 문제, 그리고 고객의 선호 사항을 기억할 수 있다. 이 연속성 덕분에 고객이 상황을 반복적으로 설명할 필요가 없으므로 문제 해결 시간이 단축되고 고객 만족도가 향상된다.

의료 분야에서는 멤제로를 활용해 환자 이력과 치료 맥락을 유지할 수 있다. 의료 AI 비서는 환자의 증상, 약물 반응, 치료 선호 사항을 지속적으로 추적할 수 있다. 이처럼 보존되는 기억을 통해 의료와 관련된 권장 사항을 제안할 때 더 정확한 정보에 근거할 수 있으며, 여러 의료 상호작용에서 치료의 연속성도 유지된다.

교육 플랫폼은 멤제로를 사용해 적응형 학습 경험을 구현한다. 이 시스템은 학생의 진도, 학습 선호 사항, 어려움을 겪는 영역을 추적할 수 있다. 멤제로 기반의 AI 교사는 이전 수업을 기반으로 각 학생의 학습 스타일에 따라 조정되는 개인 맞춤형 교육을 제공할 수 있다.

다음은 실제 구현 예제다.

from mem0 import Memory# Initialize Mem0m = Memory()# Store user preferencesresult = m.add("I love Italian food but cannot eat pizza since allergic to cheese.",                user_id="alice", metadata={"category": "preferences"})# Later interaction - system remembers preferencesrelated_memories = m.search("Suggest restaurants in San Francisco", user_id="alice")# Returns: Italian restaurants, avoiding cheese-based options

결론

멤제로는 AI 기억 관리에 있어 큰 발전으로, 지능적이고 지속적인 기억 기능을 통해 무상태 언어 모델의 근본적인 한계를 극복한다. 자동 메모리 추출과 지능형 검색이 결합된 멤제로의 하이브리드 데이터 저장소는 시간이 지날수록 점점 더 개선되는 개인 맞춤형 AI 경험을 구축하기 위한 탄탄한 기반이 된다.

깃허브에서 받은 별 수가 3만 7,000개에 이르고 주요 기업에 통합되는 등 멤제로의 인기는 AI 애플리케이션 분야에서 기억 솔루션의 시급한 필요성을 잘 보여준다. 오픈소스와 매니지드 서비스 제품, 2가지 형태로 제공되는 멤제로는 개발자에게 유연성을 제공하는 동시에 엔터프라이즈 배포를 위한 프로덕션급 안정성도 보장한다.

멤제로는 AI 애플리케이션이 기억하고 학습하고 적응하도록 함으로써 더 인간과 가까운 AI 상호작용의 발전에 기여한다. AI 분야가 발전함에 따라 기억 관리에 대한 독보적인 접근 방식을 채택한 멤제로는 차세대 지능형 개인 맞춤형 AI 애플리케이션을 구축하는 개발자에게 필수적인 툴로 자리잡고 있다.
dl-itworldkorea@foundryco.com