AI 에이전트 열풍이 소프트웨어 개발 전반을 뒤덮고 있다. 그러나 이제 논의의 대상은 단일하고 전지전능한 AI가 아니다. 새롭게 부상하는 에이전트 기반(agentic) 워크플로는 여러 특화 에이전트가 협력하는 구조를 전제로 한다.

이른바 에이전틱 AI는 강력한 비즈니스 활용성을 지니지만, 동시에 큰 질문을 남긴다. 바로 에이전트 간 상호 소통, 메모리 보존, 지식 공유를 어떻게 설계할 것인가 하는 점이다.

이 문제를 해결하는 개념이 공유 에이전트 지식베이스다. AI 에이전트용 지식베이스는 모든 에이전트가 접근할 수 있는 일종의 메타 시스템 프롬프트와 같다. 클라우드 운영 소프트웨어 기업 솔로아이오(Solo.io) 글로벌 필드 CTO 크리스티안 포스타는 “에이전트를 미세 조정하는 방식으로 이해하면 된다”라고 설명한다.

에이전트가 증가하고 상호 연결된 행동이 복잡해질수록, 공유 지식베이스(또는 지식 그래프)는 전체 정렬을 유지하는 핵심 축이 된다. 분산 AI 오케스트레이션 플랫폼 기업 가미와자AI(Kamiwaza AI) 필드 CTO 제임스 어카트는 “여러 AI 에이전트를 조율하려면 내부 지식베이스가 필수이며, 역할이 분화된 에이전트는 집합적 행동을 위해 맥락·메모리·관측 정보를 공유해야 한다”라고 설명한다.

잘 설계된 지식베이스는 기업의 최신·포괄적 정보를 에이전트가 실시간으로 활용하도록 설계된다. 이는 궁극적으로 일관성, 정확성, 응답성, 거버넌스를 향상시킨다.

그렇다면 이러한 저장소에는 무엇이 담겨야 할까? AI 에이전트 지식베이스의 핵심 콘텐츠, 구현 방식, 검색 전략, 병목 요인을 살펴본다.

에이전트 지식베이스에 포함되는 요소

AI 에이전트용 지식베이스에는 문서, 정책, 스타일 가이드, 샘플 코드, 워크플로, 규제 준수 규칙 등 다양한 항목이 포함된다. 데이터·AI 서비스 기업 인디시움(Indicium) 데이터 사이언스 매니저 이고르 베닌카는 “지식베이스는 기업 운영 현실 전체 스펙트럼을 담는다”라고 설명한다.
기업 데이터 유형은 매우 다양하기 때문에, 지식베이스는 구조화·반구조화·비구조화 데이터를 모두 포함한다. 정적 규칙부터 동적 채팅 로그까지 아우르며, 벡터화가 가능한 데이터는 모두 활용 가능하다. 그중에서도 에이전트 중심 환경에서 특히 중요한 데이터 유형이 존재한다.

절차와 정책

대다수 지식베이스는 에이전트가 따라야 하는 절차와 정책을 포함한다. 예를 들어 스타일 가이드, 코딩 규칙, 규제 준수 규칙, 사용자 문의에 대응하기 위한 에스컬레이션 흐름 등이 있다. AI 기반 응답 관리 소프트웨어 기업 리스폰시브(Responsive) CIO·CPO AJ 선더는 “내용은 숙련 직원의 정신적 도구상자를 기계가 소비할 수 있도록 구조화한 형태”라고 설명한다.

구조화 데이터

JSON, YAML, CSV 형식의 구조화 데이터는 데이터베이스, 샘플 코드, API 문서, 스키마, SLA 등을 포함한다. 가격·패키지·구성 요소를 나열한 머신 판독 가능한 제품 표도 여기에 해당한다. 개발자 워크플로 자동화 도구 기업 에비에이터(Aviator) CEO 안킷 자인은 “좋은 지식베이스는 검색 가능한 위키백과형 데이터 카탈로그처럼 보일 것”이라고 말한다. 반구조화 데이터에는 내부 위키, 워크플로 가이드, 런북 등이 포함되며, 내부 데이터를 외부 필드와 연결하기 위한 커스텀 필드 매핑도 활용된다.

비구조화 데이터

비구조화 데이터에는 텍스트, 이미지, 오디오, PDF, 영상 등이 포함된다. 회의록, 녹음자료, 의사결정 다이어그램 등이 대표적이다. 텍스트 기반 힌트나 개념 간 느슨한 관계 정보도 유용하다. 리스폰시브의 선더는 “성공적인 지식베이스는 금지 예시(negative examples), 즉 ‘하지 말아야 할 것’, 그리고 에이전트가 에지 케이스를 처리하는 데 도움을 주는 컨텍스트 의사결정 트리를 포함한다”라고 말한다.

메모리와 관계

영속적 메모리는 에이전트가 세션을 넘어 맥락을 유지하도록 돕는다. 과거 프롬프트, 고객 상호작용, 지원 티켓에 접근하면 연속성과 패턴 인식 능력이 향상된다. 전문가는 데이터를 단순히 저장하는 것이 아니라, 데이터 간 관계를 명시적으로 연결해야 한다고 강조한다. 선더는 SLA 예시를 들며 “24시간 SLA입니다”라는 단순 문구보다 “엔터프라이즈 고객에게 적용되며, 유지보수 기간에는 제외되고, 계정 매니저 에스컬레이션 시 예외가 발생한다”는 식의 관계 기반 표현이 더 바람직하다고 설명한다.

지식베이스 구현 방법

에이전트 지식베이스의 핵심 구성 요소는 오브젝트 스토어와 임베딩을 위한 벡터 데이터베이스다. 벡터 데이터베이스는 의미 기반 검색에 필수이며, 오브젝트 스토어는 대규모 확장성, 객체 수준 메타데이터, 불변성 등 AI 워크로드에 필수적인 요건을 충족한다.

새로운 SaaS나 인프라를 도입할 필요는 없다. 실시간 대규모 언어 모델 검색 엔진 기업 태빌리(Tavily) 창립자·CEO 로템 와이스는 “기존 시스템 위에 레이어를 구축하고 올바른 커넥터를 통해 에이전트가 데이터에 접근하도록 하는 것이 가장 실용적”이라고 말한다.

다양한 데이터 소스를 통합하려면 추상화 레이어가 필요할 수 있다. 데이터·AI 서비스 기업 인디시움(Indicium) 데이터 사이언스 매니저 이고르 베닌카는 “API를 통해 다양한 소스의 데이터를 에이전트에게 노출하는 추상화 레이어가 가장 효과적”이라고 말한다. 이러한 구조는 컨플루언스(Confluence) 기반 지식 관리 시스템, 데이터 웨어하우스, 벡터 데이터베이스를 자연스럽게 통합한다.

에비에이터(Aviator) CEO 안킷 자인은 “기존 지식베이스를 AI 에이전트용으로 재구축하는 것은 어렵지 않지만, 유지 관리는 구축보다 훨씬 어렵다”라고 지적한다. 이를 해결하기 위해 에이전트가 새 정보를 스스로 캡처하고 지식베이스를 갱신하는 구조가 필요하다고 강조한다.

전문가는 작게 시작해 초기 성공을 기반으로 확장하는 접근을 강조한다. 오픈소스 기반 AI 개발 플랫폼 기업 아나콘다(Anaconda) AI 엔지니어링 VP 그렉 제닝스는 “고유 기업 지식을 큐레이션해 에이전트에 제공하는 PoC 중심 접근이 효과적”이라고 말한다.

지식베이스 연결 방식

데이터에 실제로 연결하는 단계는 AI 검색 방식이 매우 다양하기 때문에 복잡하다. 전문가는 멀티모달 검색 전략이 최적이라고 강조한다. 벡터 검색은 의미 기반 유사성, 그래프 탐색은 데이터 관계, 키워드 검색은 정확 매칭을 제공한다.

소프트웨어 엔지니어링 컨설팅 기업 R시스템즈(R Systems) 데이터·AI 부사장 니라즈 아브얀카르는 “AI 에이전트는 일반적으로 API 또는 RAG 파이프라인을 통해 지식베이스에 연결한다”라고 설명한다. 또한 MCP(Model Context Protocol)이 에이전트의 도구·데이터 접근에 대한 차세대 표준이 될 것으로 전망한다.

리스폰시브(Responsive) CIO·CPO AJ 선더는 MCP가 에이전트 연결 방식을 표준화하여, MCP 호환 시스템이라면 어디든 연결할 수 있다고 주장한다. 이는 장기적으로 기업 간 경계를 넘는 에이전트 상호작용을 가능하게 한다.

솔로아이오(Solo.io) 글로벌 필드 CTO 크리스티안 포스타는 “RAG on the wire” 개념을 제시한다. 이는 LLM 호출을 에이전트 게이트웨이가 가로채 즉시 RAG 기반 조회를 실행하는 방식으로, 호출 주체와 관계없이 동일한 규칙을 강제한다.

새로운 검색 방식도 등장하고 있다. 계층형 검색, GraphRAG 등은 더 정교한 탐색을 지원한다. 오픈소스 오브젝트 스토리지 서버 기업 미니아이오(MinIO) AI 솔루션 엔지니어 키스 피자노프스키는 “GraphRAG는 지식을 다중 노드 관계로 구성해 실제 세계의 구조를 더 정확히 반영하고 에이전트의 복잡한 추론을 돕는다”라고 설명한다.

범용 지식베이스는 없다

산업 전반에서 AI 에이전트 지식베이스 구축 모범 사례가 등장하고 있다. 버전 관리, 검색 전략, 대화 기반 메모리, 접근 제어, 프롬프트 체이닝, 임베딩, 데이터 갱신 프로세스 등이 대표적이다.

그러나 인프라·디자인 패턴이 유사할지라도, 지식베이스는 결국 각 기업의 고유 도메인 로직과 워크플로를 반영한다. 인디시움(Indicium) 데이터 사이언스 매니저 이고르 베닌카는 “커스터마이징은 선택이 아니라 ROI 확보를 위한 필수 요소”라고 강조한다.

리스폰시브(Responsive) CIO·CPO AJ 선더는 “인프라 패턴은 어느 정도 수렴하나, 온톨로지는 산업별로 고도로 특화돼 있으며 수렴 경향이 보이지 않는다”라고 설명한다.

R시스템즈(R Systems) 데이터·AI 부사장 니라즈 아브얀카르는 의료 분야는 HIPAA 준수 스키마, 리테일 에이전트는 재고 로직을 우선한다고 말하며 “산업별 수직 커스터마이징은 필수”라고 분석한다.

에비에이터(Aviator) CEO 안킷 자인은 “모두 유사한 벡터 DB, 임베딩 모델, 검색 기술을 사용하지만, 지식 스키마·검증 규칙·비즈니스 로직은 기업마다 완전히 다르다”며 “방법(how)은 표준화되지만, 내용(what)은 다양하다”라고 강조한다.

지식을 최신 상태로 유지하기

마이크로소프트 ‘2025 업무 동향 지수’에 따르면, 에이전트를 활용해 워크플로·프로세스를 자동화하는 기업 리더 비율은 46%이며, 멀티 에이전트 시스템을 탐색하는 기업도 빠르게 증가하고 있다. 딜로이트(Deloitte)와 같은 컨설팅 기업도 멀티 에이전트 전략을 확대하면서 이 흐름은 더욱 강화될 전망이다.

소프트웨어 엔지니어링 분야는 에이전트가 기존 프로세스를 가속하는 대표적 사례다. DX의 ‘AI 지원 엔지니어링 4분기 영향 보고서’는 약 6만 명 규모의 개발자 데이터를 분석한 결과, 개발자의 90% 이상이 AI 코딩 도구를 활용해 주당 평균 3.6시간을 절약하고 있다고 밝힌다. 그러나 개발 속도 증가와 달리 코드 품질의 일관성 문제는 여전히 존재하며, 이는 강력한 기준선과 에이전트 간 공유 맥락 구축의 필요성을 시사한다.

최종 사용자를 지원하는 에이전트 역시 동일한 문제를 겪는다. 핵심은 지속적 유지 관리이며, 공유된 이해가 빠르게 공유된 오해가 될 수 있기 때문이다.

기업의 지식은 지속적으로 변화하므로, 중복 없이 최신 상태를 유지하면서, 에이전트 행동 논리를 훼손하지 않는 방식으로 갱신하는 작업이 핵심 과제다. 에비에이터(Aviator) CEO 안킷 자인은 “지식베이스 유지, 특히 데이터 신선도와 품질 관리가 가장 어려운 과제”라고 설명한다.

리스폰시브(Responsive) CIO·CPO AJ 선더는 “신선도의 결여는 AI 지식 시스템의 조용한 파괴자”라고 강조했다.
dl-itworldkorea@foundryco.com