기초적인 챗봇은 현대 AI 플랫폼과 관련해 매체에 단골로 소개되는 기술이지만, 사실 챗봇의 사용 사례는 제한적으로 검색 툴에 간단한 자연어 인터페이스를 제공하는 정도에 불과하다. 사용자가 자신의 데이터를 기반으로 세밀한 튜닝과 그라운딩을 구현한다면 확실히 유용하지만 그렇다 해도 기존 검색 툴의 확장으로 생각하는 편이 가장 타당하다.

AI에는 다른 용도도 있다. 예컨대 기업 IT 스택에 기술을 내장하고 고급 필터링과 요약 기능을 제공하고 번역과 음성 인식에 사용되고 자연어를 통해 상호작용을 간소화할 수 있다. 그러나 이를 위해서는 AI를 기존 개발 스택의 일부로 통합하고 AI 솔루션 구현 방식을 체계화하고 소프트웨어로 할 수 있는 일을 확장해주는 새로운 기능을 제공하는 또 하나의 툴로 취급해야 한다.

챗봇에서 애플리케이션 구성요소로

AI 기술을 엔터프라이즈 애플리케이션에 구현해 넣기 위해서는 AI의 역량과 한계를 모두 파악해야 한다. 에이전틱 AI(Agentic AI)는 AI를 오케스트레이션되는 API로 다룰 수 있게 해준다. 데이터 소스는 MCP(Model Context Protocol) 서버에서 제공되고, 에이전트 간 인증과 권한 부여는 현재 개발 중인 A2A(Agent2Agent) 프로토콜을 통해 제공된다.

얼리 어댑터는 개발 툴체인에서 AI 툴 사용을 체계화하기 시작했다. 링크드인은 2024년 11월 생성형 AI 애플리케이션 스택에 대한 회사의 접근 방식을 공개했으며, 현재 장기적인 상호작용과 워크플로우에 초점을 둔 에이전틱 AI 애플리케이션을 구축, 테스트, 모니터링하는 중이다.

필자는 지난 몇 년 동안 AI 애플리케이션 개발에 대한 글을 쓰면서 개발자가 현대 애플리케이션을 신속하게 구축하기 위해 과거의 코딩 기법을 용도 변경해 사용하는 경우가 많다는 사실을 알게 됐다. 링크드인 프레임워크 역시 기존의 분산 애플리케이션 개발 방법을 기반으로 해서 메시징 기반 플랫폼의 일부로 에이전트를 구현하고 있다.

익숙한 개념 다루기

링크드인 수석 엔지니어인 카르틱 람고팔은 “에이전트를 구축한다 해도 사용자와 접하는 애플리케이션이라는 현실은 여전히 마찬가지다. 즉, 백그라운드에는 여전히 대규모 분산 시스템이 존재한다. 따라서 모든 요소를 처음부터 새로 만드는 대신, 익숙한 기술을 활용하되 에이전트가 대규모로 작동하는 데 필요한 계층을 추가하면 된다”라고 말했다.

이렇게 보면 에이전트 기반 애플리케이션이 메시징 아키텍처에 의존하는 경향을 이해할 수 있다. 람고팔은 “링크드인을 비롯한 거의 모든 기업이 추상화로 메시징을 다시 선택하는 이유는 메시징이 매우 강력하기 때문이다. 자연어로 소통할 수 있는 역량은 매우 중요하다. 정형 콘텐츠를 덧붙일 수도 있다”라고 말했다. 정형 정보와 반정형 정보 사용은 에이전트, A2A와 같은 프로토콜에서 점점 더 중요해지고 있다. 여기서 대부분의 데이터는 사업부 시스템 또는 링크드인 채용 플랫폼의 경우와 같이 사용자 프로필이나 파싱이 용이한 이력서에 저장된다.

오케스트레이션 서비스는 필요에 따라 메시지 내용을 바탕으로 문서를 작성할 수 있다. 또한 이러한 메시지는 애플리케이션 플랫폼에 맥락에 따른 메모리를 위한 과거 대화 기록을 제공하고, 이는 에이전트가 사용자 의도를 파악하는 데 도움이 된다. 예를 들어 샌프란시스코에 위치한 소프트웨어 엔지니어에 대한 요청과 그 이후 “런던에 있는 소프트웨어 엔지니어” 요청이 서로 유사하다는 것을 이해하는 데 도움이 된다.

에이전트 라이프 사이클 서비스 구축

링크드인 에이전틱 AI 플랫폼의 핵심은 ‘에이전트 라이프 사이클 서비스’다. 이는 에이전트와 데이터 소스, 애플리케이션을 조율하는 상태 비저장(stateless) 서비스다. 상태와 맥락이 서비스 외부의 대화 및 경험 메모리 저장소에 보관되므로 링크드인은 플랫폼을 빠르게 수평 확장하고 다른 클라우드 네이티브 분산 애플리케이션과 같은 방식으로 컴퓨팅과 스토리지를 관리할 수 있다. 또한 에이전트 라이프 사이클 서비스는 메시징 서비스와의 상호작용을 제어하고 트래픽을 관리하고 메시지가 누락되지 않도록 보장한다.

에이전트는 익숙한 gRPC 인터페이스를 사용해 구축되며 애플리케이션 개발자는 메시징과 API 호출 간의 전환을 처리하는 라이브러리를 사용한다. 에이전트 개발자는 gRPC 프로토 3(gRPC Proto 3) 옵션을 통해 에이전트 메타데이터를 저장해서 에이전트 라이프사이클 서비스에서 사용하도록 할 수 있다.

에이전트 라이프사이클 서비스의 핵심 기능 중 하나는 장시간 실행되는 작업에 대한 지원과 인터랙티브 작업과 일괄 처리 작업 간의 전환 관리다. 이를 통해 AI 기반 애플리케이션은 마이크로소프트가 지난 30년 이상 구현하기 위해 노력해온 맥락 기반 컴퓨팅(contextual computing), 즉 에이전트 메모리 기능을 통해 AI 에이전트 앱이 사용자 의도와 사용자 맥락, 그리고 에이전트 맥락을 관리할 수 있는 컴퓨팅에 한층 더 가까워진다.

인간의 개입 유지

맥락 외에, 에이전트 라이프사이클 서비스는 권한 부여와 인증을 관리하고 역할 기반 인증을 지원한다. 이는 중요한 부분이다. 링크드인 플랫폼에 저장된 개인 데이터는 전 세계 대부분 지역에서 규제 대상이고 보호돼야 하기 때문이다. 이를 위해서는 사람이 개입해서 의사결정을 내리고 작업을 지도하는 과정이 필요하다. 예를 들어 애플리케이션이 이메일을 통해 소통하는 데 사용된다면 생성된 모든 이메일은 편집 가능해야 하며 사용자가 명시적으로 전송해야 한다.

링크드인 플랫폼 상당부분은 채용 툴 역할에 중점을 두는 만큼 새로운 프레임워크를 사용해 구축되는 첫 번째 공개 애플리케이션은 링크드인 채용 어시스턴트(Hiring Assistant) 서비스의 업데이트다. 사람의 삶에 영향을 미치는 툴을 개발하는 과정에서 순수 알고리즘 중심의 접근을 방지하고 인간의 개입을 유지해 시스템이 신뢰성과 안전성을 유지할 수 있도록 하는 핵심 원칙이 정의됐다. 목적은 인간을 대체하는 것이 아니라 인간이 더 효과적으로 일할 수 있도록 돕는 것이다. 기반 에이전트는 사용자와 협력해서 의사결정을 명확히 하고 피드백을 수집하고 맥락 기반 메모리에 저장되는 입력값을 제공해 향후 행동을 개선해 나가야 한다.

이렇게 해서 만들어진 애플리케이션은 자연어 인터페이스를 사용해 기존 링크드인 플랫폼 내에서 채용 담당자의 질의를 기반으로 빠르게 후보자를 필터링하고, 조건에 맞는 인재를 표시하고 채용 프로세스를 자동화하는 데 도움을 준다. 대화형 요소도 있지만 툴은 익숙한 화면에 통합된다. 다른 여러 우수한 AI 툴과 마찬가지로, 이 시스템은 전체를 자동화하는 것이 아니라 시간을 절약하고 기존 프로세스에 도움을 제공하도록 설계된다.

관찰가능성을 사용한 에이전트 관리

링크드인의 에이전틱 기술 스택은 에이전트를 관리하고 오케스트레이션하기 위한 아키텍처와 함께 관찰가능성 기능을 포함하기 위한 프레임워크도 제공한다. 이는 운영의 많은 부분을 계측하기 위해 오픈텔레메트리(OpenTelemetry)와 같은 익숙한 기술을 기반으로 한다. 이를 통해 에이전트가 언제 어떤 방법으로 서비스를 호출하고 어떤 데이터를 사용하는지를 확인할 수 있다. 또한 관찰가능성 데이터를 사용해서 애플리케이션이 어떻게 작동하는지 파악해 디버깅과 안정성, 그리고 규제 및 개인정보 보호 준수를 위한 필수 정보를 제공할 수 있다. 람고팔은 “관찰가능성과 모니터링 측면에서 기존 소프트웨어 시스템과 동일한 엄격함이 필요하다. 무슨 일이 일어나고 있는지 알고 감사할 수 있어야 한다”라고 강조했다.

이것이 AI에 대한 링크드인의 접근 방식에서 핵심적인 요소이며, 기존 엔터프라이즈 아키텍처의 확장이라는 점을 이해하는 것이 중요하다. 람고팔은 파일럿 프로젝트에서 일상적인 툴로 전환하는 과정의 일부라면서 “LLM이 할 수 있는 멋진 일을 보여주는 다양한 애플리케이션 데모에서 간과하는 경우가 많지만, 실제로 엔터프라이즈 시스템을 대규모로 배포하려면 이런 모든 요소가 모두 중요하게 작용하므로 반드시 고려해야 한다”라고 말했다.

분산 아키텍처의 AI

링크드인 내부 툴에서 중요한 측면 중 하나는 상호작용이 비결정적일 수 있음을 개발자가 이해할 수 있게 해준다는 점이다. 개발 플레이그라운드에서 분산 에이전트 플랫폼을 사용하는 데 따르는 일관성의 절충을 확인하고 지연과 일관성 사이의 균형을 어떻게 맞출지 결정할 수 있다. 이는 마이크로소프트가 코스모스 DB 플랫폼에서 일관성 모델을 노출하는 방식과 유사하며, 각자의 코드에 가장 적합한 접근 방식을 선택할 수 있게 해준다.

이와 같은 플랫폼에는 예를 들어 대규모 추론을 위한 GPU의 가용성과 비용 등 다른 절충점도 존재한다. 링크드인 플랫폼에서 처음 구축된 애플리케이션은 채용 담당자가 역할에 맞는 후보자를 찾는 데 도움을 주기 위한 목적으로 설계됐으며, 전체적인 평가 프로세스의 대부분을 비동기적으로 처리하면서 에이전트 작업을 일괄 처리 프로세스로 취급해 리소스를 절약할 수 있다. 에이전틱 AI는 플랫폼에 유연성을 부여해서 예를 들어 고순위 후보자가 새로운 역할을 찾는데 관심이 있음을 표현하는 경우 즉시 이를 표시하고 채용 담당자에게 알릴 수 있다.

이 접근 방식의 핵심은 에이전틱 AI를 분산 애플리케이션으로 취급하는 것이다. 즉, 에이전트는 핵심 AI 애플리케이션에 의해 오케스트레이션되는 모듈로, 전체 워크플로우를 제어하고 이를 에이전트와 데이터 소스의 연결을 관리하는 라이프사이클로 취급한다.

링크드인의 프레임워크는 현대 AI가 지금 우리가 구축하는 나머지 코드와 구분해서 특별히 취급해야 할 무언가가 아님을 보여준다. 그보다는 기존의 관찰가능성 프레임워크에 포함된 클라우드 네이티브 분산 아키텍처를 이루는 또 하나의 구성 요소로 보는 것이 가장 타당하다. 그런 시각을 갖게 되면 챗봇을 넘어서는 AI의 다양한 용도로 시야를 넓힐 수 있다.
dl-itworldkorea@foundryco.com