생성형 AI가 점점 더 인기를 얻으면서, 이 기술이 에이전틱 AI(agentic AI)라는 새로운 세대의 머신러닝 기반 기술로 진화하고 있다.

에이전틱 AI는 단순히 모델에 질문을 던지고 답변을 얻는 한 단계 과정이 아니다. 복잡한 다단계 프로세스를 수행하며, 종종 원하는 결과를 달성하기 위해 다양한 시스템과 상호작용한다.

예를 들면, AI 기반 헬프 데스크 에이전트는 NLP를 통해 직원이 보내는 IT 지원 티켓을 이해하고 처리할 수 있다. 이런 에이전트는 자율적으로 비밀번호를 재설정하고 소프트웨어 업데이트를 설치하며, 필요시 인간 직원에게 티켓을 이관하는 작업을 수행할 수 있다.

에이전트는 AI 산업에서 가장 중요한 혁신 중 하나로, 미래 세대의 파운데이션 모델보다 더 큰 영향을 미칠 가능성이 있다. 가트너는 2028년까지 일상적인 업무 의사 결정의 최소 15%가 에이전틱 AI(agentic AI)에 의해 자율적으로 이루어질 것으로 예측하고 있다. 이는 2024년 기준 0%에서 증가한 수치다.

에이전트형 AI는 효율성 향상, 비용 절감, 그리고 IT 직원이 인간의 사고를 요하는 중요한 프로젝트에 집중할 수 있도록 해줄 가능성을 약속한다. 그러나 이런 기술에도 여러 도전 과제가 존재한다. 에이전틱 AI를 배포하기 전에, 기업은 시스템과 결과물의 신뢰성과 보안성에 영향을 미칠 수 있는 여러 문제를 사전에 해결할 준비를 해야 한다.

모델 논리와 비판적 사고

에이전틱 AI에서는 하나의 에이전트가 ‘플래너(planner)’ 역할을 하며, 여러 에이전트의 작업을 조율한다. 이 모델은 비판적 사고자(critical thinker) 기능을 제공해 플래너와 다양한 에이전트가 실행하는 지시 사항의 결과물을 평가하고 피드백을 제공한다. 생성되는 피드백이 많을수록 모델은 더 많은 인사이트를 얻고 더 나은 결과를 산출할 수 있다.

에이전틱 AI가 효과적으로 작동하려면 비판적 사고자 모델을 현실에 최대한 근접한 데이터로 훈련해야 한다. 즉, 모델에 구체적인 목표, 계획, 행동, 결과에 대한 방대한 정보를 제공하고 이를 바탕으로 많은 피드백을 제공해야 한다. 이 과정은 수많은 반복 작업을 요구할 수 있다. 모델이 비판적 사고자로서 역할을 수행하기에 충분한 데이터를 얻기까지는 수백 또는 수천 개의 계획과 결과를 반복 실행해야 할 수도 있다.

신뢰성과 예측 가능성

오늘날 사람이 컴퓨터와 상호작용하는 방식은 예측할 수 있다. 예를 들면 소프트웨어 시스템을 구축할 때 엔지니어는 컴퓨터에 단계별 지침을 작성해 정확히 무엇을 해야 하는지 명시한다. 그러나 에이전틱 AI 프로세스에서는 단계별 지침을 제공하지 않는다. 달성하고자 하는 결과를 제시하면 에이전트가 목표를 달성하는 방법을 스스로 결정한다. 소프트웨어 에이전트는 일정 수준의 자율성을 가지므로, 출력에 무작위성이 일부 포함될 수 있다.

이는 초기 챗GPT와 기타 LLM 기반 생성형 AI 시스템에서도 유사하게 나타났던 문제다. 그러나 지난 2년 동안 파인 튜닝, 인간 피드백 루프, 지속적인 모델 훈련 및 개선 작업 덕분에 생성형 AI의 일관성이 크게 향상됐다. 마찬가지로 에이전틱 AI 시스템의 무작위성을 줄이고 더 예측 가능하고 신뢰할 수 있도록 만들기 위해 유사한 수준의 노력이 필요할 것이다. 이를 통해 시스템의 안정성과 신뢰성을 확보할 수 있다.

데이터 프라이버시와 보안

일부 기업은 프라이버시와 보안 문제로 인해 에이전틱 AI 사용을 주저하고 있다. 이는 생성형 AI와 유사한 우려를 동반하지만, 더 심각한 경우도 있다. 예를 들어, 사용자가 LLM과 상호작용할 때, 모델에 입력된 모든 정보는 그 모델에 영구적으로 포함된다. 이를 나중에 “잊어달라”라고 요청할 방법은 없다.

프롬프트 인젝션과 같은 보안 공격은 이와 같은 특성을 악용해 모델이 기밀 정보를 유출하도록 시도한다. 소프트웨어 에이전트는 높은 수준의 자율성을 가지고 다양한 시스템에 액세스할 수 있기 때문에 더 많은 출처의 개인 데이터를 노출시킬 위험이 증가한다.

이 문제를 해결하려면 작게 시작해야 한다. 데이터를 가능한 한 컨테이너화하여 필요한 내부 도메인을 벗어나 노출되지 않도록 해야 한다. 또한 데이터를 익명화하고 사용자 정보를 감추며, 사회보장번호나 주소와 같은 개인 식별 정보(PII)를 프롬프트에서 제거한 후 모델에 전송해야 한다.

높은 수준의 에이전틱 AI 시스템은 다음 3가지 주요 유형으로 나눌 수 있다. 각 유형은 비즈니스 활용에 있어 보안에 미치는 영향이 다르다.

• 소비자용 에이전틱 AI(Consumer Agentic AI) : 내부 UI와 외부 AI 모델을 결합한 시스템. 기업은 AI 모델 자체를 제어할 수 없으며, 오직 데이터와 프롬프트를 제어할 수 있을 뿐이다. 외부 AI 모델과의 상호작용이 포함되므로, 데이터 유출 위험이 상대적으로 높다.
• 직원용 에이전틱 AI(Employee Agentic AI) : 내부 사용을 위해 기업 내부에서 구축한 시스템. 외부 모델을 사용하지 않아 위험이 적긴하지만, 여전히 회사 내 자격이 없는 사용자에게 민감한 정보를 노출할 가능성이 있다. 예를 들어, 기업이 내부 전용 GPT 유사 시스템을 구축해 사용할 경우, 접근 권한 관리가 중요하다.
• 고객 대상 에이전틱 AI(Customer-Facing Agentic AI) : 기업이 고객 서비스를 위해 구축한 시스템. 고객과의 상호작용에서 프라이버시 문제가 발생할 수 있으므로, 데이터 세그먼테이션이 잘 이루어져야 한다.

데이터 품질과 관련성

사용자와 데이터가 익명화된 후, 에이전틱 AI 모델은 사용자의 프롬프트에 맞는 품질 높은 데이터를 기반으로 결과를 제공해야 한다. 그러나 이는 상당한 도전 과제다. 생성형 AI 모델은 종종 정확한 최신 데이터와 연결되지 않아 기대에 미치지 못하는 결과를 산출하곤 한다. 에이전틱 AI 시스템은 다양한 플랫폼과 소스에서 데이터를 액세스해야 하므로, 추가적인 어려움에 직면할 수 있다.

이 문제를 해결하는 데 데이터 스트리밍 플랫폼이 유용할 수 있다. 이 플랫폼은 엔지니어가 고품질 데이터를 사용해 관련성 높은 답변을 생성할 수 있도록 돕는 도구를 제공한다. 예를 들어, 개발자는 아파치 카프카와 카프카 커넥트를 활용해 서로 다른 소스에서 데이터를 통합하고, 아파치 플링크(Flink)를 사용해 다른 모델과 데이터를 통신할 수 있다. 에이전틱 AI 시스템이 성공적으로 환각 문제를 극복하고 올바른 응답을 생성하려면 신뢰할 수 있고 최신 데이터에 기반을 두어야 한다.

ROI와 사람

AI는 여전히 많은 기업에 있어 새로운 영역이다. 도입을 위해서는 새로운 하드웨어와 GPU를 구매하고, 캐싱 및 단기·장기 저장소를 위한 새로운 메모리 관리 체계를 포함한 데이터 인프라를 구축해야 한다. 또한 사내에서 추론 모델을 구축해야 한다. 이를 위해 기업은 전문 기술을 보유한 새로운 인재를 채용하거나, 기존 직원에게 AI 관련 기술을 교육해야 한다. 초기 도입 기업의 경우 ROI가 가시화되기까지 시간이 걸릴 것이다.

이런 장애물에도 불구하고 에이전틱 AI는 생성형 AI가 확산된 것처럼 기업 전반에 걸쳐 확산될 전망이다. 이미 일부 AI 기술 제공업체가 이 방향으로 나아가고 있다. 예를 들어, 깃허브 코파일럿은 단순히 특정 코딩 프로세스를 자동화하는 것에서 벗어나 코드 작성 및 테스트를 수행하는 에이전틱 방식으로 발전하고 있다.

에이전틱 AI의 혜택을 누리기 전에 데이터 품질, 데이터 프라이버시, 신뢰성, 모델 논리와 같은 문제를 해결할 준비가 되어 있어야 한다. 또한 초기 단계에서 상당한 투자를 감당할 준비도 필요하다. 그러나 에이전틱 AI가 비즈니스에 미칠 잠재적 영향은 생성형 AI에서 얻을 수 있는 이점을 훨씬 넘어설 것이다.

*Adi Polak은 Confluent의 옹호 및 개발자 경험 엔지니어링 담당 이사다.
dl-itworldkorea@foundryco.com