생성형 AI는 전통적인 IT 딜레마를 안고 있다. 제대로 작동할 때는 놀라울 만큼 다재다능하고 유용해 거의 모든 일을 할 수 있다는 기대감을 키운다.

문제는 생성형 AI가 제대로 작동하지 않을 때다. 틀린 답을 내놓거나 주어진 지시를 무시하고 마치 모든 SF 공포 영화의 시나리오를 현실로 옮겨놓은 듯한 상황을 만들 수 있다. 그래서 필자는 최근 오픈AI가 ‘모델 컨텍스트 프로토콜(Model Context Protocol, MCP)’을 통해 자사 생성형 AI 모델이 거의 모든 소프트웨어에 쉽게 접근할 수 있도록 변경됐다고 발표했을 때 충격을 금치 못했다.

오픈AI는 “리스폰스 (Responses) API에서 원격 MCP 서버를 지원하도록 기능을 확장하고 있다. 이는 앞서 MCP를 지원하도록 에이전트(Agents) SDK를 확장한 데 이은 조치다. MCP는 애플리케이션이 LLM에 맥락을 제공하는 방식을 표준화한 개방형 프로토콜이다. 리스폰스 API에서 MCP 서버를 지원함으로써 개발자는 어떤 MCP 서버에 호스팅된 도구든 몇 줄의 코드만으로 자사 모델과 연결할 수 있다”라고 설명했다.

페이팔, 스트라이프, 쇼피파이, 스퀘어, 슬랙, 퀵북스, 세일즈포스, 구글 드라이브 등 대중적인 앱을 보유한 기업을 포함해, 많은 기업이 MCP를 도입하겠다고 공식적으로 밝혔다.

생성형 AI LLM이 더 많은 애플리케이션과 데이터를 연동하고 관련 작업을 수행하는 능력은 매력적으로 들린다. 하지만 상당히 위험한 일이기도 하다. LLM이 규제 및 컴플라이언스와 관련한 민감한 데이터에 무분별하게 접근할 수 있게 되며, 단 한 번의 실수로 고객에게 심각한 피해를 줄 수 있기 때문이다. MCP는 생성형 AI 도구가 해당 앱을 제어할 수 있도록 만드는 것이므로 위험 수준을 기하급수적으로 높일 수 있다.

생성형 AI가 기본적인 역할조차 안정적으로 수행하지 못하는 상황에서, 이 기능을 다른 앱으로 확장하자는 발상을 어떻게 납득할 수 있을까?

라스트패스(LastPass) CTO이자 CSO인 크리스토퍼 호프는 링크드인을 통해 상식에 호소하는 글을 올렸다.

호프는 “열정은 정말 반갑다. 표준화된 인터페이스를 활용해 엔드투엔드 워크플로우를 자동화하는 것은 직접 하드코딩하는 것보다 훨씬 훌륭하다. 하지만 머리 속의 지미니 크리켓은 비명을 지르고 있다. 악의적인 행위자는 이 기술을 분명 반길 것이다. MCP가 있는데 맬웨어가 필요하겠는가? TCP/IP처럼 MCP도 또 하나의 우연한 성공으로 기록될 가능성이 높다. 최근 한 행사에서 앤트로픽이 예상보다 높은 도입 속도에 놀랐다고 밝힌 바 있다. 하지만 TCP/IP처럼 MCP도 구조적인 결함이 있으며, 앞으로 수년간 온갖 임시방편식 패치가 뒤따를 것이다”라고 말했다.

ID 보안 업체 세일포인트 CISO 렉스 부스는 호프의 우려가 타당하다며 “민감한 데이터 소스와 에이전트를 연결하려 한다면, 매우 강력한 보호 장치를 마련해야 한다”라고 말했다.

하지만 앤트로픽이 직접 인정했듯, 생성형 AI 모델은 스스로 설정한 가드레일조차 따르지 않을 때가 있다.

쿼리팔(QueryPal) CEO 데브 나그는 데이터 사용과 관련한 문제가 불가피하게 발생할 것이라며 “모델이 어떤 파일을 볼 수 있고, 어떤 파일은 볼 수 없는지 명확히 지정해야 한다. 실제로 그렇게 지정할 수 있어야 한다. 하지만 우리는 이미 LLM이 그걸 완벽히 해내지 못한다는 사실을 알고 있다. LLM은 환각을 일으키고, 잘못된 추론을 하기도 한다”라고 지적했다.

나그는 IT 의사결정권자가 이런 위험을 잘 알고 있거나 최소한 인지하고 있어야 한다고 주장했다. “이건 API 위험과 똑같다. 외부 업체의 코드가 접속할 수 있도록 API를 열어두면, 그 코드는 무엇이든 할 수 있다. MCP는 말하자면 ‘스테로이드를 맞은 API’와 같다. AI가 핵심 재무 데이터를 들여다보고, 회계 정보까지 바꿀 수 있게 만드는 건 아무도 원하지 않을 것”이라고 덧붙였다.

가장 효과적인 방어는 통신 양쪽의 가드레일을 신뢰하는 것이 아니라, 양측 모두에게 명확한 접근 제한 지침을 전달하는 데 있다. 예를 들어 모델이 구글 문서에 접근하려는 상황을 가정했을 때, 양측에 동시에 제한 지침을 전달하는 이중 지시 방식만이 현실적인 해법이라는 설명이다.

나그는 “구글 문서 쪽에서는 LLM으로부터의 호출을 수락할 수 없다는 지침이 명확히 적용돼야 한다. LLM 측에서는 “업무 문서는 열람 대상이지만, 재무 문서는 제외한다”라는 의도를 명확히 전달해야 한다”라고 설명했다.

MCP의 상호작용성이라는 개념 자체는 매우 훌륭하다. 하지만 가까운 시일 내에 이를 안정적으로 구현할 수 있을지는 의문이다.
dl-itworldkorea@foundryco.com