AI 에이전트 개발 경쟁이 본격적으로 시작됐다. PwC가 2025년에 실시한 조사에 따르면, 전 세계 기업 약 80%가 이미 AI 에이전트를 도입하고 있는 것으로 나타났다. 또한 이들 에이전트는 데이터에 대한 끝없는 욕구를 보인다. 트레이닷에이아이(Tray.ai)가 2024년에 발표한 연구에 따르면, 기업의 42%가 AI 에이전트를 성공적으로 배포하기 위해 최소 8개 이상의 데이터 소스에 접근해야 한다고 응답했다.

웹 데이터 수집 플랫폼 브라이트 데이터(Bright Data)의 CEO 오르 렌크너는 “AI는 데이터에 의존한다. 그리고 현재 전체 데이터의 90%가 비정형 데이터이기 때문에 AI 에이전트가 필요한 기업 데이터를 효율적으로 가져올 수 있는 인터페이스를 만드는 것이 중요하다”라고 말했다.

LLM은 최근 RAG(Retrieval-Augmented Generation) 기법을 통해 더 정교해지고 있다. 이 방식은 AI가 응답을 생성하기 전에 외부 소스를 검색해 정보를 보강하는 기술이다. 최근에는 웹상에서 인간의 행동을 흉내낼 수 있는 새로운 형태의 스크래핑 및 브라우저 자동화 도구들도 등장하고 있다.

예를 들어 웹 MCP(Web MCP)는 모델 컨텍스트 프로토콜(Model Context Protocol, MCP) 서버로, AI 에이전트가 CAPTCHA를 우회하고, 화면 내 브라우저 자동화를 수행하며, 공개 웹 소스에서 실시간 데이터를 수집할 수 있도록 지원한다. 이 밖에도 MCP 서버, 브라우저 자동화 프레임워크, 스크래핑 API 등 유사한 기능을 제공하는 다양한 툴이 있다. 대표적으로 브라우저 유스(Browser Use), 플레이라이트(Playwright), 퍼피티어(Puppeteer), 스크래핑비(ScrapingBee), 에이피파이(Apify) 등이 있다.

챗GPT, 제미나이, 클로드와 같은 생성형 AI 모델은 공개된 웹 콘텐츠를 일부 학습했으며, 실행 시점에도 검색 또는 브라우징 도구를 이용해 최신 웹 정보를 불러올 수 있다. 반면 공식 API는 비용이 높고, 호출 제한이 있으며, 도입 과정에서 시간이 걸린다는 단점이 있다. 그렇다면 AI 에이전트가 온라인에 존재하는 데이터를 그대로 스크래핑해 주요 데이터 소스로 사용하는 것이 왜 문제가 될까?

소셜미디어를 한 번이라도 사용해본 사람이라면 잘 알고 있듯 공개 데이터에는 부정확한 정보, 편향, 그리고 유해한 콘텐츠가 뒤섞여 있다. 스크래핑은 빠르고 무료이며, 어디서나 접근 가능하지만 동시에 매우 문제가 많은 방식이다. 결국 그것은 기계가 아닌 인간을 위한 페이지나 애플리케이션 구조에 의존한다는 점에서 근본적인 한계를 지닌다.

반면 API는 인증된 접근 방식을 통해 내부 및 비공개 통합 지점에서 데이터를 가져오기 때문에 더 높은 구조화와 안정성을 보장한다.

따라서 AI 에이전트를 구축하는 개발자에게 오래된 딜레마가 다시 떠오른다. 스크래핑할 것인가, 통합할 것인가. 기술적 양자택일 대부분이 그렇듯, 답은 “상황에 따라 다르다”이다. 두 방식 모두 장단점이 존재하며, 각각의 비용이 따른다. 여기서는 두 접근법의 장단점을 실용적인 관점에서 비교해보고, 어떤 상황에서 어떤 선택이 최선일지를 살펴본다.

AI 에이전트에 외부 데이터가 필요한 이유

AI 에이전트는 종종 특정 작업을 수행하기 위해 데이터 접근이 필요하다. 이를 위해 내부 지식베이스가 조직의 맥락 정보를 제공할 수 있지만, 내부 데이터만으로는 충분하지 않은 경우가 많다. 진정한 가치를 제공하기 위해서는 외부 데이터가 필수적이다.

브라이트 데이터의 렌크너는 “실시간 외부 데이터가 없는 에이전트는 학습 시점에 멈춰버린 상태와 같다. 오늘의 가격, 재고, 정책, 연구 결과, 혹은 최신 이슈를 이해할 수 없다”라고 설명했다.

여러 전문가에 따르면, AI 에이전트는 공개 웹 데이터부터 통합된 파트너 데이터에 이르기까지 다양한 실시간 정보로부터 이점을 얻는다. 유용한 외부 데이터에는 상품 및 재고 정보, 배송 상태, 고객 행동과 이력, 채용 공고, 학술 논문, 뉴스와 여론, 경쟁사 분석, 업계 동향, 그리고 규제 준수 관련 업데이트 등이 포함될 수 있다.

고품질의 외부 데이터를 확보하면 AI 에이전트는 훨씬 더 실질적인 행동 능력을 갖게 된다. 복잡한 의사결정을 수행하거나 여러 주체가 얽힌 흐름 속에서도 능동적으로 대응할 수 있게 되는 것이다. 세일즈팀을 위한 AI 에이전트를 개발한 어베어AI(AvairAI)의 공동 설립자이자 CEO인 디팍 싱은 “이것이 바로 자율적 운영을 가능하게 하는 핵심 요소”라고 설명했다.

실시간 외부 데이터 연결은 다음과 같이 가시적인 결과를 만들어내는 자율적 행동을 가능하게 한다.

• 실시간 신용 검증을 통한 대출 승인
• 규제 준수 문서 검증
• 여러 시스템에 걸친 고객 정보 확인
• 시장 심리를 반영한 금융 분석
• 실시간 교통 상황이나 물류 창고 용량을 고려한 배송 조정
• 개별 사용자 선호도에 기반한 맞춤형 응답 제공

디지털 제품 엔지니어링 업체 R시스템즈(R Systems)의 데이터·AI 부문 부사장 니라즈 아브얀카르는 “중요한 것은 단순히 에이전트에 더 많은 데이터를 주는 것이 아니다. 적절한 시점에 올바른 데이터를 제공함으로써 최상의 결과를 이끌어내는 것이 핵심이다”라고 말했다.

웹 데이터를 수집해야 하는 경우

그렇다면 AI 에이전트는 외부 데이터를 어떻게 가져와야 할까? 한 가지 방법은 소셜미디어 피드나 상품 카탈로그처럼 공개된 웹 소스에서 데이터를 스크래핑하는 것이다. 이는 일반적으로 스크래핑 도구, 브라우저 자동화, 혹은 프록시 네트워크를 사용해 공개 웹사이트의 HTML에서 데이터를 추출하는 과정을 의미한다.

스크래핑의 장점은 범위, 최신성, 독립성이다. 렌크너는 “스크래핑을 통해 공개 웹의 롱테일 영역까지 도달할 수 있고, 데이터를 지속적으로 업데이트하며, 단일 업체 종속성을 피할 수 있다”라고 설명했다.

오늘날의 스크래핑 도구는 에이전트에게 훨씬 더 정교한 제어 능력도 제공한다. 렌크너는 “실시간 웹에 연결된 에이전트는 동적 사이트를 탐색하고, 자바스크립트를 렌더링하며, 스크롤이나 클릭, 페이지 넘김 같은 작업은 물론 여러 단계를 거치는 복합적인 작업도 인간처럼 수행할 수 있다”라고 덧붙였다.

스크래핑은 파트너십 계약 협상이나 API 승인 절차를 기다리지 않고도 공개 데이터를 신속하게 확보할 수 있게 한다. 또한 API 통합에 흔히 따르는 호출 단가 문제를 피할 수 있으며, 공식적인 통합 지점이 존재하지 않을 때는 사실상 유일한 대안이 되기도 한다.

클라우드 데이터 관리 업체 인포매티카(Informatica)의 AI 및 메타데이터 부문 부사장 가우라브 파탁은 “많은 기업이 사용자 생성 데이터를 값비싼 API 뒤에 가두고 있다. 스크래핑은 그 제한을 우회할 수 있는 대안적 경로를 제공한다”라고 강조했다.

그러나 스크래핑에는 단점도 많다. 첫 번째가 데이터 품질 문제다. AI 인프라 업체 미니오(MinIO)의 AI·ML 솔루션 엔지니어 키스 피자노프스키는 “스크래핑한 데이터를 전처리하는 과정은 혼란스럽고 부정확하기 쉽다”라고 지적했다.

어베어AI의 싱은 “그건 마치 모래 위에 기반을 세우는 것과 같다”라고 비유했다. “웹사이트는 예고 없이 레이아웃을 바꾸어 스크래퍼를 무력화시키고, 서비스 약관을 위반할 경우 법적 문제에 휘말릴 위험이 있다. 또 요청 제한과 CAPTCHA는 끊임없는 기술적 전투를 만들어낸다”라는 설명이다.

스키마, 맥락, 데이터 검증이 부족하면 AI 에이전트가 잘못된 공개 데이터를 수집할 위험이 높아지고, 이는 불필요한 엔지니어링 자원 낭비로 이어진다. 싱은 “어베어AI는 기업이 정식 통합 방식보다 스크래퍼 유지 관리에 더 많은 비용을 쓰는 사례를 여러 번 봤다”라고 말했다.

법적 리스크를 지적하는 목소리도 있다. 지능형 데이터 관리 플랫폼을 제공하는 콤프라이즈(Komprise)의 공동 창립자이자 COO 크리슈나 수브라마니안은 “기업은 스크래핑을 통해 생성된 AI를 사용하는 데 주저한다. 파생 저작물 형태로 법적 책임을 떠안을 수 있기 때문”이라고 말했다.

이처럼 스크래핑은 구조적 불안정성 때문에 일관성과 규제 준수가 필수적인 핵심 프로덕션급 에이전트 시스템에는 적합하지 않다. 대신 다음과 같은 보조적 영역에서 사용하는 것이 바람직하다.

• 개념 검증(PoC)
• 비핵심 데이터
• 경쟁 시장 조사
• 명확히 공개된 데이터의 합법적 수집
• 사이드 프로젝트
• 공식 통합 지점이 존재하지 않는 경우

통합이 답인 순간들

또 다른 방법은 AI 에이전트가 공식 통합 지점(official integration points)을 통해 외부 데이터를 가져오는 것이다. 여기에 REST, GraphQL, SOAP 기반 API를 통한 구조화된 응답, 웹훅을 이용한 이벤트 기반 업데이트, 혹은 공식 MCP 서버를 통한 접근이 포함된다.

이 방식은 스크래핑보다 초기 설정 과정이 더 복잡하고 시간이 걸리지만, 일반적으로 더 높은 품질의 데이터를 제공하며 법적 문제를 피할 수 있다. 또한 예측 가능성이 높다. API는 보통 명세를 기반으로 동작하며, 서비스 수준 협약(SLA)에 의해 보장되고, 버전 관리를 통해 시스템 변경에 따른 오류를 최소화한다.

인포매티카의 파탁은 “공식 통합 방식에 의존하는 것은 긍정적일 수 있다. 안정적인 API 계약을 기반으로 깨끗하고 구조화된, 예측 가능한 고품질 데이터를 제공하기 때문이다. 또한 명확한 이용 약관 하에서 운영되기 때문에 법적 명확성과 리스크 완화 측면에서도 보호받을 수 있다”라고 말했다.

R시스템즈의 아브얀카르는 “API, 웹훅, 혹은 보안 파일 전송을 통한 공식 통합은 안정성, 추적 가능성, 그리고 규제 준수를 보장한다. 특히 헬스케어나 금융 서비스처럼 감사 가능성이 중요한 분야에서는 신뢰할 수 있는 데이터 교환이 필수적이다”라고 설명했다.

엔터프라이즈급 에이전트 경험에서 안정성의 중요성을 강조하는 시각도 있다. 어베어AI의 싱은 “에이전트가 수백만 달러 규모의 결정을 내리는 상황이라면, 신뢰할 수 있는 데이터와 책임을 물을 수 있는 업체가 필요하다. 공식 통합은 기업이 필요로 하는 안정성을 제공한다”라고 말했다.

반면 공식 통합에는 광범위한 AI 활용례에서 한계를 만드는 단점도 존재한다. 플랫폼 소유자가 엄격한 데이터 모델이나 제한적인 호출 규칙을 적용해 API 접근을 제약할 수 있기 때문이다. 브라이트 데이터의 렌크너는 “API는 웹상에서 공개적으로 보이는 필드를 생략하거나, 지연된 데이터를 제공하거나, 언제든 접근 권한을 취소할 수도 있다”라고 지적했다.

여기에 시간과 조직 내부의 정치적 요인도 문제로 작용한다. 특히 심층적인 파트너 통합의 경우 이 과정은 더욱 길어진다. 싱은 “API 접근 권한을 얻기 위해 몇 달 동안 파트너십 협상을 이어가야 하는 경우도 많다”라고 말했다.

접근 권한이 부여되더라도, 그것이 영구적이라는 보장은 없다. 지난 수년 동안 개발자들은 인스타그램, 슬랙, 세일즈포스, 빙, 레딧, 스포티파이, 마블 등 여러 공공 플랫폼에서 API 접근 제한이나 서비스 종료를 반복적으로 경험해왔다. 일부 데이터 업체는 실시간 API를 아예 제공하지 않고, 여전히 배치 기반 SFTP 파일 전송 방식에 의존하기도 한다.

비용 역시 주요한 문제다. 미니오의 피자노프스키는 “비용은 가장 큰 단점이다. 고품질 데이터는 거의 항상 높은 가격표를 달고 온다”라고 말했다. 실제로 X나 구글 지도 같은 플랫폼의 갑작스러운 API 요금 인상은 그동안 많은 개발자들이 우회 방식을 찾게 만든 주요 원인이었다.

공식 통합 방식은 API별 맞춤 개발과 유지보수가 필요하고, 인증 및 권한 부여 설정 등 추가적인 구성도 요구된다. 그럼에도 대부분 전문가는 더 높은 신뢰성, 거버넌스, 규제 준수를 얻는 대가로 이런 절충을 감수할 가치가 있다고 본다.

스크래핑과 비교했을 때 공식 통합은 훨씬 성숙하고 통제된 형태의 데이터 수집 방식이며, 다음과 같은 에이전트 활용 시나리오에 특히 적합하다.

• 미션 크리티컬 운영
• 파트너 생태계
• 장기적인 일관성이 필요한 상황
• 공개 데이터가 필요하지 않은 트랜잭션 워크플로
• SLA가 요구되는 엔터프라이즈 애플리케이션
• 금융 및 헬스케어 데이터
• 개인식별정보(PII)

스크래핑과 API 통합, 선택의 기준은 ‘상황’이다

AI 에이전트는 이제 고객 지원 데스크부터 비즈니스 워크플로, 코딩 보조 도구에 이르기까지 매우 다양한 영역에 걸쳐 활용되고 있다. 솔트 시큐리티(Salt Security)의 2025 AI 에이전트 보고서에 따르면, 이러한 다양성 때문인지 전체 조직의 절반 가까이가 6종에서 20종 사이의 AI 에이전트를 동시에 운영하고 있는 것으로 나타났다.

또한 AI 에이전트의 활용은 산업 전반에 고르게 확산되고 있다. 맥킨지가 2025년에 발표한 연구에 따르면, AI 에이전트는 IT와 지식 관리 분야에서 가장 활발하게 사용되고 있으며, 산업별로는 기술, 미디어·통신, 헬스케어 분야에서 채택률이 가장 높았다.

AI 에이전트가 이렇게 다양한 목적과 도메인, 산업에 걸쳐 사용되기 때문에 모든 시나리오에 들어맞는 단일 데이터 전략을 정하기는 어렵다. 그럼에도 전문가들은 상황에 따라 어느 접근 방식이 더 합리적인지에 대한 명확한 기준이 존재한다고 말한다.

파트너 생태계 안에서 운영하고 있거나 비공개 데이터를 다루며, 금융 혹은 헬스케어 관련 정보를 처리하는 경우라면 공식 통합 방식이 명백한 선택이다. 반면, 최신 뉴스·시장 동향·소셜미디어 데이터를 수집해 활용해야 하는 스타트업이라면 이야기가 달라진다.

그렇다고 스크래핑이 공개 데이터를 얻는 유일한 방법이거나 최선의 방법이라는 뜻은 아니다. 예를 들어, 영국 IT 매체 더 레지스터(The Register)에 따르면 주요 AI 기업은 위키미디어 재단의 엔터프라이즈급 API를 통해 위키피디아의 공개 데이터 세트를 활용하고 있다. 동시에 클라우드플레어가 AI 크롤러의 기본 접근을 차단하기로 한 결정은, 업계 전반이 무제한 스크래핑에서 통제된 접근 방식으로 전환하고 있다는 흐름을 보여준다.

이 두 접근법의 차이를 리스크 감내 수준으로 설명할 수도 있다. 어베어AI의 싱은 “오류가 금전적 손실이나 평판 훼손, 혹은 규제 위반으로 이어질 가능성이 있다면 공식 채널을 사용해야 한다. 결정 과정에서 보조 데이터를 활용하는 수준이라면 스크래핑으로도 충분할 수 있다”라고 말했다.

이런 관점에서 보면 웹 스크래핑은 AI 에이전트를 위한 보조적 강화 수단에 가깝다. 법적으로 허용되는 범위 내에서 통합이 어려운 공개 데이터를 추가해 문맥을 확장하는 역할을 한다. 반면 전통적인 통합 방식은 실제 행동과 자율적 의사결정을 이끄는 핵심적이고 신뢰할 수 있는 데이터 소스에 해당한다.

두 방식을 병행해 관리하기 위한 하이브리드 접근법과 미들웨어도 등장하고 있다. R시스템즈의 아브얀카르는 “R시스템은 문맥에 따라 스크래핑과 통합 방식을 동적으로 전환하는 에이전트 계층을 구축했다. 에이전트는 가시성을 확보하기 위해 공개 데이터를 활용하는 동시에, 내부 동기화를 위해 API에 의존하도록 설계돼 있다”라고 설명했다.

이터 전략의 토대는 어디에 둘 것인가

에이전틱 AI가 확산하면서 그 기반이 되는 데이터 전략이 점점 더 중요해지고 있다. 개발자가 데이터 접근 방식을 에이전트에 어떤 형태로 고정하느냐에 따라 장기적으로 정확성, 신뢰성, 그리고 규제 준수 수준이 달라진다.

R시스템즈의 아브얀카르는 “외부 데이터를 수집할 때 중요한 것은 한 방법을 다른 방법보다 택하는 문제가 아니다. 데이터 전략을 비즈니스 목표, 운영 현실, 그리고 규제 요구사항과 일치시키는 것이 핵심”이라고 말했다.

콤프라이즈의 수브라마니안은 “공식 통합 방식은 엔터프라이즈 환경을 위해 설계된 접근법으로, 거버넌스와 감사, 정책 집행 측면에서 더 나은 지원을 제공한다. 이는 기업의 활용 구조에 맞게 잘 설계된 장기적 전략”이라고 강조했다.

다른 전문가들도 이에 동의했다. 구조화된 접근 방식이 스크래핑이라는 불안정한 기반보다 훨씬 탄탄한 토대를 제공한다는 것이다. 어베어AI의 싱은 “스크래핑에 의존해 운영을 구축하는 것은 마치 남의 땅 위에 허락도 없이 집을 짓는 것과 같다”라고 비유했다.

싱은 “단순한 접근 권한만으로는 충분하지 않다. 신뢰할 수 있고 정확하며 실시간으로 갱신되는 데이터가 필요하다”라고 강조했다.
dl-itworldkorea@foundryco.com