보안 CDN으로 잘 알려진 네트워크 서비스 업체 클라우드플레어가 연결성, 보안, 중단 빈도, 기기 사용량 및 기타 다양한 트렌드에 대한 인사이트를 제공하는 자사의 5번째 연례 인터넷 레이더 보고서를 발표했다. 보고서에 따르면, 전 세계 인터넷 트래픽은 올해에만 17.2% 증가했다.

트래픽 증가의 원인 중 하나는 AI 크롤러로, 웹을 스캔하고 방대한 양의 데이터를 수집해 LLM을 학습시키기 때문에 점점 더 많은 감시를 받고 있다. 우려되는 점은 일반적으로 검색엔진에서 제공하고 정체를 투명하게 밝히는 “검증된” 좋은 봇(예: GoogleBot, GPTBot, Qualys, BingBot)과 달리, 일부 봇은 데이터를 가져가지 않아야 할 때에도 데이터를 가져간다는 것이다.

클라우드플레어는 AI 봇 트래픽을 추적해 가장 공격적인 봇, 요청량이 가장 많은 봇, 정기적으로 크롤링을 수행하는 봇을 파악한다. 연구팀은 과도한 트래픽을 생성하는 것으로 악명 높은 봇인 “facebookexternalhit”이 연중 가장 많은 트래픽(27.16%)을 차지했으며, 그다음으로 Bytespider(틱톡 소유자 ByteDance)가 23.35%, Amazonbot(13.34%), Anthropic의 ClaudeBot(8.06%), GPTBot(5.60%)이 뒤를 이었다고 밝혔다.

흥미로운 점은 Bytespider 트래픽은 점차 감소해 연초 대비 약 80~85% 감소한 반면, 앤트로픽의 ClaudeBot 트래픽은 한 해 중반에 급증했다가 평준화되었다는 점이다. 반면, GPTBot 트래픽은 2024년 내내 꽤 일관되게 유지됐다.

HTTP는 1996년에 처음 표준화된 데이터 전송 표준으로, HTTP/2는 2015년에, HTTP/3은 2022년에 발표됐다. 클라우드플레어는 여전히 웹 요청의 거의 절반(49.6%)을 HTTP/2가 차지하고 있으며, 29.9%는 구형 HTTP/1을, 20.5%는 HTTP/3을 사용한다고 밝혔다.

클라우드플레어는 또한 네트워크 기기 간의 안정적인 데이터 전송을 보장하는 또 다른 중요한 통신 표준인 TCP도 면밀하게 추적하고 있다. 조사에 따르면, TCP 연결의 20.7%가 데이터 교환 전에 예기치 않게 종료되는 것으로 나타났다. 클라우드플레어는 서비스 거부(DoS) 공격, 네트워크 스캐닝, 클라이언트 연결 끊김, 연결 변조 또는 “기이한 클라이언트 동작”으로 인해 TCP 이상 현상이 발생할 수 있다고 지적했다.

클라우드플레어가 확인한 TCP 연결 종료의 가장 큰 비중은 ‘동기화 후’, 즉 서버가 동기화 요청을 받은 후 승인을 받기 전에 발생했다.

보안 측면에서 클라우드플레어는 올해 전송된 수조 개의 이메일 중 평균 4.3%가 악의적인 이메일이라는 사실을 발견했다. 악성 이메일에는 사기성 링크(42.9%)와 사기성 신원(35.1%)이 가장 흔하게 포함되어 있었다. 두 가지 수법은 연중 다른 시기에 분석된 이메일의 최대 70%에서 발견됐다.

클라우드플레어는 Log4j 취약점이 다른 일반적인 취약점 및 노출(CVE)에 비해 4배에서 100배까지 더 활발하게 활동하는, 여전히 검증된 공격 방법이라고 지적했다. 또한 클라우드플레어가 처리한 .bar(바 및 펍), .rest(레스토랑), .uno(라틴 아메리카) 도메인의 이메일 메시지 중 거의 100%가 스팸이거나 명백한 악성인 것으로 밝혀졌다.

7월에 발생한 인터넷 중단 사태가 의심할 여지 없이 역사상 가장 큰 규모였지만, 클라우드플레어는 실제로 올해 전 세계에서 225건의 주요 인터넷 중단 사고가 발생했다고 지적한다. 이 중 대부분은 아프리카, 중동, 인도에서 발생했다.

이런 중단의 절반 이상이 정부 주도의 폐쇄로 인한 것이었으며, 그 외에는 케이블 절단, 정전, 기술적 문제, 날씨, 유지보수, 사이버 공격으로 인한 것이었다. 클라우드플레어는 7월에 방글라데시에서 10일 이상 지속된 것과 같이 단시간(단 몇 시간만 지속)에 그친 경우도 많았지만, “며칠 또는 몇 주 동안 지속된” 경우도 있었다고 보고했다.

클라우드플레어는 업로드 속도, 다운로드 속도, 유휴 대기 시간, 로드 대기 시간을 기준으로 전 세계 국가별 인터넷 품질 순위를 매겼다. 292.6Mbps의 다운로드 속도와 192.6Mbps의 업로드 속도를 자랑하는 스페인이 1위를 차지했으며, 모든 상위 국가는 200Mbps 이상의 다운로드 속도를 제공하는 것으로 조사됐다.

기기별로는 전 세계 인터넷 트래픽의 41.3%는 모바일 기기에서, 58.7%는 노트북과 PC를 통해 접속하는 것으로 나타났다. 그러나 전 세계 약 100개 지역에서는 대부분의 트래픽이 모바일 기기에서 발생했다. 쿠바와 시리아의 모바일 기기 트래픽 점유율이 가장 높았으며(77% 차지), 중동/아프리카, 아시아 태평양, 중남미 등 기타 수요가 높은 지역에서도 모바일 기기의 트래픽 점유율이 높았다.
dl-itworldkorea@foundryco.com