이상 탐지(Anomaly Detection)는 기존의 행동 패턴에서 크게 벗어나는 데이터 지점이나 이벤트를 식별하는 분석 기법이다. 사이버보안 분야에서 이상 탐지는 반드시 강화해야 할 핵심 방어 역량으로, 악성 사이버 이벤트가 자리 잡고 확산하기 전에 신속히 감지하고 대응할 수 있도록 돕는다.

사이버보안에서 이상 탐지 개념은 수학자 도로시 데닝이 1987년 발표한 논문 ‘침입 탐지 모델(An Intrusion-Detection Model)’에서 처음 제안했다. 데닝은 암호 격자(encryption lattices) 개념을 개척한 인물이기도 하다. 이후 정보 보안 전문가들과 사이버보안 업체들은 데닝의 개념을 방어 기법, 보안 실무, 제품에 적용하며 발전시켜 왔다.

사이버보안 업체 턴게이트(Turngate)의 CEO 브루스 포터는 “이상 탐지는 사이버 탐지 분야에서 성배와도 같은 존재다. 제대로 구현할 수 있다면 미리 탐지해야 할 악성 요소를 알 필요조차 없다. 이상 탐지는 다른 것과 달라 보이거나, 원래 그래야 할 모습이 아닌 것을 식별하는 방식이다. 보안 업계는 1980년대부터 이 개념을 탐구했다. 기업 내부에서 발생하는 모든 위협을 찾아내기 위해 정상적인 상태가 무엇인지 파악하고 그로부터 벗어난 이상치를 감지하려는 시도를 계속해 왔다”라고 말했다.

오늘날 CISO는 기존의 보안 솔루션이 어떤 방식으로 악성 이벤트를 탐지하는지 파악하고 이해해야 한다. 그런 다음, 필요하다면 이상 탐지 역량을 강화해 보안팀이 더욱 효과적으로 위협 패턴을 감지할 수 있도록 해야 한다. 동시에 경보 피로(alert fatigue)로 인한 피로를 최소화하는 전략도 고려해야 한다.

무엇이 이상 징후인가?

이상(anomaly)이란 시스템이나 네트워크에서 발생하는 일상적인 행동 또는 이벤트에서 벗어난 모든 것을 의미한다. 트래픽 급증, 유휴 상태여야 할 서버의 활발한 활동, 특정 자산에서 비정상적인 IP 주소의 트래픽 증가 등이 해당한다. 이런 이상 징후를 신속하게 식별하면 보안팀이 잠재적인 공격의 초기 신호를 포착하는 데 도움이 될 수 있다.

IBM 컨설팅(IBM Consulting)의 글로벌 위협 관리 파트너 겸 포트폴리오 리더인 맷 슈라이너는 IBM을 포함한 사이버보안 관련 기업 대부분은 ‘이상’을 보안 위협과 연관 짓는 경우가 많다고 말했다. 다만 “모든 이상이 반드시 나쁜 것은 아니다. 일부 이상 현상은 아키텍처 최적화 기회나 비즈니스 전략 개선점 발견에 도움을 줄 수 있다. 가령 소매업에서는 계절별 수요 변화에 맞춰 운영 방식을 조정하는 등의 기회로 활용된다”라고 설명했다.

이상 탐지에서 사이버보안 툴의 역할

비록 고급 수학 개념을 기반으로 하지만, 이상 탐지 또는 NIST 사이버보안 프레임워크 2.0에서 말하는 “악성 사건 분석(adverse event analysis)”은 지난 20년 동안 EDR(endpoint detection and response), 방화벽, SIEM(security information and event management) 툴을 비롯한 다양한 사이버보안 툴에 통합됐다.

턴게이트의 포터는 “일반적으로 탐지 대상은 2가지로 나눌 수 있다. 하나는 이미 알려진 위협을 찾는 것이고, 다른 하나는 악성일 가능성이 있는 것을 찾는 것이다. 알려진 위협은 보통 시그니처 기반으로 작동하며, 특정 파일이나 시스템에서 발생한 정확한 이벤트를 인식하면 이를 악성으로 판단한다. 알려진 위협은 기본적인 사이버보안 툴로 탐지할 수 있다”라고 설명했다.

포올시큐어(ForAllSecure) CEO 데이비드 브럼리는 “오늘날 가장 저가형 업체의 방화벽을 구매하더라도 어느 정도의 이상 탐지 기능이 포함돼 있을 것”이라고 말했다. 브럼리에 따르면, 네트워크 계층에서 작동할 수도 있고 일반적으로는 WAF(web application firewall)가 침입 탐지를 수행하는 경우가 많다. 예를 들어 ‘이것은 악성 SQL 인젝션 패킷처럼 보인다’라는 식으로 동작한다. CISO가 직접 신경쓰지 않아도 되는 부분이다.

포터는 EDR 시스템이 알려진 악성 이상 징후를 대부분, 혹은 거의 전부 엔트포인트에서 탐지한다고 말했다. “솔직히 말해, 대부분 기업은 엔드포인트 보안 문제를 해결한 상태다. 기본적인 보안 역량이 있는 기업이라면 EDR을 사용하고 있을 것이다. 만약 이를 우회하는 위협이 발생한다면, 이는 거의 예외적인 경우일 뿐이다”라고 덧붙였다.

한편 데이터독의 보안 책임자인 앤드류 크루그는 현재 보안팀이 인프라에서 이상 행동을 탐지하는 주요 수단으로 SIEM을 꼽았다. “이런 시스템이 없다면 문제가 발생했다는 사실조차 알 방법이 없다”라고 설명했다.

‘경보 피로’가 중요한 도전 과제

턴게이트 포터는 “이상 탐지 개념이 아무리 정교하더라도 현실에서는 오탐과 미탐이 매우 높은 경향이 있다. 결국 문제가 없는 것을 뒤쫓느라 실제 위협을 놓치는 상황이 생긴다”라고 지적했다.

이를 방지하기 위해 SOC(Security Operation Center) 직원들은 오탐을 최소화하는 기준을 설정할 수 있다. 그러나 포올시큐어의 브럼리에 따르면, 이렇게 하면 확실히 눈에 띄는 이상 징후는 더 잘 탐지할 수 있지만, 반대로 교묘하게 숨겨진 공격은 놓칠 가능성이 크다.

반대로 필터 없이 모든 경고를 그대로 노출하면 보안 담당자의 피로도가 극도로 높아질 수 있다. 데이터독의 크루그는 “알림 시스템에서 자주 논의되는 문제가 ‘경보 피로’다. SIEM이 지나치게 많은 경고를 생성하면, 보안팀은 가치가 낮은 경고까지 계속 추적하며 조사해야 하고, 결국 해당 솔루션을 달가워하지 않을 것”이라고 말했다.

크루그는 SOC에서 알림을 처리하는 보안 담당자가 사이버보안 분야에서 가장 힘든 업무를 맡고 있다고 말했다. “이 직무는 평균 근속 기간이 가장 짧은 편이다. SOC에서 오래 버티지 못하는 이유는 끝없는 경고 속에 파묻히기 때문이다. 업무 만족도가 낮을 수밖에 없다. 따라서 보안 담당자가 ‘이 알림은 필요 없다’고 직접 판단하고 필터링을 조정하는 것이 효과적인 탐지 전략 구축에 중요하다”라고 강조했다.

탐지 역량을 강화하는 방법

기본적인 보안 도구도 알려진 악성 이상 징후를 탐지하며, 경우에 따라 대응까지도 효과적으로 수행한다. 포터는 “시그니처 기반 탐지는 꽤 강력하다. 대부분 공격자는 새로운 기법을 개발하기보다는 최소한의 노력으로 목표를 달성하려 한다. 같은 방식으로 100번 시도해서 10번만 성공해도 충분하다고 판단하는 경우가 많다”라고 말했다.

그러나 맞춤형 이상 징후를 탐지하도록 시스템을 훈련하는 것은 쉽지 않다. 따라서 일부 환경에서는 인간의 판단을 보조하는 방식이 효과적이다. 포터는 “이상 징후를 감지하고 ‘이거 뭔가 수상한데?’라고 경고를 띄우는 것과, 보안 담당자가 그 신호를 직접 확인하고 ‘정말 이상하다’라고 판단하는 것은 별개의 문제”라고 설명했다. 결국, 기술적 탐지와 인간의 직관적 판단이 조화를 이루는 접근 방식이 필요하다.

다만 인간의 식별 능력에 지나치게 큰 비중을 두는 것은 위험할 수 있다. 데이터독 CISO 에밀리오 에스코바르는 “탐지 및 대응 역량을 구축할 때는 이상 탐지 모델을 적극적으로 도입하는 열린 태도를 가져야 한다. 지속적으로 변화하는 위협 환경과 IT 인프라의 복잡성을 고려하면, 모든 것을 인간의 눈으로 직접 분석하거나 이상 징후를 처리하는 코드를 일일이 작성하는 방식으로 접근하면 항상 뒤처질 수밖에 없다”라고 조언했다.

IBM의 슈라이너는 “이상 탐지는 랜섬웨어, 데이터 탈취, C2C 시그니처와 같은 전형적인 업계 트렌드를 기반으로 한 시그니처 탐지 방식과 맞지 않는 경우가 많다”라며 내부자 위협, 금융 사기, IT 시스템 관리 등 다양한 활용례에서 이상 탐지가 더 효과적으로 작동할 수 있다고 덧붙였다.

무엇보다 CISO는 맞춤형 이상 탐지를 통해 얻을 수 있는 인사이트가 팀에 필요하다는 점을 인식해야 한다. 슈라이너는 “데이터 탈취, 계정 탈취, 멀웨어 비컨, 내부자 위협 같은 사용례에서 데이터 지식을 어떻게 활용할 수 있는지에 대한 기본적인 이해를 바탕으로, 기업은 특정 비즈니스 사례에 맞는 이상 탐지 전략을 수립할 수 있다”라고 설명했다.

포터는 기업이 맞춤형 이상 탐지 프로그램을 구축할 때 균형을 유지하는 것이 중요하다고 강조했다. “대부분 기업은 자체적으로 이상 탐지 기능을 개발할 여유가 없다. 이 부분에서 많은 기업이 어려움을 겪는다. 시그니처 기반 탐지에만 의존하면 새로운 위협이 등장할 때 이를 감지하지 못하는 ‘블라인드 스팟’이 생긴다”라고 경고했다.

반대로 이상 탐지에만 집중하고 시그니처 기반 탐지를 전혀 활용하지 않는 경우도 있다. 포터는 “이런 기업은 모든 것을 수학과 AI 같은 기술에 의존하는데, 이런 접근 방식도 심각한 문제를 일으킬 수 있다. 솔루션을 도입할 때 2가지 방식을 모두 고려해야 한다. 성숙한 보안 제품들은 대부분 시그니처 탐지와 이상 탐지를 적절히 결합한 형태로 제공된다”라고 강조했다.
dl-itworldkorea@foundryco.com