AI 에이전트의 활용을 둘러싼 관심과 우려가 동시에 커지고 있다. 에이전틱 AI를 도입할지, 또 어떻게 활용할지를 고민하는 기업이라면 이를 까다로운(complicated) 시스템이 아닌 복잡한(complex) 시스템의 관점에서 바라볼 필요가 있다. 에이전틱 AI를 ‘복잡계’로 이해하고 접근하는 것이야말로 그 잠재력을 효과적으로 활용하고, 필요한 보호 장치와 통제 체계를 마련하는 핵심이 될 것이다.

그렇다면 복잡한(complex) 시스템과 까다로운(complicated) 시스템은 어떻게 다를까? 예를 들어 컴퓨터 과학에서 다루는 시스템은 ‘까다로운’ 유형에 가깝다. 엔지니어링 관점에서 원인과 결과의 관계가 명확하게 연결되어 있으며, 분석과 제어가 가능한 구조이기 때문이다. 반면 인류학에서 다루는 시스템은 ‘복잡한’ 시스템이다. 모든 변수를 통제할 수 없고, 금융 분야에서 말하는 ‘요인(factors)’처럼 상호작용하는 요소에 주목해야 한다.

복잡한(complex) 시스템에서는 우리가 관찰하는 현상에 대해 신뢰 구간(confidence interval) 수준의 확신만 가질 수 있다. 예를 들면 어떤 결과에 대해 60% 혹은 85% 정도 확실하다고 말할 수는 있지만 100% 확신할 수는 없다. 때로는 잘못된 이유로 올바른 답을 얻기도 하고, 반대로 올바른 이유로 잘못된 답에 도달하기도 한다. 즉, 신뢰 구간 아래의 결과는 언제든 변동 가능하며, 결과 자체가 본질적으로 다변수적(multivariate)이기 때문에 왜 그런 결과가 나왔는지 완벽히 설명하는 것은 불가능하다.

프로그래머, 시스템 관리자, 아키텍트 등 기술 전문가가 쉽게 공감할 수 있는 ‘까다로운(complicated)’ 시스템과 ‘복잡한(complex)’ 시스템의 예시는 다음과 같다.

• 파이썬 코드를 작성하는 일은 까다로운 일이지만, 파이썬 개발자를 관리하는 일은 복잡한 일이다.
• 영상을 편집하는 일은 까다롭지만, 유튜브에서 영상을 바이럴시키는 일은 복잡하다.
• C 프로그램을 컴파일하는 일은 까다롭지만, 기반 모델 학습 중 실험적으로 돌려보는 YOLO 런(run)은 복잡하다.
• DNS 조회는 까다롭지만, 도메인 등록기관을 운영하는 일은 복잡하다.
• CVE를 등록하는 일은 까다롭지만, 해커가 그 취약점을 어떻게 활용할지 예측하는 일은 복잡하다.

이 모델을 자율형 AI 에이전트에 적용해 보자. 자동화 인프라를 다시 설계하는 일은 까다로운 일이다. 그러나 인간의 개입 없이 AI 에이전트가 새로운 코드를 직접 커밋하도록 허용하는 일은 복잡한(어쩌면 다소 두려운) 일이다. 하지만 에이전틱 AI의 복잡성을 인식하고 적절히 대응한다면, 그 잠재력을 최대한 활용할 수 있는 여러 가지 방법이 있다. 예를 들어 다음과 같다.

• 통계적으로 사고하라. 우리의 일상 속 결과는 마치 결정론적으로 보이지만 실제로는 그렇지 않다. 인간 집단을 거시적으로 분석해 보면 우리의 선택은 본질적으로 통계적이다. 예를 들어 선거에서 일정 비율의 사람들이 특정 후보를 선택하는 경향처럼 말이다. LLM이 AI 에이전트를 구동하는 방식 역시 통계적 원리에 기반한다. 다만 인간보다 그 결과의 정밀도가 떨어지기 때문에 반드시 검증 과정이 필요하다. 더 나은 방법은, 그 검증 작업을 대신 수행할 또 다른 AI 에이전트를 만들어 두는 것이다. (이 방법은 실제로 통한다.)
• 요인에 집중하라. 금융시장은 예측 불가능한 변동으로 움직이는 전형적인 복잡계 시스템이다. 그래서 투자자들은 개별적인 가격 변동보다는, 자산 수익률을 역사적으로 움직여온 요인에 집중한다. 소프트웨어 시스템도 이와 비슷한 접근이 필요하다. 예를 들어 시니어 엔지니어가 아키텍처를 설계하도록 돕는 AI 에이전트, 기존 구조를 유지하며 개발하는 주니어 엔지니어용 에이전트, 두 역할을 검증하는 품질 엔지니어용 에이전트, 그리고 전체를 감시해 이들이 서로 공모하지 않도록 확인하는 감사 역할의 에이전트를 각각 둘 수 있다. 이처럼 우리는 소프트웨어 개발을 이루는 여러 요인을 이해하고, 각 요인이 시스템에 어떤 추진력을 제공하는지 파악해야 한다. 개별 참여자의 행동은 예측할 수 없지만, 각자가 명확한 역할을 수행할 때 그 힘이 조화를 이루며 더 나은 소프트웨어를 만들어 낸다.
• 휴리스틱과 신호를 활용하라. 시스템 생물학에서는 모든 상호작용을 모델링할 수 없기 때문에 일어날 가능성이 높은 일을 통계적으로 예측한다. 이렇게 여러 번 반복해 시뮬레이션한 뒤, 가장 가능성이 높은 결과의 통계를 분석해 신뢰도를 높인다. 시스템이 통계적 성격을 가질수록, 그에 맞는 테스트 프레임워크 역시 적응해야 한다. 이 방식은 이미 우리 일상에서도 활용되고 있다. 예를 들어 조직 내 보안 교육이 그렇다. 소셜 엔지니어링 공격 상황에서 일부 직원이 실수할 수 있다는 사실을 알고 있기 때문에, 인식과 대응 확률을 높이는 훈련을 반복하지만, 위험을 완전히 제거할 수는 없다. 쿠버네티스도 좋은 예다. 일부 파드(pod)가 실패할 가능성을 고려해 여러 개를 동시에 실행한다. 에이전틱 AI 프로세스 역시 이런 종류의 휴리스틱(경험적 규칙)을 내재화해야 한다. 그래야 예측 불가능한 상황에서도 일정 수준의 안정성과 신뢰성을 유지할 수 있다.
• 디지털을 아날로그로 전환하라. 우리는 오디오 신호를 다룰 때 항상 이런 전환을 수행하지만, DNA 염기서열 분석처럼 다른 문제 영역에서도 흔히 사용된다. 예를 들어 중합효소 연쇄반응(polymerase chain reaction, PCR)이 그 대표적인 사례다. 모든 개별 상태를 추적할 수 없다면 신호를 들어야 한다. 에이전트의 경우, 디지털 승인 절차나 티켓 시스템 같은 방식을 활용해 에이전트 간 상호작용이 일어나도록 해야 한다. 이렇게 하면 에이전트 사이에 정보가 흐르는 명확한 상태 변화(discreet state)가 만들어진다. 이 모델의 장점은 단순히 통제 구조를 만드는 데 그치지 않는다. 역할 분리를 가능하게 하고, 코드 커밋이나 문제 수정처럼 복잡한 작업을 수행할 때 에이전트가 상황에 맞게 유연하게 대응할 수 있도록 한다는 점에서도 유용하다.
• 결정론적 모델과 통계적 모델을 오가라. 결정론적 세계에서는 모든 일이 논리적으로 흘러가지만, LLM과 같은 복잡계 시스템은 비결정론적으로 작동한다. 에이전트는 모델 컨텍스트 프로토콜(Model Context Protocol, MCP) 서버를 통해 이 두 세계를 연결하는 역할을 한다. 결정론적 환경에서 처리되는 작업이 많을수록 결과에 대한 신뢰도는 높아진다. 예를 들어 에이전트는 파일 시스템이나 데이터베이스에 접근하거나, 명령어를 실행함으로써 (MCP의 통제를 받으며) 정확한 정보와 문맥을 수집할 수 있다. 즉, 에이전틱 AI는 본질적으로 통계적 성격을 지니지만, AI 실무자는 가능한 한 결정론적 도구와 API를 활용해 예측 가능성과 신뢰성을 확보해야 한다.

결정론적 세계에 속한 ‘단순히 까다로운’ 시스템과, 비결정론적이며 통계적 특성을 지닌 ‘진정한 복잡한’ 시스템의 차이를 이해하는 것이 중요하다. 이런 이해야말로 새로운 AI 시대, 특히 에이전틱 AI 환경에서 성공적으로 적응하고 성장하는 핵심이다.

복잡한 시스템은 예측할 수 없기 때문에 오히려 매혹적이다. 에이전틱 AI의 등장은 지금까지 ‘까다로운’ 수준에 머물던 여러 시스템을 ‘진정한 복잡계’로 바꾸어 놓을 것이다. 이런 복잡한 시스템을 효과적으로 관리하는 일은, 새로운 AI 시대를 살아가는 우리에게 중요한 과제가 될 것이다.
dl-itworldkorea@foundryco.com