마이크로소프트 CEO 사티아 나델라는 다중 에이전트 AI 오케스트레이션과 같은 고도화된 차세대 기능을 지원할 수 있을 만큼 기술이 충분히 발전했다고 언급하며, 이에 대해 “매우 낙관적”이라고 말했다. 나델라는 이런 발전의 핵심 요소가 오픈소스라고 강조했다.

칩 성능은 갈수록 향상되고 있고 개발 주기는 더 빨라지고 있다. 시스템 소프트웨어, 모델 아키텍처, 커널도 지속적으로 최적화되면서 나델라는 “6개월에서 12개월마다 성능이 10배 향상되고 있다”라고 설명했다.

나델라는 메타의 첫 번째 라마콘(LlamaCon) 개발자 행사에서 진행된 메타 CEO 마크 주커버그와의 대담에서 “우리는 일종의 초고속 무어의 법칙 시대에 있다. 이 시대의 기술 플랫폼 전환은 단일 S자 곡선의 변화가 아니라, 여러 개의 S자 곡선이 겹겹이 중첩돼 가속한다”라고 말했다.

“지식 증류는 마법과도 같다”

나델라에 따르면, 마이크로소프트가 추구하는 이상적인 방향은 다양한 AI 모델을 조합해 사용할 수 있는 오케스트레이션 계층이다. 사용자가 각 모델이 뛰어난 영역에서 서로 다른 형태의 지능을 끌어와 활용할 수 있도록 지원하는 구조다. 나델라는 이런 플랫폼을 구축하는 데 있어 오픈소스가 “확실히 매우, 매우 중요한 역할을 한다”라고 말했다.

이어 “오픈소스냐 폐쇄형 소스냐를 두고 어느 한쪽만이 옳다고 단정 짓는 것은 아니다. 세상에는 둘 다 필요하고, 고객도 상황에 따라 각각을 요구하게 될 것이다”라고 설명했다.

나델라는 “SQL, 마이SQL, 포스트그레, 리눅스, 윈도우 등 다양한 제품 간의 연동을 지원하는 개방적인 자세가 무엇보다 중요하다”라고 강조했다. 기업 고객은 자사 IP를 활용해 만든 맞춤형 모델을 정제해 사용할 수 있기를 원하며, 이를 지원하는 데 있어 오픈 가중치 모델이 폐쇄형 모델보다 “압도적인 구조적 우위”를 갖게 될 것이라는 설명이다.

나델라는 “대규모 모델을 동일한 구조를 유지한 채 더 작은 모델로 정제하는 것은 매우 중요한 활용례”라고 설명했다.

하지만 자체 인프라를 구축하기 어렵거나 기술 역량이 부족한 사용자에게 이런 기능을 제공하는 것은 여전히 도전 과제다. 나델라는 마이크로소프트와 같은 기업의 역할은 이런 모델을 서비스 형태로 활용할 수 있도록 툴을 구축하는 데 있다며, 대형 클라우드 서비스 업체는 이 같은 인프라를 클라우드 기반으로 제공하고 이를 토대로 다양한 도구를 개발해나갈 수 있다고 덧붙였다.

궁극적으로 나델라는 “모든 마이크로소프트 365 고객이 자신만의 업무에 특화된 정제 모델을 만들고, 이를 에이전트나 워크플로우 형태로 생성해 코파일럿 안에서 호출할 수 있게 되는 것이야말로 진정한 돌파구가 될 시나리오”라고 강조했다.

주커버그도 나델라에 동의했다. 지식 증류(Knowledge Distillation) 기술이 “마치 마법 같다”라며 “본질적으로는 20배나 더 큰 모델의 지능 중 90%에서 95%까지를 훨씬 더 저렴하고 효율적인 형태로 구현할 수 있게 되는 것”이라고 설명했다.

지식 증류가 강력한 기술인 것은 분명하지만, 주커버그는 이를 안전하고 신뢰할 수 있는 방식으로 수행하는 데는 우려가 따른다고 인정했다. 특히 중국의 딥시크처럼 다른 국가에서 공개되는 오픈소스 모델을 활용할 경우, 보안 취약점이나 가치관 차이로 인해 문제가 발생할 수 있다. 주커버그는 “보안상 취약한 요소나 문제 소지가 있는 가치 체계를 무의식적으로 받아들이지 않으려면 어떻게 해야 할까?”라며 물음표를 던졌다.

코딩 영역에서 역할 확대되는 AI

나델라와 주커버그는 AI가 코딩에 미칠 극적인 가능성에 대해서도 의견을 같이했다. 나델라는 AI가 “훌륭한” 파이썬 코드를 생성한다고 평가하며 현재 마이크로소프트의 리포지토리에 있는 코드 중 최대 30%가 AI를 활용해 작성된 것으로 추정했다.

주커버그는 “앞으로 1년 안에 소프트웨어 개발의 절반 정도는 AI로 이뤄질 것”이라며 궁극적으로 “모든 엔지니어가 자신만의 트리거 에이전트 군단을 이끄는 책임자가 될 것”이라고 전망했다.

하지만 나델라는 진정한 가치를 발휘하려면 AI가 기존 리포지토리와 개발자 워크플로우에 자연스럽게 통합되는 것이 핵심이라고 강조했다. “완전히 새로운 그린필드 앱을 개발하는 것이 쉬울 수 있지만, 모두가 이상적인 조건에서만 일하는 건 아니다”라고 말했다.

대부분 개발자는 방대한 코드베이스와 복잡한 워크플로우 속에서 작업하고 있기 때문에 툴 체인 안에서 AI가 효과적으로 통합되는 것이 무엇보다 중요하다. 나델라는 이런 통합 작업이야말로 모든 엔지니어링팀이 반드시 수행해야 할 시스템적 과업이며, 바로 이 지점에서 가장 큰 생산성 향상을 체감하게 될 것이라고 강조했다.

“AI는 실존적 우선순위”

나델라는 AI를 “상당히 실존적인 우선순위”라고 표현하며, 이 기술의 성공 여부는 “개발자가 두려움 없이 과감하게 도전할 수 있느냐에 달려 있다”라고 말했다.

나델라는 “헬스케어부터 유통, 지식 노동 전반에 이르기까지 세상의 모든 영역에서 생산성 향상이 요구되고 있으며, AI가 그 해답이 될 수 있다. AI라는 새로운 형태의 소프트웨어는 우리가 복잡한 문제를 해결하기 위해 활용할 수 있는 가장 유연한 자원”이라고 강조했다.

그러나 나델라는 기술이 단순히 존재하는 것만으로는 충분하지 않다고 지적했다. 이를 제대로 활용하려면 경영 방식과 조직 문화의 변화도 함께 이뤄져야 한다는 것이다. 그 예로 나델라는 “전기가 공장을 혁신할 수 있다는 사실을 사람들이 깨닫기까지는 50년이 걸렸다”라고 언급했다.

나델라는 “기존 개념의 연장선으로만 받아들이는 방식으로는 다음 단계에 도달할 수 없다. 기술은 진보해야 하고, 그것을 실제로 새로운 업무 방식, 결과물, 워크플로우를 만들어내는 시스템 안에 녹여내야 한다”라고 강조했다.

“모든 흐름은 오픈소스로 향한다”

데이터브릭스 공동 설립자이자 CEO인 알리 고드시도 라마콘에서 주커버그와 대담에 나섰다. 고드시도는 “장기적으로 보면 모든 것이 오픈소스로 이동하게 될 것”이라고 말했다.

고드시는 “오픈소스 세계에서는 오픈 리서치와 지식 공유가 자연스럽게 이뤄진다. 전 세계 수많은 사람이 이런 모델 개발에 참여하게 되고, 그 결과 진보 속도도 훨씬 더 빨라진다”라고 설명했다.

나델라와 마찬가지로 고드시는 서로 다른 모델 간의 ‘교차 수분(cross pollination)’ 현상을 언급했다. 커뮤니티가 다양한 모델을 분해하고 조합하고 서로 다른 요소를 이어붙이며 활용하고 있다며, 이런 작업은 오픈소스가 없었다면 “전혀 불가능했을 것”이라고 강조했다.

이에 주커버그는 불과 1년 전만 해도 라마가 사실상 유일한 주요 오픈소스 모델이었지만 이제는 완전히 상황이 달라졌다며, “서로 다른 모델에서 가장 뛰어난 지능 요소만을 뽑아내 원하는 결과를 정확히 만들어낼 수 있다는 점이 오픈소스의 핵심이다. 이 흐름은 마치 멈출 수 없는 힘처럼 느껴진다”라고 말했다.

동시에 주커버그는 오픈소스 모델에 관한 중요한 쟁점을 짚었다. 모델은 공개되어 있지만 학습에 사용된 데이터는 여러 이유로 비공개인 경우가 많다는 것이다. 이에 반해 추론 모델은 검증 가능한 정답이 있는 문제를 학습하므로, 개발자가 어려운 수학 문제나 코딩 문제를 제공하더라도 데이터의 독점성이 낮고 공개할 가능성이 높다.

주커버그는 단순히 모델의 가중치만 공개하는 것이 아니라, 모델이 어떤 방식으로 추론했는지 흔적(trace)까지 함께 공개하는 새로운 형태의 오픈소스 배포 방식이 등장하고 있다며 이 부분이 앞으로 주목해서 살펴볼 만한 흥미로운 분야라고 언급했다.

고드시는 “지금은 AI 시대의 데이 제로(Day Zero)”라고 표현하며 “가장 놀라운 활용례는 아직 발명되지도 않았다. 이 분야는 완전히 백지 상태”라고 말했다.

고드시는 성공의 핵심 기반은 바로 ‘데이터 우위(data advantage)’라고 강조했다. 개발자는 적절한 데이터를 수집하고, 이를 정제해 모델에 통과시키고, 그 과정을 반복하면서 이른바 ‘플라이휠(flywheel)’ 효과나 네트워크 효과를 만들어내야 한다는 것이다. 사용을 거듭할수록 제품이 지속적으로 개선되는 선순환 구조가 중요하다고 설명했다.

이어 고드시는 “직접 시도해보고 활용해보고 미친 듯한 새로운 아이디어도 과감히 탐험해 보라”라며 “앞으로 정말 흥미진진한 시대가 열릴 것”이라고 덧붙였다.
dl-itworldkorea@foundryco.com