2024년은 소비자 전자 제품에서 온디바이스 AI가 주목받은 한 해였다. 마이크로소프트와 애플은 각각의 OS를 통해 새로운 AI 기능을 선보였다. 마이크로소프트는 코파일럿+ PC라는 AI 지원 노트북 브랜딩을 도입했고, 애플은 애플 인텔리전스(Apple Intelligence)를 출시했다.

초기 시도는 엇갈린 반응을 얻었다. 실시간 번역이나 온디바이스 음성 텍스트 변환과 같은 일부 기능은 유용하다는 평가를 받았지만, 마이크로소프트의 윈도우 리콜처럼 아직 그 가치를 입증하지 못한 기능도 있다.

AI와 관련한 움직임은 2025년에도 중요한 영향을 미칠 전망이다. 많은 개발자가 윈도우 앱에 온디바이스 AI를 적용하기 위해 본격적인 시도를 시작할 것으로 예상된다. 즉, 소비자는 새로운 노트북을 구매할 때 AI 성능에 더욱 주의를 기울여야 한다.

최근 필자는 두 명의 AI 연구 및 테스트 전문가와 함께 2025년 윈도우 온디바이스 AI가 어떻게 성장할 것인지에 대해 이야기를 나눴다.

NPU의 비약적 발전

윈도우 노트북의 AI 성능을 비교할 때 흔히 TOPS(Trillions of Operations Per Second, 초당 수조 회 연산)라는 수치가 언급된다. TOPS는 NPU가 온디바이스 AI 작업을 위해 행렬 연산을 수행하는 능력을 측정하는 지표다.

2024년에는 윈도우 노트북의 TOPS 성능이 크게 향상됐다. 마이크로소프트의 코파일럿+ PC 브랜드 자격을 얻으려면 노트북은 최소 40 TOPS 이상의 NPU 성능을 갖춰야 한다. 참고로 퀄컴의 첫 코파일럿+ 노트북은 약 45 TOPS를 기록했는데, 이는 인텔의 메테오 레이크 코어 울트라 7 165H가 기록한 11 TOPS보다 4배 이상 높은 성능이다.

캠브리안 AI 리서치(Cambrian AI Research)의 창립자 칼 프룬드는 “퀄컴이 업계를 깨웠다”라고 평가하며, AMD와 인텔이 자체 칩을 빠르게 출시하며 비슷한 수준의 향상을 가져왔다고 언급했다.

2024년 말까지 마이크로소프트 서피스, 에이수스 프로아트, 델 XPS와 같은 프리미엄 노트북을 구매하는 소비자는 2023년 말 출시된 유사한 모델과 비교해 NPU 성능이 약 3~4배 향상된 제품을 선택할 수 있다.

2025년에도 이런 성능 향상이 계속될까? 시그널65(Signal65)의 대표 라이언 슈라우트는 “2배 또는 3배의 성능 향상도 놀랍지 않을 것”이라며, 이러한 발전은 특히 2025년 말에서 2026년 초에 집중될 것으로 예상했다.

TOPS 지표의 한계

온디바이스 AI 성능이 잠재적으로 2~3배 향상될 수 있다는 전망은 주목할 하다. 그러나 푸룬드와 슈라우트는 칩 제조업체들이 내세우는 TOPS 성능을 너무 맹신하지 말아야 한다고 경고했다. 프룬드는 “TOPS는 사실상 ‘지나치게 과장된 성능 지표(Terribly Overused Performance Stat)’의 약자다. 그다지 가치가 없다”라고 지적했다.

슈라우터 역시 이에 동의하며 AMD와 엔비디아가 GPU를 마케팅할 때 자주 인용하는 TFLOPS 수치를 언급했다. 이 수치는 GPU의 최대 연산 속도를 나타내지만, 이 값이 실제 환경에서의 성능을 잘 나타내지 못한다고 설명했다.

실제 AI 성능 역시 여전히 불확실하다. 부분적으로는 윈도우가 NPU의 AI 기능을 활용하기 위한 표준화된 API를 아직 확립하기 못했기 때문이다. 퀄컴 칩이 없는 코파일럿+ 노트북 사용자는 이런 점이 더 큰 제약으로 작용한다.

현재 AMD와 인텔도 코파일럿+ 브랜딩을 충족하는 칩을 보유하고 있지만, 퀄컴이 여전히 우위를 점하고 있다. 퀄컴 하드웨어는 윈도우 리콜과 같은 기능을 처음으로 지원받았으며, 블랜더(Blender)와 어피니티 포토(Affinity Photo) 같은 인기 앱도 가장 먼저 퀄컴 스냅드래곤 X에서 작동하도록 설계됐다.

그러나 마이크로소프트가 다이렉트ML(DirectML)과 여러 작업별 AI API를 포함하는 윈도우 코파일럿 런타임(Windows Copilot Runtime)에 대한 지원을 강화함에 따라 2025년에는 이런 상황이 바뀔 가능성이 있다. 현재로서는 코파일럿+ PC는 개선돼야 할 점이 많고, 앞으로 성장할 여지가 많다는 것은 분명하다.

슈라우트는 “마이크로소프트가 2025년에 이 문제를 해결할 것이다. 애플리케이션 개발자가 과거 다이렉트X(DirectX)에서 그랬던 것처럼 다이렉트ML이 표준화된 API로 자리 잡을 것”이라고 전망했다. 또한 슈라우트는 초기에 경쟁 API가 있었지만 결국 마이크로소프트 다이렉트X가 가장 인기 있는 옵션이 되면서 하나의 표준으로 통합된 PC 3D 그래픽 기술의 발전 과정을 예로 들었다.

온디바이스 AI 대중화를 위한 열쇠

더 강력한 NPU와 통합 API는 온디바이스 AI 확산을 위한 중요한 진전이지만, 그것만으로는 AI의 대중화를 보장할 수 없다.

개발자는 여전히 오픈AI나 앤트로픽처럼 인터넷에 액세스할 수 있는 모든 기기에서 AI 모델과 서비스를 제공하는 클라우드 방식을 선택할 수 있기 때문이다. 그리고 이들 회사의 AI 모델은 온디바이스 AI 모델보다 더 많은 작업을 수행할 수 있고, 훨씬 더 빠르게 결과를 생성할 수 있다.

그러나 클라우드 기반 AI 모델의 경우 비용 문제가 2025년 더욱 부각될 전망이다.

슈라우트는 “소형 언어 모델을 NPU에서 백그라운드로 지속적으로 실행하며 상황을 모니터링할 수 있다는 점은 클라우드에서는 불가능하거나, 적어도 인프라 측면에서 훨씬 더 많은 지출이 요구된다”라고 말했다.

오픈AI의 챗GPT 프로가 대표적인 사례다. 이 프리미엄 서비스는 새로운 o1 모델과 소라(Sora) 비디오 생성기에 대한 우선 접근권을 제공하지만, 월 요금이 200달러(약 28만 7,000원)에 달한다. 앱 개발자가 사용자에게 o1을 제공하기 위해 지불하는 토큰당 가격도 비슷하게 높다.

반면 윈도우 노트북의 온디바이스 NPU는 기본적으로 언제든지 추가 비용 없이 사용할 수 있다. 비용 절감이라는 요소는 온디바이스 AI로 전환하는 데 필요한 마지막 조각이라고 볼 수 있다. 개발자와 사용자는 비용 절감을 위해 가능한 한 윈도우 노트북의 NPU를 사용할 수 있는 도구와 동기를 모두 갖추게 될 것이다.

결론 : 2025년, 온디바이스 AI의 전환점

온디바이스 AI로의 전환이 얼마나 빠르게 이루어질지, 또 윈도우 소프트웨어 생태계에서 얼마나 확산할지는 아직 지켜봐야 한다. 하지만 2025년은 중요한 분기점이 될 것으로 보인다.

프룬드는 “퀄컴이 5년 전 AI가 온디바이스로 이동할 것이라고 했을 때는 회의적이었다. 그러나 이제는 믿게 됐다”라고 말했다.
dl-itworldkorea@foundryco.com