최근 몇 년 동안 ‘AI PC’라는 용어는 사실상 ‘신경처리장치(Neural Processing Unit, NPU)를 탑재한 가벼운 노트북’을 뜻하는 말에 불과했다. 인텔의 메테오레이크(Meteor Lake) 칩셋과 함께 NPU가 화려하게 등장한 지 2년이 지났지만, 여전히 AI PC는 그럴듯한 기술 시연 수준을 벗어나지 못하고 있다.

하지만 로컬 AI는 이미 현실이 되었다. 놀라울 정도로 강력하기까지 하다. 단, 이 혁신은 NPU 덕분이 아니다. 사실 NPU만 놓고 보면 로컬 AI는 실패한 것처럼 보인다. 그러나 실제로는 GPU 기반으로 실행되는 로컬 AI 도구들이 급속히 발전하고 있다.

NPU는 원래 PC와 노트북에서 본격적인 로컬 AI 시대를 여는 핵심 기술로 주목받았다. 그러나 결과적으로, NPU 중심의 AI PC 전략은 완전히 실패했다.

NPU는 로컬 AI를 실현하지 못했다

신경처리장치 자체는 분명 작동한다. 일부 흥미로운 기능이나 실험적인 요소를 구동하기도 한다. 그러나 사용자가 기대했던 것은 NPU가 주도하는 강력한 AI PC 생태계, 즉 PC에서 완전한 형태의 AI 모델이 자유롭게 돌아가는 미래였다. 그 약속은 2년이 지난 지금 거의 실현되지 않았다.

물론 윈도우에서 코파일럿+ PC 기능을 일부 사용할 수 있다. 예를 들어 윈도우 리콜은 PC 화면을 5초마다 캡처하며, 사진 앱의 이미지 생성 기능은 직접 이미지를 만들어준다. 다만 결과물은 형편없다는 평가가 많다.

Foundry

유용한 기능이 전혀 없는 것은 아니다. 웹캠 영상을 보정하는 윈도우 스튜디오 이펙트(Windows Studio Effects)나 파일 검색을 돕는 시맨틱 검색(Semantic Search) 등은 분명 편리하다. 하지만 이런 자잘한 기능은 AI PC 광고에서 들었던 “PC에서 풀스케일 AI를 실행하는” 비전과는 거리가 멀다. 마이크로소프트가 2024년을 “AI PC의 해”라고 선언했던 것을 기억하는가? 그 약속은 어디로 갔을까?

더 심각한 점은, 마이크로소프트가 이미 NPU 중심 접근에서 발을 빼고 있다는 것이다. 윈도우 ML(Windows ML)이 그 신호다. 개발자가 NPU 전용 앱을 만들지 않자, 마이크로소프트는 이제 CPU, GPU, NPU 어디서든 구동할 수 있는 AI 앱 개발을 허용하기로 했다.

하지만 문제가 있다. 이미 로컬 AI 생태계는 활발하게 성장하고 있다. 오픈소스 기반의 로컬 AI 툴은 대부분 NPU를 전혀 사용하지 않는다. 그리고 앞으로도 윈도우 ML로 옮겨갈 가능성은 낮다. 결국, 마이크로소프트는 “AI PC 시대를 선도한다”라고 외쳤지만, NPU 중심 전략에 매달린 탓에 시장에서 뒤처진 셈이다. 현재 로컬 AI 생태계는 윈도우 위에서 빠르게 성장하고 있지만, 아이러니하게도 그 어느 것도 마이크로소프트의 AI 프레임워크를 사용하지 않는다.

로컬 AI의 시대는 GPU가 주도한다

게이밍 PC를 가지고 있다면, 지금 당장 로컬 AI가 얼마나 발전했는지 직접 확인해볼 수 있다. 예를 들어 LM 스튜디오(LM Studio)를 다운로드해 보라. 몇 번의 클릭만으로 로컬 LLM을 구동하고 온전히 하드웨어에서만 실행되는 AI 챗봇을 사용할 수 있다. 이것이 바로 NPU가 약속했던 ‘AI PC의 이상향’이었다. 기술 지식 없이 누구나 몇 번의 클릭만으로 사용할 수 있는 로컬 AI 도구. 이 미래는 이미 현실이 되기는 했다.

LM 스튜디오를 비롯한 로컬 AI 도구 대부분은 GPU를 중심으로 작동하며, CPU용 백업 모드도 지원한다. 하지만 NPU는 전혀 지원하지 않는다. 마찬가지로 올라마(Ollama), 라마.cpp(Llama.cpp) 같은 대표적인 로컬 AI 백엔드 툴도 NPU를 지원하지 않는다.

엔비디아 GPU에서 작동하는 LM 스튜디오

Foundry

이들 툴은 놀라울 만큼 잘 작동하지만, 아이러니하게도 NPU와는 아무 관련이 없다. 그렇다면 왜 마이크로소프트나 인텔은 실제 사용되는 오픈소스 AI 도구에 NPU 지원을 통합할 개발자를 단 한 명도 배치하지 않았을까? NPU 기반 AI PC 마케팅에 쏟은 예산의 일부만이라도 실질적인 통합 개발에 투입했다면, 지금 상황은 전혀 달랐을 것이다.

이쯤되면 결론은 간단하다. 로컬 AI를 원한다면 NPU가 탑재된 AI PC를 피하라. 사용자가 필요한 것은 강력한 GPU를 가진 게이밍 PC, 특히 엔비디아의 GPU다. 현재 대부분의 로컬 AI 도구는 CUDA 기반의 엔비디아 하드웨어를 중심으로 최적화되어 있다.

예외는 있다

애니씽LLM(AnythingLLM)은 보기 드문 예외였다. 로컬 LLM 도구 가운데 NPU를 지원하는 제품이 있는지 조사하던 중 애니씽LLM이라는 도구를 발견했다. 이 도구는 퀄컴 스냅드래곤 X 시스템의 퀄컴 헥사곤(Qualcomm Hexagon) NPU를 지원하는 NPU 백엔드를 제공한다. 하지만 여기까지다. 인텔이나 AMD 시스템의 NPU는 지원하지 않는다.

퀄컴, 인텔, AMD의 NPU마다 소프트웨어를 다시 작성해야 한다면 NPU가 확산되지 않은 것도 당연하다. 이는 결코 간단한 문제가 아니다.

Foundry

퀄컴은 이 소프트웨어를 소개하는 블로그 포스팅에서 상당한 기대감을 드러냈다. 그러나 스냅드래곤 X 기반 서피스 랩톱에 설치해 사용해 보려 하자 윈도우 스마트스크린 경고가 떴다. 마이크로소프트 보안 시스템이 잘 알려지지 않은 프로그램을 감지할 때 표시되는 경고다.

스마트스크린 경고가 무엇을 의미할까? 가장 완성도 높아 보이는 NPU 기반 로컬 LLM 실행 솔루션조차 실제로는 거의 사용되지 않고 있다는 뜻이다. 사용자가 많지 않아 윈도우 보안 경고가 뜰 만큼 생태계 바깥에 놓여 있다.

애니씽LLM은 문제를 드러내는 사례 중 하나일 뿐이다. 로컬 LLM을 지원하는 다른 앱도 존재하지만 대부분 개발자용 기술 데모 수준에 머물고 있다. 예를 들어 인텔이 제공하는 오픈비노(OpenVINO) 역시 LM 스튜디오 등 GPU 기반 로컬 AI 도구가 제공하는 ‘몇 번의 클릭으로 끝나는’ 경험에는 한참 못 미친다.

NPU의 자리에 GPU가 서다

흥미로운 점은 NPU가 원래 로컬 AI의 대중화를 이끌 핵심으로 여겨졌다는 점이다. GPU는 가격이 비싸고 전력 소모가 크기 때문에 별도 GPU가 없는 PC에서도 전력 효율이 높은 NPU를 통해 로컬 AI 기능을 구현하자는 구상이었다. GPU는 ‘마니아용’, NPU는 ‘쉽게 사용할 수 있는 대중형 옵션’이라는 구도였다.

이 구상은 실현되기는커녕 완전히 무너졌다. 지금 ‘쉽게 사용할 수 있는’ 로컬 AI 도구를 원한다면 강력한 GPU가 탑재된 PC를 선택해야 한다. 앞서 언급한 다양한 GPU 기반 로컬 AI 도구를 몇 번의 클릭만으로 사용할 수 있기 때문이다. 반대로 가벼운 노트북의 NPU로 로컬 AI를 이용하려면 개발자를 위한 생소한 기술 데모를 뒤지거나, 윈도우에 내장된 소수의 코파일럿+ PC 기능에 만족해야 한다.

하지만 코파일럿+ PC의 기능은 GPU 사용자가 LM 스튜디오에서 구동하는 다양한 로컬 LLM에 비하면 한참 단순한 수준이다. 웹캠이나 마이크 효과 같은 비교적 간단한 기능만 보더라도, 무료로 제공되며 사용법도 쉬운 엔비디아 브로드캐스트(Broadcast) 앱이 마이크로소프트의 윈도우 스튜디오 이펙트보다 훨씬 강력한 효과를 제공한다. 필요한 것은 최신 엔비디아 GPU가 장착된 PC뿐이다.

스스로 발목을 잡은 마이크로소프트

코파일럿+ PC 출시 이후 마이크로소프트는 LM 스튜디오, 올라마, 라마.cpp 등 실제로 로컬 AI 도구를 사용하는 사용자에게 “AI PC는 당신들을 위한 것이 아니다”라는 메시지를 반복했다.

마이크로소프트는 윈도우 내장 AI 기능은 반드시 NPU에서만 실행돼야 하며, GPU에서는 적합하지 않다고 분명하게 선을 그었다. 로컬 AI에 관심이 있더라도 NPU가 없는 PC에서는 윈도우의 내장 AI 기능을 사용할 수 없다는 뜻이다. 필자는 3,000달러짜리 게이밍 PC로 코파일럿+ 기능을 실행해 보려다 실패하면서 그 사실을 뼈저리게 확인했다.

결과적으로 로컬 AI 사용자는 윈도우에 내장된 AI 기능을 사실상 외면하고 있다. 더 정확히 말하면, 마이크로소프트는 두 개의 서로 다른 로컬 AI 경험을 만들어 버렸다.

• 하나는 NPU 기반 코파일럿+ PC에서 제공되는 기능으로, 작은 기술 데모에 가까워 실제로 할 수 있는 일이 매우 제한적이다. 이런 AI PC를 사용하는 사람은 로컬 AI 자체가 별 기능이 없다고 느끼게 된다.
• 다른 하나는 GPU 기반 PC에서 오픈소스 도구를 활용하는 환경이다. 이 AI PC 사용자는 로컬 AI가 충분히 흥미롭다는 사실을 알고 있지만, 마이크로소프트 AI 기능에는 전혀 관심이 없다.

만약 마이크로소프트나 인텔 등 주요 기업이 엔지니어를 투입해 실제 사용자층이 있는 기존 로컬 AI 도구에 NPU 지원을 통합하는 데 집중했다면 지금과는 전혀 다른 상황이 되었을 것이다. 하지만 현실은 그렇지 않았다. 필자가 보기에 NPU 중심 전략은 약속을 전혀 이행하지 못한 채 홍보에서 끝났다.

이제 마이크로소프트가 “모든 윈도우 11 PC가 AI PC가 되고 있다”라고 강조하는 이유도 이해할 만하다. 이 말이 의미하는 바는 무엇일까? 여전히 제대로 된 로컬 AI를 원한다면 강력한 GPU가 필요하다. 마이크로소프트가 클라우드 기반 코파일럿 챗봇을 앞세워 모든 윈도우 PC를 AI PC라고 부르는 것은 몇 년 전에도 가능했지만, 그런 방법으로는 ‘AI 노트북’을 판매해야 하는 PC 업계에 도움이 되지 않았을 것이다.

결국 NPU 대전략은 실패로 귀결됐다. 대대적으로 추진되던 NPU 중심 전략은 아무런 성과도 남기지 못했다. 로컬 AI를 원한다면 강력한 GPU가 탑재된 PC를 선택해야 한다. NPU만으로 해결하려 한다면 실망하게 될 것이다.
dl-itworldkorea@foundryco.com