마이크로소프트가 이번주 생성형 AI 시스템 ‘뮤(Mu)’를 공개했다. 이 기술은 PC부터 토스터기까지 모든 기기를 사용하는 방식을 바꿀 미래의 인터페이스를 보여준다.

뮤는 사용자가 자연어로 컴퓨터를 제어할 수 있도록 도와준다. 예를 들어 “다크 모드 켜줘”, “마우스 포인터를 더 크게 해줘”라고 입력하거나 말하면 컴퓨터가 인식하고 실행한다. 뮤가 처음 탑재된 곳은 윈도우 11의 설정 앱이다. 사용자가 원하는 설정 변경을 자연어로 요청하면 생성형 AI 도구가 이를 파악해 설정을 바꿔준다.

뮤의 핵심은 클라우드에서 작동하는 대규모 언어 모델이 아니라, 330만 파라미터 규모의 소형 언어 모델이라는 점이다. 이 모델은 신경 처리 장치(NPU)라는 특수 AI 칩에서 작동하며, 인터넷에 연결되지 않아도 PC 내에서 완전히 동작한다. 이 NPU는 마이크로소프트, 델, HP, 레노버, 삼성, 에이서의 최신 코파일럿+ PC에 탑재되어 있으며, 해당 모델은 2024년 6월부터 출하되기 시작했다. 뮤를 포함한 고급 AI 기능은 이들 코파일럿+ PC에서만 사용할 수 있다.

뮤는 클라우드 기반 챗GPT 같은 LLM이 아니라, 완전히 로컬에서 실행되는 SLM이다. 인터넷이 없어도 작동한다.

코파일럿+ PC는 최소 초당 40조 회 연산이 가능한 NPU를 탑재하고 있어 뮤를 실행할 수 있다. 마이크로소프트는 퀄컴, AMD, 인텔과 협력해 NPU 위에서 뮤가 원활히 작동하도록 설계했다. 이 NPU는 이제 모든 코파일럿+ PC의 표준 사양이다.

뮤는 트랜스포머 인코더-디코더 구조를 채택해, 인코더가 사용자의 말을 압축된 표현으로 변환하고 디코더가 실제 명령으로 해석한다. 이 방식은 특히 설정 변경 같은 작업에서 이전 모델보다 효율적이다. 뮤는 32개의 인코더 레이어와 12개의 디코더 레이어로 구성돼 있으며, NPU의 메모리 및 속도 한도에 맞춰 설계되었다. 또한 회전 위치 임베딩, 이중 정규화, 그룹 쿼리 어텐션 기술을 활용해 초당 100개 이상의 토큰을 처리하고 500밀리초 이내에 응답할 수 있다.

챗GPT 같은 LLM 기반 챗봇과 비교하면 뮤는 매우 빠르다.

뮤는 윈도우 설정 및 관련 작업에 집중된 360만 개 예시로 학습됐다. 학습은 애저 클라우드에서 엔비디아 A100 GPU로 진행됐다. 학습 후에는 양자화를 적용해 메모리 요구량을 줄였으며, 모든 NPU에서 효율적으로 작동하도록 정밀 조정됐다. 결과적으로 뮤는 마이크로소프트의 파이-3.5-미니 모델의 약 10분의 1 크기지만, 작업에서는 거의 비슷한 성능을 낸다.

뮤는 자연어로 시스템 설정을 제어할 수 있도록 만든 최초의 소형 언어 모델로, 일반 소비자용 기기에서 완전히 로컬로 실행된다는 점에서 획기적인이다. 애플의 아이폰, 아이패드, 맥도 뉴럴 엔진 NPU를 탑재하고 있고, 시리 및 애플 인텔리전스를 통해 일부 설정을 변경할 수 있지만, 뮤처럼 시스템 설정과 깊이 통합된 소형 언어 모델은 없다.

삼성의 갤럭시 S25 등 최신 플래그십 스마트폰도 커스텀 NPU와 갤럭시 AI를 탑재해 다양한 기기 제어 및 비서 기능을 수행하지만, 뮤처럼 포괄적인 설정 제어용 SLM은 존재하지 않는다.

구글의 크롬북 플러스 기기도 NPU를 탑재하고 온디바이스 AI를 지원하지만, 뮤처럼 설정 제어에 특화된 SLM을 사용하지 않는다.

뮤는 데이터를 장치 내부에서 직접 처리하기 때문에 개인 정보를 보호할 수 있고, 즉각적인 응답이 가능하다. 사용자 데이터를 외부로 보내지 않기 때문에 유럽과 미국 등 지역의 개인정보 보호법을 준수하기에도 유리하다.

업계는 이 방향으로 빠르게 움직이고 있다. 현재 SLM은 특정 작업에 있어 클라우드 기반 대형 모델에 필적하는 성능을 낼 수 있으며, 운영 비용이 낮고 에너지도 적게 사용하며 특정 작업이나 언어에 맞춰 최적화할 수 있다.

참고로 NPU는 드문 칩이 아니다. 이미 최신 스마트폰, 태블릿, 심지어 가전제품에도 널리 탑재돼 있다. NPU는 신경망을 효율적이고 저전력으로 구동하도록 설계되어 있으며, 불안정한 인터넷 환경에서도 스마트 기능을 가능하게 한다.

무엇보다도, NPU를 기반으로 실행되는 SLM은 PC, 스마트폰, 태블릿뿐만 아니라 거의 모든 기기에 절대적인 영향력을 행사하게 될 것이다. 성능은 향상되고 비용은 낮아지면서 자동차 대시보드, 온도조절기, 세탁기, 트랙터, 그리고 토스터기까지도 중첩 메뉴 대신 음성 제어 설정 방식으로 전환될 것이다.

예를 들어 아침에 부엌에 들어가 “토스터기야, 베이글을 약하게 20분 후에 구워줘”라고 말하고, “커피머신아, 플랫 화이트 한 잔 부탁해”라고 말할 수 있게 된다. 이후 홈오피스로 이동해 SLM이 탑재된 다양한 IoT 기기와 사물을 음성으로 원격 제어하게 될 것이다.

이러한 기기 제어용 SLM은 코드 작성, 웹사이트 및 앱 구축, 업무 커뮤니케이션 지원 등 정보를 다루는 역할에서는 LLM과 연동되어 작동하게 된다. 사용자가 대화하는 SLM은 대부분 스마트 글래스 안에서 로컬로 실행될 것이다.

개인 사용자가 코파일럿+ PC를 직접 사용하지 않을 수도 있다. 그러나 앞으로는 뮤 같은 기술을 매일, 다양한 기기에서 업무와 일상생활의 중심 도구로 사용하게 될 것이다. 기계와 상호작용하는 방식의 진정한 미래를 엿볼 수 있다.
dl-itworldkorea@foundryco.com