프레임워크 데스크톱 DIY 에디션은 독특하다. PC를 처음부터 직접 조립할 필요 없이 자신만의 데스크톱을 만드는 방식으로, 작고 개성 있는 ‘생성형 AI 워크스테이션’을 구축할 수 있다. 브랜드가 익숙하지 않아 걱정할 필요는 없다. 프레임워크는 매뉴얼부터 재질 표면에 새겨진 안내 문구에 이르기까지 거의 집착에 가까운 관심을 기울였다. 손나사를 조이는 방법까지 사진 여러 장을 준비해 사용자가 편안하게 접근할 수 있도록 설계했다.

개선이 필요하다고 느낀 점도 몇 가지 있었다. 메모리는 메인보드에 납땜된 방식이라 교체가 불가능하고, 드라이버 번들은 아직 베타 단계이며, 상단 패널은 생각보다 부착이 쉽지 않았다. SSD를 장착하는 과정에서도 다소 긴장해야 했다.

그럼에도 불구하고, 프레임워크의 사용자 맞춤형 설계 철학은 기능성과 재미를 동시에 제공한다. 직접 디자인한 컬러 타일, 사용자가 선택할 수 있는 입출력 포트 구성 등이 대표적이다. 내부에는 다소 특별한 구성의 AMD 라이젠 AI 맥스+(스트릭스 헤일로) 프로세서가 탑재되어 있다. 프레임워크 데스크톱 리뷰용 체험을 하면서 매우 높은 평가를 내렸고, 사용자 역시 그럴 것이라고 생각한다.

Mark Hachman / Foundry

가로 약 9인치, 세로 약 4인치 크기의 이 제품은 데스크톱으로서 충분한 실용성을 갖춘 폼팩터다.

사양 개요

프레임워크는 사용자가 직접 부품을 선택하는 형태지만, 자유도가 무한하지는 않다. 필자가 테스트한 제품은 DIY 에디션으로, 사용자가 직접 조립해야 하는 모델이다. 프레임워크는 완성된 조립형 모델도 별도로 판매한다.

제품 구성 시, 사용자는 라이젠 AI 맥스 프로세서를 선택해야 한다. 이 칩은 내장 그래픽을 탑재하고 있으며, 예시로는 8코어·32GB LPDDR5X 메모리가 연결된 맥스 385, 16코어·최대 128GB 메모리를 지원하는 맥스+ 395가 있다. 프로세서는 프레임워크 메인보드에 사전 장착된 상태로 제공되며, 케이스 및 전원 공급장치도 포함되어 있다. 단, 메모리는 납땜 방식으로 교체 불가하다.

기본 구성 가격은 AMD 라이젠 AI 맥스 385 기준 1,099달러, 맥스+ 395는 1,999달러부터 시작한다. DIY 방식은 저장장치를 사용자가 직접 설치할 수 있으나, 실제로는 프레임워크에서 함께 구매하는 경우가 많다.

저장장치 옵션으로는 WD 블랙 SSD(500GB에서 8TB까지, 용량별 각각 69달러에서 699달러까지), 윈도우 11 프로 라이선스(최대 199달러), 투명 사이드 패널, 커스텀 타일 등 다양한 부가 요소가 있다. 세 종류의 120mm CPU 팬 중 하나를 선택하거나, 직접 장착할 팬을 따로 준비할 수도 있다. 필자가 테스트한 모델의 전체 비용은 2,500달러 이상이었다.

요약하자면, 사용자가 SSD와 운영체제를 별도로 마련하는 경우, 프레임워크 데스크톱의 시작가는 1,099달러다. 그러나 대부분은 저장장치를 프레임워크에서 함께 구매하게 된다. 확장 카드(개당 11~39달러)와 컬러 타일(단색 7개 묶음 10~15달러, 로고 타일은 개당 5달러) 역시 선택 사항이지만, 프레임워크만의 재미 요소로 작용한다.

Mark Hachman / Foundry

투명 플라스틱 케이스 또는 블랙 메탈 그릴 케이스 중 선택할 수 있다.

프레임워크의 데스크톱 구성 페이지에서는 이 모든 옵션을 명확히 안내하고 있다. 다만, 프레임워크는 제품을 배치 단위로 생산하므로, 현재는 10월 이후까지 품절 상태임을 유의해야 한다.

(기사 작성 시점 기준, 프레임워크는 트럼프 전 대통령의 반도체 100% 관세 제안에 대해 별도 입장을 내놓지 않았다. 프레임워크 관세 관련 블로그에서 최신 정보를 확인할 수 있다.)

프레임워크 데스크톱 주요 사양

• 프로세서 : AMD 라이젠 AI 맥스 385 / 맥스+ 395
• 그래픽 : 라데온 8060S (내장형)
• 생성형 AI 처리 장치(NPU) : 있음, 50TOPS
• 메모리 : 32GB(맥스 385) / 64GB 또는 128GB(맥스+ 395), LPDDR5X-8000, 메인보드에 납땜
• 저장장치 : NVMe PCIe 4.0 SSD, 500GB~8TB (테스트 모델은 2TB)
• 전원 공급장치 : 400W, 골드(110V) 또는 실버(230V) 등급
• 포트 구성 : USB-C 40Gbps 2개, 디스플레이포트 2.1 2개, USB-A 10Gbps 2개, HDMI 2.1, 5Gb 이더넷, 3.5mm 오디오 잭
• 보안 기능 : 통합 보안 기능 없음
• 무선 통신 : 와이파이 7, 블루투스
• 운영체제 : 사용자 제공 (테스트 모델은 윈도우 11 프로)
• 크기 : 22.6 x 20.6 x 9.9cm
• 무게 : 약 3.1kg
• 색상 : 블랙
• 가격 : 시작가 1,099달러, 테스트 모델 기준 2,515달러

조립 과정

프레임워크 데스크톱 리뷰 유닛은 마치 이케아 제품처럼 ‘평평한 포장’ 박스에 담겨 도착했다. (프레임워크 측에서 어떻게 꾸며주면 좋을지 물었고, 필자는 PCWorld 로고 이미지와 함께 “멋지게 만들어 달라”고 요청했다.)

Mark Hachman / Foundry

모든 부품은 개별 상자에 포장되어 왔으며, 상자 상단에는 HTML 기호와 온라인 퀵 스타트 빌드 가이드 링크가 인쇄돼 있었다. 이 조립 과정은 극도로 상세하고 쉬웠으며, 정확하고 문서화된 설명을 좋아하는 사용자에게 특히 만족스러운 경험이었다. 이케아 설명서를 보며 괴로웠던 기억이 있다면, 프레임워크의 가이드는 그런 고통을 완전히 씻어줄 것이라고 장담한다.

프레임워크 데스크톱의 크기는 22.6 x 20.6 x 9.9cm, 내부 공간 기준 약 4.5리터다. 일반 백팩에도 넣을 수 있을 정도의 크기지만, 노트북만큼 간편하지는 않다.

필자의 조립 경험에서 알 수 있듯, 프레임워크의 DIY 에디션은 실제로 사용자가 할 일은 많지 않다. SSD를 삽입하고, 쿨링 팬을 부착하며, 측면 패널·타일·확장 카드를 장착하는 정도다. 일반적인 PC 조립이 CPU 설치, 써멀 페이스트 도포, 메인보드 장착 등 복잡한 절차를 요구하는 것과는 달리, 이 제품은 그 대부분이 이미 사전 조립되어 있다.

프레임워크는 미니-ITX 규격 메인보드를 금속 섀시 안에 미리 장착하고, 플렉스ATX 규격의 400W 파워(110V 골드 또는 230V 실버 등급)도 함께 설치해둔다. SSD 설치는 사용자가 직접 해야 하는데, 기본 M.2 슬롯이 내부 깊숙한 곳에 있어 다소 어렵게 느껴질 수 있다. 반면, 보조 슬롯은 메인보드 하단에 있어 측면 패널을 열면 쉽게 접근 가능하다.

프레임워크 데스크톱의 측면 패널을 제거하면 히트싱크가 노출되며, 사용자가 직접 CPU 팬을 나사 4개로 부착해야 한다. SSD는 그 오른쪽에 있다.

Mark Hachman / Foundry

프레임워크 공식 사양 페이지는 CPU 팬의 소음·풍량 수치, 히트싱크의 크기와 구조에 이르기까지 과도할 정도로 상세한 정보를 제공한다. 데스크톱은 조용하게 작동하며, 내부 배선도 깔끔하게 정리되어 있다.

프레임워크는 심지어 프레임워크 메인보드를 케이스에서 분리해 커스텀 케이스에 장착하는 방법에 대한 가이드까지 제공한다.

프레임워크 데스크톱의 CPU 팬이 설치된 상태

Alex Esteves / Foundry

조립에 걸리는 전체 시간은 약 45분이며, 이 안에는 운영체제 설치 시간(보통 20~30분)도 포함되어 있다. 필자가 받은 제품에는 AMD가 아직 공식 인증하지 않은 베타 드라이버가 포함되어 있었기 때문에, 운영체제 설치 외에도 와이파이, 오디오 등 드라이버 패키지를 별도로 설치해야 했다. 성능에도 드라이버 상태가 영향을 미쳤다. (프레임워크 측은 리뷰가 출간되기 전날, 최종 드라이버 제공을 시작했다고 밝혔다.)

프레임워크 데스크톱에 탑재된 라이젠 AI 맥스 CPU는 모바일 칩셋으로, 칩셋이 프로세서에 통합되어 있다. 이는 업그레이드 측면에서 장점으로 작용한다.

대다수 측면 패널은 자석 또는 탭 조합 방식으로 부착되며, 대체로 부드럽게 장착되지만 약간의 조정이 필요할 수 있다. 단, 상단 패널의 경우에는 문제가 있었다. 프레임워크는 상단 패널을 슬라이딩 탭과 손나사 2개로 고정하는 방식을 택했는데, 탭이 몇 분간 전혀 들어가지 않다가 갑자기 잘 들어가는 식의 불안정한 작동을 보였다. 프레임워크가 이 구조를 다른 방식으로 개선할 필요가 있다.

측면 패널을 제거하면 메인보드 하단이 드러나며, 보조 SSD 업그레이드를 제외하면 열 이유는 거의 없다.

Mark Hachman / Foundry

컬러 타일 설치도 잊지 말자. 이 타일은 프레임워크 데스크톱의 ‘영혼’으로, 다양한 색상으로 제공되며 일부 커스텀 타일에는 좁은 통풍구가 있다. 처음에는 먼지 필터 역할이라 생각했지만, 실제로는 측면 그릴에서 공기를 흡입 → CPU 팬으로 쿨링 → 전면과 후면으로 배출하는 구조임을 확인했다.

많은 사람이 노트북에 스티커를 붙여 장식하듯, 프레임워크 데스크톱은 컬러 타일로 장식할 수 있다. 필자는 평소 스티커를 싫어하지만, 프레임워크가 제공한 PCWorld 커스텀 타일을 중심으로 작은 모자이크를 만드는 작업이 꽤 재미있었다.

프레임워크는 리뷰용으로 PCWorld 로고가 들어간 커스텀 타일을 제작했지만, 일반 소비자에게는 아직 이런 기회가 없다.

전면 패널만 자석 방식으로 고정되며, 공기 흐름을 위해 통풍구가 있는 타일을 전면 상단에 배치해야 케이스 내부 공기 배출을 방해하지 않는다.

Mark Hachman / Foundry

프레임워크 데스크톱에는 디스플레이포트 2개, HDMI, USB4 2개, USB-A 2개, 5Gbps 이더넷 포트가 탑재되어 있다.

Mark Hachman / Foundry

Mark Hachman / Foundry

후면 포트 구성에는 HDMI 2.1, 디스플레이포트 2.1 2개, USB4 40Gbps 2개, 5Gbps 이더넷, USB-A 2개, 3.5mm 오디오 잭이 포함된다. USB4 포트는 썬더볼트 독 연결도 지원하며, 썬더볼트 4 독과도 호환된다.

프레임워크는 전면 포트 2개에 연결하는 ‘확장 카드’ 형태의 입출력 커넥터를 여러 개 구매할 수 있도록 구성했다. 각 확장 카드는 본질적으로 수동형 USB-C 동글이며, USB-A, 이더넷, 헤드폰 잭 등 디스플레이포트를 제외한 거의 모든 포트를 제공한다. 각 카드는 슬롯에 삽입한 뒤, 케이스 하단에 있는 작은 잠금 장치를 이용해 고정된다. 성능이나 교체 편의성 측면에서 모든 것이 완벽하게 작동했다.

프레임워크 데스크톱 성능

프레임워크 데스크톱 테스트는 쉽지 않았다. 너무 많은 일을 잘 해내기 때문이다. 이 제품은 생산성 중심의 조용한 데스크톱 PC이자, 내장 그래픽만으로도 야간에도 게이밍이 가능한 성능을 갖췄다. 하지만 프레임워크 데스크톱의 진정한 존재 이유는 VRAM 용량이 충분해 다양한 생성형 AI 모델(이미지 생성, 챗봇, 대규모 언어 모델 등)을 로컬에서 실행한다는 것에 있었다.

AMD 라이젠 AI 395+ 프로세서는 55W의 TDP를 지원하는 모바일 및 데스크톱 겸용 칩셋이다. 지금까지 이 칩이 탑재된 제품은 에이수스 ROG 플로우 Z13과 같은 게이밍 태블릿이나 HP Z북과 같은 고성능 노트북에 한정되어 있었다. 제조업체는 이러한 제품을 “AI 워크스테이션”이라 부르기도 하지만, 기존 대형 워크스테이션과는 매우 다른 모습이다. 프레임워크 데스크톱도 마찬가지다.

일반 데스크톱 GPU에는 전용 비디오 메모리(VRAM)가 있지만, 노트북은 시스템 메모리를 나눠 사용한다. 라이젠 AI 맥스(스트릭스 헤일로)는 모바일 프로세서이기 때문에 이 차이는 더욱 중요하다.

AI 응용 분야에서, GPU에 할당된 VRAM은 곧 생성형 AI 알고리즘이 사용하는 연산 메모리다. 인텔 기반 노트북은 RAM을 GPU와 운영체제가 1 :1로 나누는 방식인데, 예를 들어 인텔 코어 울트라 노트북이 32GB RAM을 탑재한 경우, 이 중 16GB는 시스템에, 나머지 16GB는 GPU에 할당된다. AMD는 BIOS 설정에서 사용자가 VRAM을 수동 조정할 수 있도록 허용하지만, 인텔 기반 노트북에서는 거의 불가능한 일이다.

이 차이가 중요한 이유는 다음과 같다. 필자가 받은 프레임워크 데스크톱은 RAM 용량이 많음에도 최적화되지 않은 상태였다. 프레임워크는 초기 리뷰 유닛에 베타 드라이버를 탑재해 출하했는데, 해당 드라이버는 특히 생성형 AI 작업에서 성능이 부족했다. 그러나 AMD가 ‘아드레날린’ 소프트웨어 패키지에서 새로운 베타 드라이버를 내놓으면서, 맥스+ 395에 연결된 128GB 메모리 중 32GB를 시스템이, 나머지 96GB를 VRAM이 사용할 수 있도록 구성할 수 있게 되었다.

필자는 먼저 프레임워크 데스크톱을 기존 스트릭스 헤일로 기반 모바일 PC와 비교했다. 그 후에는 여러 게이밍 노트북과 비교해 이 데스크톱의 성능 위치를 파악했다. 프레임워크 데스크톱이 어떤 게이밍 노트북과 성능적으로 유사한지 비교하는 것도 유의미한 기준이라고 판단했기 때문이다.

첫 번째 비교군은 다음과 같다.

• HP Z북 울트라 G1a : 라이젠 AI 맥스+ 프로 395, RAM 128GB
• 에이수스 ROG 플로우 Z13 : 라이젠 AI 맥스+ 395, RAM 32GB
• 에이수스 젠북 S16 : 라이젠 AI 9 HX 370, RAM 32GB (성능 등급은 낮음)

Mark Hachman / Foundry

Mark Hachman / Foundry

일부 테스트에서는 데스크톱 특유의 쿨링 효과, 일부는 VRAM 용량 차이가 결과에 영향을 주었다. 예를 들어, 시네벤치는 순수하게 CPU 성능만 측정하는 테스트로, 단일 쓰레드 기준으로는 성능이 비슷하지만, 전체 코어/쓰레드 성능에서는 프레임워크 데스크톱이 Z북 대비 19.6% 더 높은 점수를 기록했다. 이는 더 뛰어난 쿨링 시스템 덕분으로 보인다.

모든 장비를 실물로 테스트한 것은 아니며, 일부는 리뷰용 장비를 공유하는 형태였다. 이 중 블렌더 벤치마크는 오픈소스 3D 툴을 이용해 세 장면을 렌더링하며, CPU와 GPU 모두를 활용한다. ‘Monster’ 테스트 기준으로, 프레임워크 데스크톱은 HP Z북 대비 27.6% 더 나은 성능을 보였으며, 이것은 드라이버 개선 전의 결과다.

Mark Hachman / Foundry

이 시점에서 드라이버의 영향에 대한 의문이 생겼다. 프로시온(Procyon) 이미지 생성 테스트는 동일한 프롬프트를 기반으로 16장의 1024×1024 이미지를 생성하는데, 프레임워크 데스크톱은 빠르게 작업을 완료했음에도 일부 노트북보다 느린 결과를 보여주었다. 알고 보니, 기존 드라이버는 AI 알고리즘에 충분한 RAM을 할당하지 못하고 있었던 것이다.

AMD의 개선된 드라이버 적용 후, 프레임워크 데스크톱은 HP Z북 대비 이미지 생성 성능이 26% 향상되었고, 약 10초에 한 장씩 이미지를 생성하는 결과를 냈다. 독립 GPU가 없는 시스템 기준으로는 우수한 수치이며, 물론 다른 모델에서는 결과가 다를 수 있다.

Mark Hachman / Foundry

마지막으로, AI 챗봇 및 대규모 언어 모델 처리 성능도 비교했다. 4개의 구형 모델을 기반으로 질문 응답 속도와 작업 처리 속도를 측정하는 벤치마크였다. 이 테스트는 전반적으로 큰 차이가 없었으며, AMD의 개선된 드라이버 적용 후에도 파이 3.5 기준 성능이 8.7% 향상되는 데 그쳤다. 일반적으로 챗봇 성능은 시스템 간 차이가 크지 않다고 볼 수 있다.

Mark Hachman / Foundry

Mark Hachman / Foundry

게임 벤치마크는 아래에서 더 다루겠지만, 지금 소개하는 두 게임 결과만으로도 프레임워크 데스크톱이 고사양 게임도 원활하게 실행 가능하다는 점은 분명하다. 여기에서는 평균 프레임률과 함께, 가장 낮은 1% 프레임률도 함께 제시하고 있다. 이는 게임이 일시적으로 끊기는 상황에서도 최소한의 프레임이 어느 정도인지를 보여주는 지표다.

대부분의 게이머는 초당 60프레임(FPS)을 플레이 가능 기준선으로 보고 있으며, 90FPS 이상이면 이상적인 수준으로 평가한다.

두 게임 모두 최고 그래픽 설정에서도 평균 90FPS 이상을 기록했기 때문에, 최근 출시된 고사양 게임조차 프레임워크 데스크톱에서 충분히 쾌적하게 플레이 가능하다는 결론을 내릴 수 있다.

Mark Hachman / Foundry

다른 게임에 대해서는 3D마크 벤치마크를 활용해 시스템의 게이밍 성능을 간접적으로 평가했다. 개발사 UL은 이 하드웨어에는 ‘스틸 노마드 라이트(Steel Nomad Light)’ 벤치마크가 적절하다고 권장하고 있다. 이 테스트에서 프레임워크 데스크톱은 HP Z북 대비 16.5% 더 높은 성능을 기록했다.

이후 프레임워크 데스크톱을 여러 게이밍 노트북과 비교했다. 목적은 특정 제품이 가장 뛰어난지를 확인하는 것이 아니라, 스트릭스 헤일로 칩이 실제 어떤 수준의 기기와 어깨를 나란히 하는지 감을 잡는 것이다.

이번 비교군에는 다음 제품이 포함됐다.

• 에일리언웨어 16 오로라(1,499달러) : 인텔 랩터레이크 기반 코어 7 240H, 지포스 RTX 5060 탑재
• 에이수스 ROG 스트릭스 스카 16(3,299달러) : 인텔 애로우레이크 기반 코어 울트라 9 275HX, RTX 5080 탑재
• MSI 레이더 18 HX A2XW(4,499달러) : 코어 울트라 9 285HX, RTX 5080 탑재 — 지금까지 테스트한 제품 중 가장 빠른 축에 속한다

여기에 다음 제품도 추가로 비교했다.

• 델 G15(1,199.99달러) : 코어 i7-13650HX, RTX 4060 탑재
• 레이저 블레이드 14(2,699달러) : AMD 라이젠 AI 9 365, RTX 5070 탑재

AMD 라이젠 맥스+ 395는 16코어 32쓰레드 구성이며, 터보 부스트 시 최대 5.1GHz까지 동작한다. 이론적으로는 MSI 레이더에 탑재된 코어 울트라 9보다 앞서는 구성이다. MSI 레이더의 코어 울트라 9는 24코어 24쓰레드 구조이지만, 최대 5.5GHz까지 동작하므로, 속도 측면에서는 MSI 레이더 쪽에 우위가 있을 수 있다.

Mark Hachman / Foundry

필자는 일반적으로 PC마크 10을 ‘이 시스템이 일상 작업을 얼마나 잘 수행하는가’를 평가하는 기준 테스트로 활용한다. PC마크 10은 화상회의, 웹 브라우징, 오피스 작업, CAD 등 다양한 작업 시나리오를 종합적으로 평가하는 벤치마크다. 대부분의 노트북과 데스크톱은 이 항목에서 뛰어난 성능을 보이지만, CAD 같은 상대적으로 무거운 작업은 성능이 부족한 시스템의 점수를 끌어내리기도 한다.

프레임워크 데스크톱은 이 항목에서 전혀 문제가 없다. 일상적인 업무 환경에서는, 이 제품은 세계에서 가장 빠른 시스템 중 하나로 손꼽힐 수준이다.

Mark Hachman / Foundry

핸드브레이크(Handbrake)는 약 90분 분량의 장편 영화를 태블릿용 포맷으로 변환하는 벤치마크다. 현재는 대부분 비행기나 외부 환경에서 스트리밍이 일반화되어 있기 때문에 다소 구식의 테스트 방식이긴 하지만, 핸드브레이크는 모든 CPU 코어에 장시간 부하를 가해 지속적인 성능을 테스트하는 데 여전히 유용하다.

참고로, 핸드브레이크는 최근 더 최적화된 버전이 다수 출시되어 있어 성능 향상이 가능한 상황이지만, 일관된 비교를 위해 이전 버전을 그대로 사용하고 있다. 이러한 조건에서도, 프레임워크 데스크톱은 우수한 성능을 발휘했다.

Mark Hachman / Foundry

앞서 소개한 게임 성능 외에도 서로 다른 두 개의 게임 벤치마크 결과를 추가했다.

‘메트로 : 엑소더스’는 출시된 지 6년이 지났지만, 여전히 구형 및 최신 GPU 모두에 큰 부담을 주는 게임 엔진이다. 이 테스트에서는 프레임 생성 기능과 업스케일링을 비활성화했으며, 필자의 동료 아담 패트릭 머레이의 표현을 빌리자면, “직접 렌더링된 원재료 프레임”만을 측정했다. GPU가 실제로 렌더링할 수 있는 성능만을 반영한 수치다.

프레임워크 데스크톱은 이 테스트에서 게이머가 통상적으로 ‘플레이 가능 기준’으로 여기는 초당 60프레임(FPS)을 충족하지는 못했고, 전체 테스트 중 가장 낮은 성능을 기록했다. 그럼에도 불구하고, 이 제품에 탑재된 AMD 스트릭스 헤일로 칩셋이 전천후 솔루션이라는 점을 감안하면 충분히 인상적인 결과라 할 수 있다.

Mark Hachman / Foundry

Mark Hachman / Foundry

프레임워크 데스크톱을 고려할 만한 핵심 이유 중 하나는, 생성형 AI에 최적화된 사용 환경을 제공한다는 점이다. 물론 성능도 일정 부분 중요하지만, 이 제품이 특히 매력적인 이유는 모델 크기에 있다. 방대한 VRAM 용량을 AI 모델의 로딩 및 저장 용도로 할당할 수 있기 때문에, 프레임워크 데스크톱 리뷰 유닛은 다른 시스템에서 불가능한 대형 모델도 실행할 수 있다.

로컬 AI 모델은 완전히 개인적인 환경에서 동작하며, 질문 횟수나 사용 제약이 전혀 없다. 사용자는 메모리 용량이 허용하는 한 어떤 모델이든 내려받아 설치할 수 있고, 자신만의 질문에 맞게 학습시킬 수도 있다.

테스트 기간 말미, 두 개의 새로운 모델이 출시됐다. 하나는 메타의 라마 4 스카우트 109B 모델(파라미터 1,090억 개, 파일 크기 67GB)이고, 다른 하나는 오픈AI 최초의 로컬 실행 모델인 오픈AI-gpt-oss 20B(파라미터 200억 개, 파일 크기 11.3GB)이다.

테스트 질의는 다음과 같았다.

“비버가 나무를 던질 수 있다면, 얼마나 많은 나무를 던질 수 있을까요? 자세히 설명해 주세요. 단, 소나무만 사용하는 것으로 가정합니다.”

이 질문에 대해 라마 4 스카우트 모델은 초당 12.64토큰 생성, 첫 토큰 생성까지는 0.62초가 걸렸다. 반면, 오픈AI 모델은 초당 53.9토큰, 첫 토큰까지 2.27초였다.

이 수치의 의미는 무엇일까? 생성형 AI는 도트 프린터처럼 한 줄씩 텍스트를 출력한다. 속도가 적절한지는 사용자의 독서 속도에 따라 달라지며, 빠르게 읽는 사람 기준으로는 초당 12토큰이면 충분히 빠른 수준이다. 첫 토큰까지의 시간은 모델이 응답을 시작하기 전 ‘사고’에 걸리는 시간을 뜻한다.

일반적으로 파라미터 수가 많은 모델일수록 더 나은, 더 창의적인 응답을 제공하는 경향이 있다. 다만, 훈련 방식에 따라 달라질 수 있다. 작은 모델은 상대적으로 단순한 응답을 내놓는 경향이 있으며, 필자의 경우 오픈AI 모델의 응답이 더 선호될 만한 품질이었고, 메타 모델은 추가 질의가 필요한 경우가 있었다.