TPU(Tensor Processing Unit)은 AI 가속을 위해 특별히 설계된 전용 AI 가속기이다. TPU는 특정 작업을 위해 설계된 칩인 ASIC의 한 종류로, 학습과 추론을 포함한 AI/ML 워크플로우를 실행하고 최적화하는 데 특화되어 있다.

전통적인 컴퓨팅의 중심축 역할을 하는 CPU나 고성능 컴퓨팅과 게임에 활용되는 GPU와 달리, TPU는 AI, 그중에서도 LLM과 생성형 AI가 요구하는 복잡한 연산을 처리하도록 특별히 설계된 프로세서이다. TPU는 코드와 콘텐츠 생성(텍스트, 오디오, 비디오, 3D 모델), 추천 엔진, 컴퓨터 비전, 자연어 처리(NLP), 생성형 AI, 에이전틱 AI(agentic AI) 등 광범위한 사용례에 적합한 가속기이다.

TPU는 구글이 구글 검색, 구글 번역, 구글 포토 같은 자사 AI 애플리케이션의 속도와 성능을 높이기 위해 처음 개발했다. 구글은 특히 자사가 구축한 오픈소스 ML 프레임워크 텐서플로우(TensorFlow)의 연산을 가속하기 위해 TPU를 고안했는데, 텐서플로우는 CPU와 GPU에 걸친 연산을 분산해 처리할 수 있는 기능을 제공한다.

구글은 2018년에 TPU를 처음 시장에 공개했고, 주로 구글 클라우드의 TPU 기반 클라우드 서버 인스턴스를 통해 제공했다. 이후 TPU는 구글 AI 인프라의 핵심 구성요소로 자리 잡았다.

TPU의 동작 방식

AI 플랫폼과 그 기반이 되는 ML 모델은 매우 집약적인 수치 연산을 필요로 하는데, TPU는 기본적으로 텐서 연산에 최적화된 프로세서이다. 텐서는 데이터를 저장하고 처리하는 다차원 배열, 즉 행렬 구조이다. 머신러닝과 딥러닝, 과학 연산에서 신경망 연산과 데이터 분석을 움직이는 기본 데이터 구조, 일종의 기어 역할을 한다.

TPU는 ALU(Arithmetic Logic Unit)를 대규모로 묶은 특수 연산 블록인 텐서 코어 또는 MXU(Matrix Multiply Unit)로 구성된다. 이 구조는 덧셈과 곱셈, 선형대수 연산, 그리고 데이터에서 특징을 추출하는 데 필수적인 합성곱(convolution) 연산을 처리한다.

간단히 말해 TPU는 데이터를 입력받아 여러 작업(벡터)으로 쪼개고, 각 벡터에 필요한 수학 연산을 동시에 수행한 뒤 결과를 모델로 다시 전달하는 방식으로 동작한다.

텐서 연산은 병렬 처리, 고속 행렬 연산, 높은 메모리 대역폭을 통해 복잡한 데이터(이미지, 오디오, 비디오 등)를 포함한 방대한 데이터셋을 동시에 처리할 수 있기 때문에 딥러닝 알고리즘의 핵심 기반이다.

TPU는 성능 병목 지점을 직접 겨냥해 설계된 덕분에, GPU나 CPU보다 훨씬 빠르게 예측 연산을 수행할 수 있다. 16비트 부동소수점 연산 같은 저정밀도 연산도 지원해, 대부분 AI 워크로드에서 정확도를 떨어뜨리지 않으면서 초당 처리할 수 있는 연산량을 늘린다. 특히, TPU는 행렬 연산을 훨씬 빠르게, 훨씬 적은 전력으로 수행할 수 있고, 아키텍처 차원에서 불필요한 연산을 줄이도록 설계되어 있다.

TPU의 장점

TPU는 모델 학습과 배포를 전통적인 GPU, CPU 기반 아키텍처보다 훨씬 빠르고 훨씬 큰 규모로 처리할 수 있기 때문에 AI 개발에서 필수적인 역할을 맡고 있다. TPU의 주요 장점은 다음과 같다.

• 목적 기반 아키텍처. TPU는 행렬·텐서 연산을 위해 특별히 설계된 프로세서이기 때문에, 학습과 추론을 훨씬 효율적으로 수행할 수 있다. GPU나 CPU로 며칠 또는 몇 주 걸리는 작업을 TPU는 크게 단축할 수 있다.
• 대규모 병렬 처리. 거대한 규모의 곱셈·누산 산술논리연산장치 배열이 초고속 동시 연산을 지원한다. 이 구조는 대규모 배포와 복잡한 모델 아키텍처를 처리하는 데 유리하다.
• 확장성. TPU는 수백 개, 심지어 수천 개까지 클러스터로 묶어 TPU 팟으로 구성할 수 있어 엑사스케일 컴퓨팅을 구현한다. 이 확장성을 활용해 음성 인식, 기계 번역, 추천 시스템, 이미지 및 각종 콘텐츠 생성 모델 같은 초대형 모델을 학습할 수 있다.
• 우수한 처리량과 성능. 최소한 신경망 기반 작업에 한정하면 TPU는 속도와 에너지 효율 측면에서 GPU를 능가하는 성능을 보인다. 일부 벤치마크에서는 TPU가 GPU보다 성능과 처리량이 2.5배에서 4배까지 높고, 전체 학습 시간도 크게 줄어든 것으로 나타났다.
• 에너지 효율성. 목적 기반 회로와 최적화된 메모리 계층 구조 덕분에 TPU는 전통적인 아키텍처보다 낮은 전력으로 높은 성능을 제공한다. 데이터센터 비용과 지속 가능성을 고려할 때 매우 중요한 장점이다.
• 클라우드 통합. TPU는 구글 클라우드와 긴밀히 통합되어 있으며, 텐서플로우와 JAX, 파이토치 같은 프레임워크와 함께 사용할 수 있다. 클라우드 TPU는 학습, 파인튜닝, 추론에 모두 활용할 수 있도록 설계된 유연한 자원이며, 매니지드 서비스 형태로 제공되기 때문에 개발팀이 대규모 인프라 투자 없이 필요할 때마다 확장할 수 있다.

TPU의 주요 사용례

TPU는 대규모 모델 학습과 초고속 대규모 추론을 지원해 다양한 실제 서비스를 뒷받침한다. 대표적인 사용례는 다음과 같다.

• 자연어 처리(NLP). AI 챗봇, 번역, 감성 분석, 음성 인식.
• 컴퓨터 비전. 얼굴 인식, 로보틱스, 의료 영상 분석, 사물인터넷(IoT) 애플리케이션.
• 추천 시스템. 웹 서비스, 전자상거래, 미디어 플랫폼에서 개인화된 콘텐츠 추천.
• 미디어·콘텐츠 생성. 텍스트, 비디오, 오디오, 3D 콘텐츠, 심지어 개인화 팟캐스트 생성.
• 데이터 분석. 원천 데이터를 처리해 중요한 인사이트를 도출하고, 효율성을 개선하고, 새로운 기회를 발굴하며, 다양한 비즈니스 목표를 지원하는 분석 작업.
• 엣지 컴퓨팅. IoT처럼 데이터 발생 지점 또는 근처에서 데이터를 처리해, 실시간 또는 준실시간 인사이트와 처리량을 제공해야 하는 환경.
• 강화학습. 가상 환경(추천 시스템)과 실제 환경(로보틱스, 자율주행)에서 보상을 극대화하는 행동 시퀀스를 모델이 스스로 찾도록 하는 학습 방식.

TPU vs GPU vs CPU

TPU와 GPU, CPU는 오늘날 컴퓨팅 환경에서 각자 다른 역할을 맡고 있다.

CPU는 범용 프로세서로, 오늘날 컴퓨팅 환경의 핵심, 일종의 “두뇌” 역할을 한다. 수십 년 전부터 사용되어 왔고, 가장 단순한 수준에서는 컴퓨터가 동작하도록 만드는 부품이라고 볼 수 있다. CPU는 모든 소프트웨어를 지원하며, 높은 수준의 커스터마이징이 가능하고 어디서나 구할 수 있으며, 코어 수를 늘리는 방식으로 확장할 수 있다. 다만 병렬 처리 능력은 제한적이다.

TPU와 GPU는 딥러닝과 복잡한 계산 작업에서는 전통적인 CPU보다 훨씬 큰 이점을 제공한다. 다만 최적화 대상이 서로 다르고, 제공하는 장단점도 서로 다르다.

아키텍처와 설계

• TPU는 구글이 대규모 병렬 행렬·텐서 연산을 지원하도록 설계한 맞춤형 ASIC이다. 이런 연산은 신경망의 기본 빌딩 블록 역할을 하며, 특정 AI 작업에서 매우 높은 수준의 가속 성능을 제공한다. TPU는 클라우드에 TPU 포드를 늘리는 방식으로 확장한다.

• GPU는 원래 비디오 게임용 그래픽 렌더링을 위해 설계한 프로세서이다. GPU에는 병렬 연산에 최적화된 소형 그래픽 코어가 수천 개 들어 있으며, 이 구조가 그래픽을 넘어 머신러닝, 데이터 분석, 고급 과학 계산 같은 다양한 워크로드에도 잘 맞는 것으로 확인됐다. GPU 확장은 여러 GPU를 서로 연결해 구성하는 방식으로 이뤄진다.

성능

• TPU는 텐서 연산 비중이 높고 배치 크기가 큰 워크로드에서 GPU보다 더 높은 성능을 내는 경우가 많다. TPU는 높은 병렬 처리 능력과 우수한 메모리 대역폭 덕분에, 특히 하이퍼스케일 환경에서 딥러닝 신경망을 더 빠르고 더 적은 에너지로 학습할 수 있다.

• GPU는 텐서플로우, 파이토치, 쿠다(CUDA) 같은 다양한 딥러닝 프레임워크에서 강력한 성능을 제공하는 범용 가속기이다. 배치 크기가 상대적으로 작은 다양한 네트워크 아키텍처에서 학습과 추론 모두에 뛰어난 성능을 발휘할 수 있다.

유연성, 생태계, 배치 옵션

• TPU는 AI와 딥러닝에 특화된 가속기로, 구글 클라우드 생태계와 긴밀히 통합되어 텐서플로우, JAX, 파이토치 같은 프레임워크에서 높은 성능을 제공한다. 주로 특정 목적에 맞춰 제한적으로 설계된 만큼, 행렬 연산 비중이 크지 않은 워크로드나 커스텀 하드웨어가 필요한 프로젝트에는 적합하지 않은 경우도 있다.

• GPU는 유연성이 매우 높다. 다양한 소프트웨어 생태계를 지원하며, 여러 종류의 연산 작업을 처리할 수 있다. GPU는 다수 솔루션 업체가 다양한 구성으로 공급하고 있고, 데이터센터와 클라우드, 온프레미스 장비, 엣지 디바이스 등 여러 환경에 배치할 수 있다.

비용과 전력 효율

• TPU는 와트당 처리량과 대규모 환경에서의 비용 효율을 극대화하도록 설계된 가속기이다. 이런 아키텍처 덕분에 초대형 신경망의 학습과 추론 비용을 크게 낮출 수 있다.

• GPU는 다양한 워크로드에 걸쳐 비용 효율적인 선택지이지만, 대규모로 확장할 경우 더 많은 전력과 냉각 인프라를 요구하는 경우가 많다.

결론적으로 TPU는 대규모 텐서 연산 중심 딥러닝에 최적화된 가속기로, 높은 효율과 성능을 제공한다. GPU는 단순한 AI/ML 작업부터 다양한 고성능 연산까지 폭넓은 소프트웨어 지원과 높은 접근성을 제공하는 유연한 선택지이다. CPU는 여전히 범용 컴퓨팅과 레거시 환경 호환성 측면에서 가장 적합한 프로세서이다.

TPU는 복잡한 AI/ML 작업에서 매우 강력한 성능을 제공하지만, 기업의 전통 워크로드에는 항상 필요하거나 유용한 선택은 아니다. 단순한 작업에는 TPU가 과도한 선택이 될 수 있다.

TPU의 해결과제와 한계

다른 기술과 마찬가지로 TPU에도 한계와 과제가 존재한다.

특화된 용도. TPU는 행렬 연산 중심 신경망 작업에 지나치게 특화되어 있다고 보는 시각도 있다. 행렬 연산 비중이 낮은 워크로드나, 커스텀 하드웨어가 필요한 프로젝트에는 적합하지 않은 경우가 있다.

제한적인 가용성. TPU는 대부분 구글 클라우드를 통해서만 접근할 수 있기 때문에, 독자적인 인프라 요구사항이 있는 조직은 배치 옵션이 제한될 수 있다.

프레임워크 종속성. TPU는 텐서플로우에서 가장 좋은 성능을 발휘하지만, JAX와 파이토치 같은 다른 프레임워크에 대한 지원은 이제 막 확장하고 있는 단계이다. 이에 비해 GPU 생태계는 훨씬 폭넓게 형성되어 있다.

전문성. TPU에 맞게 코드를 최적화하려면 추가적인 개발자 역량과 워크플로 조정이 필요할 수 있다.

가용성

앞에서 언급한 것처럼 TPU는 구글의 내부용 칩으로 처음 개발됐다. 현재까지는 물리 하드웨어나 온프레미스 배치 형태로 직접 구매할 수 없다. 다만 소형 엣지 TPU는 로컬 디바이스 애플리케이션용으로 제공되고 있다.

구글 클라우드는 트릴리움(Trillium), TPU v5p, TPU v5e 아키텍처 기반의 관리형 TPU 인스턴스를 제공한다. 기업은 모델 학습과 파인튜닝, 추론을 위해 TPU 장착 서버를 임대해 사용할 수 있다. 텐서플로우 같은 프레임워크와의 통합 기능을 활용하면 개발자와 데이터 과학자가 기존 워크플로우를 TPU로 비교적 수월하게 이전할 수 있다.

구글은 최근 7세대 TPU인 아이언우드(Ironwood)를 일반에 공급한다고 발표했다. 구글은 아이언우드가 대규모 모델 학습과 복잡한 강화학습, 대량·저지연 AI 추론과 모델 서빙 같은 고난도 워크로드를 위해 설계된 칩이라고 설명한다. 또한, TPU v5p보다 피크 성능이 10배 높고, TPU v6e 대비 학습과 추론에서 칩당 성능이 4배 이상 향상되었다고 밝혔다.

클라우드 TPU는 콘솔, API, 구글의 버텍스 AI(Vertex AI) 같은 매니지드 서비스에서 이용할 수 있다. 버텍스 AI는 쿠버네티스와 다른 클라우드 네이티브 도구와의 연계를 지원하는 완전 관리형 AI 개발 플랫폼이다. 구글 문서에 따르면, TPU 가격 체계는 사용량 기반 과금 방식이며, 기간을 길게 약정하거나 사용량이 많을수록 할인을 제공한다.

본격적인 확장 단계의 AI를 위한 프로세서

TPU는 대규모 컴퓨팅의 다음 단계를 상징하는 프로세서로, 엔터프라이즈급 AI의 가능성을 사실상 새로 정의했다. TPU의 특화된 아키텍처는 가장 까다로운 AI 워크로드도 빠르고 효율적으로 처리할 수 있도록 설계됐다.

GPU와 CPU는 컴퓨팅 생태계에서 여전히 중요한 역할을 맡고 있고 앞으로도 그 역할이 유지되겠지만, TPU는 AI를 통해 새로운, 한층 고도화된 기회를 열어 갈 잠재력을 지닌 가속기이다.
dl-itworldkorea@foundryco.com