[구글 I/O 2026] 8세대 TPU ‘8t·8i’ 듀얼칩 공개… 와트당 성능 2배, 초당 1500토큰 실시간 시연

구글이 19일 I/O 2026에서 8세대 텐서처리장치(TPU)를 공개하며 AI 인프라 투자의 규모를 드러냈다. 10년 전 같은 I/O 무대에서 첫 상용 TPU를 발표했던 구글은, 이번에 처음으로 학습과 추론을 분리한 ‘듀얼칩’ 방식을 택했다. 이름은 ‘TPU 8t’와 ‘TPU 8i’다.

투자 규모부터 눈에 띈다. 2022년 연 310억 달러였던 구글의 자본 지출은 올해 약 1,800억~1,900억 달러로, 4년 만에 6배 가까이 늘었다. 그 핵심에 자체 설계 반도체가 있다.

두 칩은 생김새는 비슷해도 역할이 다르다. ‘8t’는 대규모 사전 학습에 특화돼 이전 세대보다 연산 성능이 약 3배 높다. 잭스(JAX)와 패스웨이(Pathways) 덕분에 학습이 더 이상 단일 데이터센터에 묶이지 않고, 전 세계 100만 개 이상의 TPU에 분산된다. 구글은 이를 “세계 최대 규모의 학습 클러스터”라고 표현했다. 개발자 입장에서는 더 크고 강력한 모델을 몇 달이 아니라 몇 주 만에 학습시킬 수 있게 된 셈이다.

‘8i’는 추론에 맞춰 설계됐다. 구글은 “검색을 27년간 다루며 배운 게 있다면 지연 시간이 가장 중요하다는 점”이라며, 무대에서 8i 위에서 돌아가는 차기 플래시 모델로 크롬 공룡 게임을 즉석에서 코딩하는 장면을 시연했다. 화면 오른쪽 위 토큰 처리 속도는 초당 약 1,500개를 찍었다. 요청을 타이핑하는 시간이 응답 생성보다 더 걸릴 정도였다.

속도뿐 아니라 효율도 챙겼다. 두 칩 모두 와트당 성능이 최대 2배 향상돼, 전력 소모를 줄이면서 확장하는 방향을 잡았다. 8세대 TPU는 클라우드 넥스트(Cloud Next)에서 먼저 발표됐으며, 이번 I/O에서 그 활용 사례가 구체화됐다.

자세한 내용은 구글 블로그에서 확인할 수 있다.

이미지 출처: 구글