Cloud TPU v5p é o novo e mais poderoso acelerador de IA do Google

Google apresentou novo acelerador de IA Cloud TPU v5p com até três vezes mais desempenho em inferência e LLM para alimentar ecossistema de produtos da empresa

Por: Daniel Trefilio

6 dez 2023 - 14h02

(atualizado às 17h04)

Exibir comentários

A Google apresentou o novo Cloud TPU (Unidade Tensor de Processamento) v5p, para próxima geração de carga de trabalho em IA. O v5p é a solução de TPU mais poderosa da Google, capaz de treinar modelos LLM até 2,8 vezes mais rápido que geração anterior e irá alimentar ecossistema de produtos Google, entre Android, Gmail e YouTube.

Diferente do v5e, apresentado em agosto com foco em eficiência operacional de custo reduzido, o v5p é projetado para o maior desempenho possível. O novo TPU é quatro vezes mais escalável que o atual TPU V4, e entrega duas vezes mais desempenho em operações de pontos flutuantes (FLOPS).

Racks com TPUs Google v5p para hipercomputadores de IA em nuvem. (Imagem: Google/Divulgação)
Foto: Canaltech

Hipercomputadores otimizados para soluções de IA

O Cloud TPU v5p traz 8.960 chips integrados via interconectores com 4.800 Gbps de largura de banda. Além disso, ele conta com três vezes mais memória HBM, também com maior largura de banda, representando um escalonamento extremamente significativo em relação ao v4.

Para tirar o máximo proveito dessa evolução, a Google lançou hipercomputadores de IA equipados com os TPU v5p, garantindo otimização entre hardware e softwares em um produto seguro, confiável e de fácil implementação. Isso permite que empresas contratem soluções em nuvem flexíveis, adequadas a cada demanda e com amplo suporte às ferramentas mais modernas de IA.

Comparativo TPUs Google para caraga de trabalho em IA e LLM
	v4	v5e	v5p
Chips por unidade	4.096	256	8.960
Largura de Banda Interconectores	2.400 Gbps	1.600 Gbps	4.800 Gbps
BF16 TFLOPS	275	197	459
Memória HBM	32 GB	16 GB	95 GB
Largura de Banda HBM	1.228 GB/s	820 GB/s	2.795 GB/s

"Em nossos estágios iniciais de uso, a Google DeepMind e Google Research observaram velocidades 2x superiores em treinamento de modelos LLM com os chips v5p sobre a nossa atual geração v4.", afirmou Yoav HaCohen, Chefe de Pesquisa em IA Generativa da Lightricks.

Segundo Jeff Dean, pesquisador chefe da Google DeepMind, os TPU v5p e hipercomputadores de IA da Google levam a clientes parceiros "o resultado de décadas de pesquisa em IA", para que eles possam inovar cada vez mais rápido nesse segmento.

🛒Compre smartfones Android pelo melhor preço!

🛒Compre GPUs Nvidia GeForce RTX com DLSS pelo melhor preço!

Trending no Canaltech: