A solução para a crise de RAM? Google descobre novo método de compressão que diminui consideravelmente uso de memória para processos de IA

Estamos há meses envolvidos na crise da memória, mas talvez haja uma saída. Na semana passada, o Google Research publicou um estudo no qual revela uma técnica chamada TurboQuant. Trata-se de um algoritmo de compressão capaz de reduzir a memória de trabalho dos modelos de IA em até seis vezes, sem perda perceptível de qualidade ou desempenho. Notícias fantásticas para os usuários finais, que veem uma luz no fim do túnel, mas terríveis para as fabricantes dos chips de RAM, para os quais essa era dourada pode estar chegando ao fim.

Para entender o TurboQuant, é preciso entender o que é essa memória que ele consegue comprimir. Quando um modelo de linguagem processa uma conversa longa, ele precisa lembrar o contexto. Cada token processado fica armazenado no chamado KV cache, uma espécie de memória de trabalho que cresce à medida que conversamos. Quanto mais longa for a conversa, mais memória o modelo precisa.

Notícias relacionadas

Google oferece atualização gratuita para 500 milhões de usuários do Windows 10

Cursos gratuitos de Claude criados pela Anthropic: 15 cursos oficiais certificados para aprender e dominar IA

Os neandertais eram necrófagos? Cientistas acreditavam que sim, mas novos estudos apontam justamente o contrário

Esse é um dos principais gargalos na etapa de inferência de IA (ou seja, quando usamos os modelos) e também um dos motivos pelos quais os centros de dados precisam de tanta memória RAM ou HBM. O TurboQuant utiliza um método de quantização vetorial nesse cache para conseguir comprimi-lo mantendo a precisão do modelo.

Seis vezes menos memória

O artigo do Google Research afirma que esse método é capaz de reduzir a KV cache em seis vezes, sem diferença perceptível no desempenho em conversas longas. Os pesquisadores apresentarão seus resultados em um evento no mês que vem e ...

Veja mais

Matérias relacionadas

A China afirma ter construído seu maior centro de dados; e confirma que seu problema reside justamente nos chips

Problema da Microsoft não é ter perdido um quarto do seu valor em três meses, é a sucessão de erros há muito tempo

NVIDIA tem tanto dinheiro que está se transformando em algo completamente diferente: a maior incubadora de startups do mundo

Quanto mais estudamos o funcionamento da IA, mais fica claro: ela sempre acaba nos dando razão

A Austrália proibiu as redes sociais para menores de 16 anos — em três meses, os problemas já são visíveis