Saiba como doar qualquer valor para o PIX oficial do Rio Grande do Sul

Celulares com IA "On Device" podem exigir ao menos 12 GB de RAM

Relatório sugere que recursos avançados de IA, como geração de imagens e assistentes mais robustos, devem exigir grande quantia de memória dos celulares

Por: Renan da Silva Dores

14 nov 2023 - 13h25

(atualizado às 17h25)

Exibir comentários

Um relatório divulgado pela organização financeira Macquarie sugere que smartphones munidos de recursos avançados de Inteligência Artificial rodados localmente, os chamados "AI On Device", podem exigir grandes quantidades de memória para rodar as funcionalidades de forma adequada. O levantamento aponta que os requerimentos podem ultrapassar os 20 GB de RAM no caso de tecnologias mais poderosas.

Foto: Daniel Romero/Unsplash / Canaltech

O texto teve um trecho compartilhado pelo leaker Revegnus, comparando a média de RAM utilizada em smartphones modernos com a quantia requerida por recursos baseados em IA. As novidades devem turbinar a densidade de memória usada pelas fabricantes, por serem bastante exigentes nesse departamento. Segundo as informações, por conta própria, a geração de imagens requer ao menos 12 GB de RAM.

Macquarie has issued a report on the required RAM capacity to run on-device AI on smartphones, and it's intriguing.

1) The typical current smartphone is equipped with around 8GB of RAM.

2) On-device AI devices with image generation capabilities require approximately 12GB of RAM.… pic.twitter.com/gzsuQroyPc

— Revegnus (@Tech_Reve) November 13, 2023

Companhias que queiram trabalhar com soluções ainda mais poderosas, como os assistentes de IA generativa, precisarão implementar ao menos 20 GB de RAM. Ainda que tenhamos aparelhos munidos de até 24 GB atualmente, a média do mercado é de 8 GB, como revela o próprio estudo. O relatório acaba sendo reforçado de forma indireta e sem intenção pela MediaTek, quando observamos o anúncio do chip mais recente da empresa, o Dimensity 9300.

Topo de linha com CPU de configuração agressiva, o Dimensity 9300 possui aceleração focada em IA generativa, sendo capaz de trabalhar com Grandes Modelos de Linguagem (LLMs) diferentes. Entre os detalhes que podem ter passado despercebido está a recomendação de uso de 24 GB de RAM por parte da MediaTek, para LLMs com mais de 30 bilhões de parâmetros, número normalmente utilizado por modelos complexos de assistentes virtuais.

Por outro lado, é sabido que as companhias têm investido em métodos para comprimir os LLMs, tornando a quantidade massiva de dados compacta o suficiente para ser executada em dispositivos com menor capacidade de RAM. Outra solução seria o uso de modelos menos complexos, da ordem de sete a 10 bilhões de parâmetros, como mostrado pela Qualcomm no lançamento recente do Snapdragon 8 Gen 3.

No lançamento do Dimensity 9300, a MediaTek já havia indicado que LLMs grandes, com mais de 30 bilhões de parâmetros, vão exigir celulares com 24 GB de RAM ou mais (Imagem: Reprodução/MediaTek)
Foto: Canaltech

As medidas não resolvem o problema, podendo trazer limitações de funcionalidade considerando o tamanho reduzido, mas podem ajudar as fabricantes a lidarem com a demanda inicial por IA local, ao mesmo tempo em que ganham mais tempo para que ajustes de memória possam ser feitos em futuras gerações de celulares.

Devemos entender melhor a estratégia de cada marca conforme os primeiros telefones com IA generativa "On Device" forem anunciados — a Samsung é uma das empresas que mais tem destacado o uso da tecnologia inteligente, e deve trabalhar com algumas das medidas citadas para garantir boa execução de LLMs. A gigante sul-coreana deve esclarecer tudo no lançamento da família Galaxy S24, esperada pra 17 de janeiro.

Trending no Canaltech: