Oferecimento

O inacreditável ponto cego da IA: acerta 70% em receitas e games, mas falha miseravelmente no tópico mais importante

Ela não é confiável para um tipo específico de ajuda

10 dez 2025 - 17h51
(atualizado às 19h18)
Foto: Xataka

Enquanto a corrida tecnológica eleva a inteligência artificial a patamares de gênio em código e raciocínio, uma nova análise aponta um ponto cego inacreditável: a IA, incluindo os modelos avançados da OpenAI, é ótima para tarefas complexas, mas falha miseravelmente em algo crucial para o dia a dia: compras e consumo.

O benchmark ACE (AI Consumer Index), criado pela Mercor, submeteu os principais modelos de IA (incluindo GPT-5, Gemini e Claude) a 400 tarefas práticas divididas em quatro áreas — compras, comida, DIY (faça-você-mesmo) e games. O resultado é um balde de água fria necessário: a IA é uma assistente geral fantástica, mas um péssimo personal shopper confiável.

Publicidade

Genial, mas desorientada

Apesar da alta performance em outras áreas, o domínio de compras expôs as falhas mais críticas das IAs:

O principal problema é a alucinação, ou seja, a IA inventa informações. Os modelos frequentemente deram links quebrados ou inexistentes em recomendações de produtos e inventaram preços que não batiam com as páginas que usaram como fonte.

Em questões práticas como "essa peça serve no meu PC?" ou compatibilidade de produtos, os erros foram frequentes.

Quando o benchmark exigiu que os modelos comprovassem todas as informações com fontes (grounding), alguns modelos caíram mais de 20 pontos percentuais em precisão.

Publicidade

Mesmo os modelos mais avançados atingiram um pico de apenas 45,4% de acerto no domínio de Compras (o3 Pro), enquanto em áreas menos subjetivas, a precisão foi significativamente maior:...

Veja mais

Matérias relacionadas

Fim da ditadura do algoritmo? Instagram lança recurso mais importante que inverte as regras dos Reels

A Valve conseguiu o impossível com jogos para Windows graças ao Proton; agora, eles querem fazer o mesmo com jogos para Android

Ao desativar contas de menores de 16 anos, Austrália vira alvo de processo de adolescente e inaugura a primeira grande batalha global contra redes sociais

Publicidade

Um jogador enviou sua placa de vídeo RTX 5090 danificada para conserto; ele não esperava que o fabricante lhe enviasse uma fatura de R$ 18 mil

O CEO do GitHub proclamou: "abrace a IA ou você está fora"; a resposta de muitos projetos de software foi... abandonar o GitHub

TAGS
Curtiu? Fique por dentro das principais notícias através do nosso ZAP
Inscreva-se