Estudo mostra que IA não é melhor do que outros métodos para pacientes que procuram orientação médica
Perguntar à IA sobre sintomas médicos não ajuda os pacientes a tomar melhores decisões sobre sua saúde do que outros métodos, como uma pesquisa padrão na internet, de acordo com um novo estudo publicado na Nature Medicine.
Os autores afirmaram que o estudo era importante, pois as pessoas estavam cada vez mais recorrendo à IA e aos chatbots para obter conselhos sobre sua saúde, mas sem evidências de que essa fosse necessariamente a melhor e mais segura abordagem.
Pesquisadores liderados pelo Instituto de Internet da Universidade de Oxford trabalharam em conjunto com um grupo de médicos para elaborar 10 cenários médicos diferentes, que variam de um resfriado comum a uma hemorragia com risco de vida que causa sangramento no cérebro.
Quando testados sem participantes humanos, três grandes modelos de linguagem - ChatGPT-4o da OpenAI, Llama 3 da Meta e Command R+ da Cohere - identificaram as condições em 94,9% dos casos e escolheram o curso de ação correto, como chamar uma ambulância ou ir ao médico, em uma média de 56,3% dos casos. As empresas não responderam aos pedidos de comentários.
"ENORME LACUNA" ENTRE O POTENCIAL DA IA E O DESEMPENHO REAL
Os pesquisadores então recrutaram 1.298 participantes no Reino Unido para usar IA, ou seus recursos habituais — como uma busca na internet, sua própria experiência ou o site do Serviço Nacional de Saúde — para investigar os sintomas e decidir seu próximo passo.
Quando os participantes fizeram isso, as condições relevantes foram identificadas em menos de 34,5% dos casos, e o curso de ação correto foi dado em menos de 44,2%, não melhor do que o grupo de controle que usou ferramentas mais tradicionais.
Adam Mahdi, coautor do artigo e professor associado em Oxford, disse que o estudo mostrou a "enorme lacuna" entre o potencial da IA e as armadilhas quando ela é usada por pessoas.
"O conhecimento pode estar nesses bots; no entanto, esse conhecimento nem sempre se traduz na interação com humanos", disse ele, significando que era necessário mais trabalho para identificar por que isso estava acontecendo.
OS SERES HUMANOS FREQUENTEMENTE FORNECEM INFORMAÇÕES INCOMPLETAS
A equipe estudou cerca de 30 interações em detalhes e concluiu que, muitas vezes, os humanos forneciam informações incompletas ou erradas, mas os LLMs também geravam respostas enganosas ou incorretas.
Por exemplo, um paciente que relatou os sintomas de uma hemorragia subaracnoide — uma condição com risco de vida que causa sangramento no cérebro — foi corretamente orientado pela IA a ir ao hospital após descrever rigidez no pescoço, sensibilidade à luz e a "pior dor de cabeça de sua vida". Outro paciente descreveu os mesmos sintomas, mas com uma dor de cabeça "terrível", e foi orientado a deitar-se em um quarto escuro.
A equipe agora planeja um estudo semelhante em diferentes países e idiomas, e ao longo do tempo, para testar se isso afeta o desempenho da IA.
O estudo foi apoiado pela empresa de dados Prolific, pela organização sem fins lucrativos alemã Dieter Schwarz Stiftung e pelos governos do Reino Unido e dos Estados Unidos.
Reuters - Esta publicação inclusive informação e dados são de propriedade intelectual de Reuters. Fica expresamente proibido seu uso ou de seu nome sem a prévia autorização de Reuters. Todos os direitos reservados.
-1iuvzgsjf2usl.jpg)
