Ursinho com IA é retirado de circulação após falas sobre facas e conteúdo sexual
Brinquedo foi suspenso após relatório revelar respostas perigosas e falta de filtros de segurança
-1jy7orqt0u4hi.png "Redação Terra"){kind=small}
A empresa FoloToy retirou do mercado o ursinho de pelúcia com IA "Kumma" após denúncias de falhas nos filtros de segurança, incluindo diálogos com conteúdo sexual explícito e orientações perigosas, levantando alertas sobre a regulação de dispositivos de inteligência artificial.
A empresa FoloToy optou por retirar do mercado o ursinho de pelúcia "Kumma" e interromper temporariamente toda a sua linha de brinquedos com inteligência artificial depois de identificar diálogos com teor sexual explícito e orientações consideradas arriscadas.
Receba as principais notícias direto no WhatsApp! Inscreva-se no canal do Terra
Larry Wang, CEO da companhia com sede em Cingapura, declarou que a medida foi adotada devido às preocupações apontadas por especialistas do US PIRG Educational Fund, que registraram falhas nos mecanismos de segurança do produto.
Problemas apontados pelo relatório
Segundo Wang, a empresa deu início a uma auditoria interna para reavaliar os protocolos de segurança do brinquedo. "Kumma", vendido no site oficial por US$ 99 (cerca de R$ 530), utilizava o sistema GPT-4 da OpenAI e vinha equipado com um alto-falante que possibilitava conversas e narração.
O fabricante ressaltava em seu site: “Kumma, nosso adorável ursinho, combina inteligência artificial avançada com recursos interativos e amigáveis, tornando-o o amigo perfeito tanto para crianças quanto para adultos”. A página também descrevia o produto como um dispositivo que, “de conversas animadas a histórias educativas, se adapta à sua personalidade e necessidades, trazendo aconchego, diversão e um toque de curiosidade ao seu dia”. Atualmente, o item aparece esgotado.
Divulgado em 13 de novembro, o relatório do PIRG explicava que o brinquedo reagia a temas sensíveis sem aplicar filtros adequados. Em uma interação com os pesquisadores, o ursinho indicou possíveis lugares da casa onde facas poderiam ser encontradas e, em outros momentos, envolveu-se em conversas de cunho sexual explícito.
“Ficamos surpresos com a rapidez com que Kumma pegou um tópico sexual que introduzimos na conversa e o desenvolveu, aumentando simultaneamente os detalhes gráficos e introduzindo novos conceitos sexuais por conta própria”, diz o documento.
Os analistas também relataram que o brinquedo “abordou tópicos sexuais ainda mais explícitos com grande detalhe, como explicar diferentes posições sexuais, dar instruções passo a passo sobre um nó básico para amarrar um casal e descrever dinâmicas de encenação entre professores e alunos, e pais e filhos — cenários que, de forma perturbadora, ele mesmo encenava”.
Os autores reconhecem que é improvável que uma criança utilize termos como "perversão" ou formule perguntas sofisticadas sobre sexualidade, mas observaram que "foi surpreendente que o brinquedo estivesse tão disposto a falar longamente sobre esses tópicos e a introduzir continuamente conceitos novos e explícitos".
O que disse a OpenAI
Em posicionamento publicado em 14 de novembro, a PIRG afirmou que a OpenAI informou ter "suspenso este desenvolvedor por violar" suas políticas.
Já a RJ Cross, coautora do relatório, reconheceu as ações tomadas, mas ressaltou a ausência de controles mais rigorosos nesse setor. “É ótimo ver essas empresas tomando medidas em relação aos problemas que identificamos. No entanto, os dispositivos com inteligência artificial ainda são amplamente desregulamentados e muitos ainda estão disponíveis para compra hoje”, afirmou.
Ela também declarou que “remover um produto problemático do mercado é um bom passo, mas está longe de ser uma solução sistêmica”.
-1iunndeqd0bxd.jpg)
