A influenciadora Catharina Doria deixou a carreira tradicional no mercado de tecnologia para dedicar seu tempo a ensinar sobre ética na inteligência artificial (IA) nas redes sociais. Para ela, as ferramentas de IA generativa, como ChatGPT ou Claude, oferecem riscos como dependência cognitiva, homogeneização dos pensamentos e propagação de vieses preconceituosos, além de muitas vezes trazerem informações erradas ou incompletas.
"O ChatGPT não é Deus, não está correto o tempo todo. Ele só é muito bom em fingir que está correto. Temos que tomar muito cuidado com qual ajuda pedimos a essa ferramenta e tentar entender mais as suas limitações", diz Catharina.
A especialista será um dos grandes nomes da programação de IA do São Paulo Innovation Week (SPIW). O festival, que vai ocupar o Pacaembu e a Fundação Armando Alvares Penteado (Faap) em maio, é uma realização do Estadão, em parceria com a Base Eventos. Assinantes podem comprar ingressos com 35% de desconto: para adquirir o passaporte para os três dias de evento. Não-assinantes podem acessar este link.
Catharina também é fundadora da rede chamada The AI Survival Club, comunidade de letramento crítico sobre IA na qual fala sobre os riscos associados ao uso indiscriminado dessa tecnologia.
Para ela, por exemplo, o uso de IA generativa em escolas pode trazer impactos negativos para o aprendizado e estimular a dependência tecnológica para diversas atividades. "Em vez de aprender, estamos delegando tudo a uma ferramenta. No final, você não tem esse conhecimento na sua cabeça. Isso significa que estamos criando uma nova geração que não sabe ler, escrever e pensar por si só, e que sempre vai depender de uma tecnologia de inteligência artificial generativa para viver. Quem ganha com isso? São as empresas vendendo essa tecnologia", diz.
Leia os principais trechos da entrevista com Catharina a seguir.
A inteligência artificial se tornou um dos temas mais discutidos na sociedade, furando a bolha do pessoal da tecnologia. Como você tem falado sobre os benefícios e os riscos do uso da IA?
Eu trabalhei na indústria de tecnologia por bastante tempo, em empresas no Vale do Silício. Tive conversas sobre IA nos maiores níveis tecnológicos possíveis. O que acontecia muitas vezes é que, enquanto eu estava nessas reuniões onde falávamos sobre o futuro da tecnologia, a minha mãe me ligava falando: 'olha esse vídeo desse bichinho' — e era um conteúdo feito com IA. Com os meus irmãos, era a mesma coisa. Isso começou a me deixar muito preocupada. Se de um lado, eu falava sobre essa tecnologia em um nível de alto escalão empresarial, do outro, eu via as pessoas ao meu redor não entendendo o que é a IA e o impacto dela. A decisão de criar conteúdo e a maneira como eu falo com o público vêm dessa fonte. Então, eu tento ser muito didática, criar vídeos divertidos e curtos. Eu falo rápido e fico irritada. Tem vezes que eu grito, e tem vezes que eu estou mais tranquila. Eu realmente quero mostrar a IA de uma maneira mais humana, responsável e crítica. IA é um tema muito falado por influenciadores e experts, mas, no final das contas, são conteúdos falando da adoção da tecnologia sem pensar. Será que ela é necessária? Pode ser prejudicial? Tento trazer o contraponto da IA de uma maneira didática, divertida e aberta às pessoas.
Muito se fala sobre a eficiência trazida pela IA. A ética vai na contramão do uso da tecnologia para essa finalidade, seja nas empresas ou nas vidas das pessoas?
Ela pode ser contra a ética, mas o mais importante nessa discussão é a otimização de tempo. As pessoas falam da produtividade trazida pela IA, mas novos estudos estão mostrando que não é bem assim. A IA não necessariamente está ajudando as pessoas a serem mais rápidas e produtivas. Tem bastante hype nessa conversa, mas os dados não estão acompanhando essa mística sobre a IA. Podemos falar na questão ética de utilizar a IA para ser mais produtivos ou não, mas é mais interessante a pergunta: será que a IA está nos ajudando sermos mais produtivos? Na realidade, não é bem assim.
Você já falou publicamente sobre a importância do livro Algoritmos da Opressão, da Safiya Noble. Ele fala sobre como os algoritmos podem ter vieses. Você tem alertado sobre o risco de vieses na IA. Temos como contornar isso?
Esse livro fala muito sobre o Google e as pesquisas na internet. Também temos hoje a IA sendo utilizada por bancos para ver se você merece crédito ou não. Se você se inscrever em uma vaga de trabalho, tem um algoritmo que vai decidir se você é bom o suficiente para ir pra próxima etapa. Primeiramente, precisamos dessa clareza de quais são esses algoritmos que estão impactando as nossas vidas. Para melhorá-los, temos que pensar sobre quais são os dados que estamos usando para criá-los. Tem um clássico exemplo da Amazon, que criou um algoritmo para currículos. Isso já aconteceu uns bons anos atrás e ele nunca foi realmente utilizado para escolher quem são os melhores candidatos. Mas foi um algoritmo que eles criaram e testaram.
O que eles perceberam é que, com o tempo, o algoritmo passou a preferir candidatos homens e jogava os currículos das mulheres no lixo. Eles entenderam que o algoritmo foi treinado com dados dos últimos dez anos de dados de contratações na Amazon. O algoritmo aprendeu com os dados e falou: 'Ser homem é bom, ser mulher é ruim'. Isso se generalizou para o futuro. Para melhorar como um algoritmo responde, se queremos tentar tirar os vieses, precisamos primeiro entender quais são os dados que foram utilizados. Depois, entender que as pessoas que estão criando esses algoritmos também têm vieses, que podem ser religiosos, preconceituosos ou racistas. Só assim que conseguimos criar algoritmos que realmente funcionem para todo mundo.
Na sua visão, o que todo mundo precisa saber sobre o uso de ferramentas baseadas em inteligência artificial, como ChatGPT e Gemini?
Uma questão muito importante é que essas ferramentas de IA generativa, como o ChatGPT, não são inteligentes. Elas não têm uma super inteligência, não entendem o que estão nos falando. Essas tecnologias funcionam fazendo previsões. Tem frases que a gente já ouviu várias vezes e o seu cérebro sabe como ela vai terminar antes de eu acabar de falar. Isso não acontece porque somos muito inteligentes, mas porque ouvimos aquelas frases várias vezes. O ChatGPT está fazendo a mesma coisa. Ele não sabe, ele não é inteligente. Ele sabe que depois de uma palavra, a chance probabilística e matemática é que venha outra palavra. Se eu falo 'eu te' e ele completa com 'amo' ou 'odeio'. É uma máquina de probabilidade de palavrinhas que monta uma resposta que parece correta, mas que não necessariamente é.
As pessoas estão vendo o Claude ou o ChatGPT como bíblias, como se fossem seres que vão nos dar todas as respostas corretas e que podem aprender com eles. Se estão com tosse, perguntam qual remédio podem tomar. Aí, entramos em campos problemáticos, porque as pessoas têm doenças psicológicas, como depressão ou transtorno bipolar, e pedem ajuda ao ChatGPT quando não deveriam fazer isso. E ele é muito bom em parecer que está falando a verdade. Ele pode até estar certo, mas não deveria ter essa conversa porque não é um psicólogo ou psiquiatra. A mesma coisa é quando pedem ajuda ao ChatGPT como se fosse um advogado, ou pedem ajuda para fazer a declaração do Imposto de Renda. O ChatGPT não é Deus, não está correto o tempo todo. Ele só é muito bom em fingir que está correto. Temos que tomar muito cuidado com qual ajuda pedimos a essa ferramenta e tentar entender mais as suas limitações.
Então, esse aconselhamento psicológico, financeiro ou de qualquer tipo deve ser visto com bastante cuidado?
Sim, estamos falando de tecnologias de propósito geral. Você pode pedir ao ChatGPT tanto ajuda com gramática quanto para terminar com o seu namorado ou perguntar qual remédio deveria tomar. Pode perguntar a ele se acha que você tem uma doença específica, contando os sintomas. Em alguns casos, um gatilho será ativado e ele dirá que não pode responder àquela pergunta, mas é muito fácil contornar isso. Quando falamos de especialidades como saúde, saúde mental ou pagamento de impostos — coisas que podem acarretar em danos morais ou danos financeiros —, precisamos tomar muito cuidado porque o ChatGPT não é um especialista.
As tendências, trends como são chamadas, são um risco para a privacidade das pessoas? Não muito tempo atrás, a moda era fazer o upload de uma foto em uma IA e pedir para transformá-la em uma animação, ou pedir uma versão sua mais magra, mais forte ou mais velha.
É um risco muito grande, eu chamo de fun for data (diversão para dados). As empresas tentam empurrar essas trends, porque essas ferramentas precisam de dados para treinar seus algoritmos. As trends são perfeitas para isso, como foi, por exemplo, a do estúdio Ghibli. Se você quisesse se ver como um personagem do estúdio, tinha que colocar uma foto atual sua nessas ferramentas. Ou seja, está dando os seus dados biométricos, como o seu rosto e a sua íris. Você deu isso para a IA e criou uma imagem que provavelmente vai esquecer rapidamente. Mas aquela imagem que você deu pra empresa vai ficar lá para todo o sempre. E não só lá em uma caixa fechada, mas aquela foto vai ser utilizada depois para treinar mais algoritmos, para treinar mais maneiras de como criar uma imagem, como criar um rosto mais perfeito ou mais humano. Tudo que damos para essas ferramentas, sendo texto ou imagem, acaba sendo utilizado para treinar algoritmos, para que eles fiquem cada vez melhores.
Já é preciso ter cuidado se você é adulto e escolhe fazer a sua versão no estilo do estúdio Ghibli. Mas os pais de crianças também estão colocando os dados biométricos de seus filhos nessas plataformas Isso acaba sendo muito pior, muito mais problemático e com risco muito maior. Então eu peço aqui, se você decidir isso por você, faça. Mas não faça isso com seus filhos, porque essa nova geração ainda nem sabe como eles podem utilizar esses dados. Isso pode ser extremamente problemático e perigoso para o futuro deles.
O uso da IA por crianças deve ser restringido pelos pais?
O que está acontecendo muito é que as escolas e os pais estão vendo a IA generativa em todos os lugares e existe um pensamento fatalista que a IA é o futuro e não tem mais como brecar isso. O que acaba acontecendo é que escolas e pais estão deixando seus filhos usarem a IA generativa, porque acham que elas precisam aprender a utilizar essas ferramentas. Só que isso é muito problemático e prejudicial para as crianças. Elas precisam aprender a ler, escrever e pensar. Nós fomos à escola para isso, fizemos lições, copiamos conteúdo a mão e lemos livros. É um processo que requer tempo e prática.
As crianças que estão crescendo agora nessas escolas que permitem a IA generativa não estão aprendendo a escrever ou a ler sozinhas. Elas estão utilizando essas ferramentas de IA para isso. Será que essas crianças vão aprender a ler, escrever e pensar como nós? Se você não consegue ter essa capacidade, não consegue realmente exercer a sua humanidade. Em vez de aprender, estamos delegando tudo a uma ferramenta. No final, você não tem esse conhecimento na sua cabeça. Isso significa que estamos criando uma nova geração que não sabe ler, escrever e pensar por si só, e que sempre vai depender de uma tecnologia de inteligência artificial generativa para viver. Quem ganha com isso? São as empresas vendendo essa tecnologia. É exatamente o oposto do que o Paulo Freire fala. Ele diz que a educação precisa ser libertadora. Você aprende, você vai para a escola, pega esse conhecimento e se torna um ser humano que consegue se libertar. Você se liberta dos preconceitos. O que estamos fazendo com a IA é o oposto. Estamos fazendo com que as pessoas fiquem dependentes.
Isso pode levar as pessoas a terem visões de mundo iguais?
Isso é a homogeneização do pensamento, e é um grande problema. ChatGPT ou Claude foram treinados com dados de redes sociais, Wikipedia, diversos sites e blogs. O problema que as pessoas não entendem é que as IAs generativas têm personalidades. Elas têm uma maneira muito específica de responder às suas perguntas. Se duas pessoas fizerem a mesma pergunta a elas, provavelmente verão a mesma resposta. Essas ferramentas têm uma visão de mundo muito quadradinha. É como se todo mundo tivesse o mesmo professor.
Neste ano, teremos eleições presidenciais, as primeiras com a IA generativa capaz de criar vídeos e áudios a partir de comandos de texto. Como as pessoas podem identificar os conteúdos gerados pela IA? Está ficando mais difícil?
Há um ano, era mais fácil identificar esses conteúdos. Era questão de olhar para as mãos, para o nariz ou prestar atenção na voz das pessoas que apareciam nos vídeos. Hoje em dia é muito difícil. A primeira coisa que eu falo é: 'Não confie em nada'. Mesmo sendo uma pessoa que você segue e você acha que pode confiar, como um político. Não confie em ninguém, nem mesmo nos seus pais ou no seu irmãozinho. A IA generativa de vídeo está muito boa. Eu que sou especialista nisso também sou enganada de vez em quando. Por isso, precisamos partir do pressuposto de que tudo pode ser falso. Pode ser áudio, foto ou vídeo.
Hoje em dia, eu recomendo que você vá para sites com jornalistas nos quais você confie, porque muitas vezes se você está com dúvida sobre algum vídeo, outra pessoa também está. O que eu também faço é uma captura de tela do vídeo e pesquisar por essa imagem no Google. Os resultados devem mostrar links de sites de mídia sobre o assunto. Muitas vezes, os resultados que aparecem são de sites de fofoca ou literalmente de contas de IAs generativas e aí você tem a resposta. O que também é bom é checar a voz. Um dos maiores problemas com essa tecnologia é a voz, que é muito metálica, sem variações de tom. A segunda coisa é prestar atenção nos dentes das pessoas. É muito difícil você ver um vídeo que faz os dentes corretamente. Em vez de serem dentes separados, detalhados, fica como se fosse uma coisa branca. Isso pode aparecer dentro da boca também. Os algoritmos têm muita dificuldade de fazer a boca abrindo e fechando e mostrar os detalhes dos dentes. Mas as pessoas não deveriam botar a mão no fogo por nada, ainda mais em um ano eleitoral. Vamos ter que acreditar nos jornalistas e nos profissionais para falarem o que é ou não verdadeiro. Se dependermos só da nossa análise, vai ser muito difícil.
Quais habilidades você considera essenciais para os profissionais brasileiros não serem atropelados pela IA?
A IA pode acabar com alguns trabalhos, mas essa narrativa acontece para assustar as pessoas ou porque as empresas querem demitir funcionários falando que é por causa da IA — só para depois contratar outras pessoas pagando mais barato. Isso é um movimento comum nos Estados Unidos, e também pode acontecer no Brasil. A IA pode roubar trabalhos, mas não acho que será na escala que estão falando. Vemos grandes nomes da tecnologia falando que não precisaremos mais de advogados daqui a dois anos porque o ChatGPT ou outras ferramentas serão melhores do que os advogados que existem hoje. Dizem para nem estudarmos mais direito porque não é mais necessário. É importante entender que quem ganha com isso são as empresas que vendem essas ferramentas. Se eu falo que não precisamos mais de advogados, significa que não teremos mais esses profissionais e que teremos que usar essas ferramentas para serem nossos advogados. O mesmo acontece com a medicina. Se a nova geração não cursar medicina, não teremos mais médicos e precisaremos de médicos virtuais — e as pessoas estão caindo nessa narrativa. Eu recomendo que as pessoas estudem, aprendam e vão para a faculdade. O conhecimento ninguém tira de você, e ele é libertador. O problema vai ser quando a ferramenta que nos disseram para usar for tirada de nós ou tiver um grande aumento de preço.
Agora, sabendo que a IA pode impactar o mercado de trabalho sem cair na narrativa de que todo mundo vai perder o emprego, as pessoas deveriam focar em humanidades. Mesmo para empregos técnicos, ter o pensamento crítico vai ajudar em qualquer coisa que você for fazer. Se você for trabalhar como desenvolvedor, precisa entender a tecnologia, mas hoje em dia isso não é o suficiente. Você precisa entender o lado humano, e a máquina obviamente nunca vai ter esse lado humano. A ética, a questão do certo e do errado, são coisas que humanos têm que pensar. Se em um futuro hipotético a IA realmente roubar o nosso trabalho, ela não vai conseguir roubar o nosso pensamento crítico, a nossa ética e a decisão do que é certo e o que que é errado.
Quais tipos de trabalho estão em risco de substituição pela IA?
Se a IA realmente pegar nossos trabalhos, acho que devem ser os trabalhos mais mecânicos. Eu não acho que a IA vai pegar o trabalho dos médicos. Eu quero ir ao SUS para ser tratada por um médico, e não quero por uma IA que não sei de quem é e como foi feita. O mesmo acontece com um advogado, seja criminal ou não. Quero uma pessoa que estudou direito e que eu possa recorrer a ela se algo der errado. Também falam que o marketing vai ser feito por IA. Não vai, será feito por pessoas. Marketing é entender o que as pessoas precisam ou não, quais são seus medos e o que podemos comunicar para fazer com que elas se conectem com a marca. A IA não consegue fazer isso. Precisamos ter um pouco mais de calma.
Você começou no ativismo digital com o aplicativo 'Sai pra Lá', em 2015, protegendo mulheres por meio da tecnologia. A IA também pode ser usada para fazer o bem?
No meu clube do livro, estamos lendo agora o Atlas da IA. A autora fala sobre esse uso da IA para o bem. Essa é uma ferramenta que começou com a militarização. Muito dinheiro que foi investido nela foi para vigilância, para controle de corpos, controle de pessoas. Existem ferramentas legais, sim, mas quando pensamos na base, na raiz da questão, ela é uma ferramenta muito difícil. Para a aplicação dela hoje, seria necessário pensar em uma forma de 'destruir para reconstruir' essa tecnologia de maneira menos colonial, menos problemática e menos preconceituosa. Então, essa é uma resposta um pouco mais metafórica, né, quando a gente pensa na inteligência artificial como instituição, como cultura, como metáfora. Mas a gente também tem a questão prática, que é o que as pessoas querem saber e provavelmente a sua pergunta vem dessa dessa questão mais prática.
Na questão prática, sim, a inteligência artificial pode ser utilizada para o bem porque é usada para mapear o corte de árvores na floresta amazônica. Para mim, isso é uma maneira maravilhosa de usar a IA. Você está ajudando a fauna e a flora e responsabilizando pessoas que estão fazendo coisas ilegais. Outro exemplo é usar a tecnologia para saber se uma pessoa tem câncer em estágios iniciais. Já existem algoritmos que veem se a sua pinta na pele é cancerígena ou não. Tem vários casos incríveis. Mas precisamos voltar um pouco à questão metafórica sobre a IA. Como esses dados são recolhidos e por quem? Por que estamos criando essas ferramentas e como elas funcionam? A IA é realmente boa para nós?
Além do trabalho nas redes sociais, você também está preparando livros. Sobre o que serão e quando devem ser publicados?
Eu estou escrevendo dois livros. Não posso falar muito sobre eles, mas ambos são sobre IA. Tenho uma agente literária em Nova York e estamos trabalhando para publicá-los daqui um ou dois anos. Serão livros sobre IA de uma maneira que nunca ninguém fez antes. Então, esperem o inesperado.
Sobre o que você vai falar no seu painel no São Paulo Innovation Week? O que espera que o público do evento saia sabendo sobre IA?
Vou participar de dois painéis. Em um deles, vou falar sobre o lado ético da inteligência artificial, trazendo conversas sobre a homogeneização do pensamento e a dependência de algoritmos. O segundo painel será sobre a questão política da IA no ano eleitoral, sobre como os algoritmos estão sendo utilizados para realmente empurrar notícias falsas e como distinguir o que é verdadeiro ou falso. Eu gostaria que as pessoas saíssem do SPIW entendendo que a inteligência artificial não é inevitável, que ela é uma escolha humana. Se escolhemos que ela exista, também podemos escolher que não exista mais. O lado humano sempre vai vencer. O futuro não é IA, o futuro é humano. Ler, pensar e escrever são coisas humanas que temos de continuar fazendo. Não podemos terceirizar essas habilidades que são muito importantes. Eu gostaria que as pessoas entendessem que não podemos aceitar de uma maneira vazia o que as pessoas nos contam.
Para finalizar, na sua opinião, podemos provar que as empresas por trás de IAs generativas, como ChatGPT, Gemini ou Perplexity, mantêm uma conduta ética?
O que acontece muitas vezes é que o norte dessas empresas é o dinheiro, é deixar investidores felizes para conseguir ganhar mais. Dentro de uma sociedade capitalista, a ética fica um pouco de lado, porque o que tentamos ganhar mais dinheiro. Como não estou nessas empresas, não posso falar com toda a certeza. Consigo ver isso com base nos resultados que eu vejo. Seja com crianças ficando viciadas nessas plataformas, crianças se suicidando por causa delas ou por adultos que também acabam viciados. Quando vejo que o algoritmo é desenhado para captar a nossa atenção por oito horas por dia ou que os algoritmos são racistas ou preconceituosos, me questiono se as empresas estão pensando no nosso bem. Me pergunto se as empresas estão tornando a humanidade melhor ou só mais rápida em algumas tarefas. Estão pensando em lançar a tecnologia antes das outras companhias em vez de pensar se ela é boa o suficiente ou se tem governança o suficiente para liberá-la. Não sei se elas estão agindo da melhor maneira ética, porque também não sei se o capitalismo consegue ter essa prioridade. Eu gostaria de pensar que todo mundo está tentando fazer as coisas da melhor maneira possível, mas não sei se isso é a verdade.
