Epistemicídio computacional: o que a história de Frankenstein nos ensina sobre as falhas dos sistemas atuais de reconhecimento facial

Foi em 1818 que a escritora inglesa Mary Shelley publicou Frankenstein, a história hoje universal da criatura costurada a partir de partes dissecadas de corpos diferentes. O que me assombra no romance não é o monstro, e sim o procedimento: um criador - um cientista - que a partir de fragmentos humanos gera uma nova forma de vida inteligente, mas depois se recusa a se responsabilizar por ela.

Como pesquisadora na área de computação, passei os últimos anos estudando uma tecnologia que repete esse procedimento: o reconhecimento facial, hoje instalado em estações de metrô, estádios, aeroportos e sistemas de segurança pública em todo o Brasil. A investigação resultou na minha dissertação de mestrado, defendida em maio de 2026 no Instituto de Computação da Unicamp, e no artigo derivado dela, Frankenstein in the Pipeline, publicado nos anais da ACM FAccT, principal conferência internacional revisada por pares sobre justiça e responsabilidade em sistemas algorítmicos, este ano realizada em Montreal, Canadá.

Neste texto, que inaugura a parceria de produção de conteúdo e divulgação científica celebrada entre o The Conversation Brasil e o nosso Instituto da Hora, gostaria de explicar o que encontrei e por que dei a esse fenômeno o nome de "epistemicídio computacional".

O que um sistema desses realmente faz

Um sistema de reconhecimento facial não "vê" pessoas. Ele executa uma sequência fixa de operações que a computação chama de pipeline, uma linha de montagem em que cada estação transforma o material recebido da anterior.

Na primeira estação, a detecção, o sistema varre a imagem e decide se ali existe algo classificável como rosto. Na segunda, o recorte, isola essa região. Na terceira, o alinhamento, ajusta o recorte a um molde padronizado, com olhos, nariz e boca em posições esperadas. Na última, a vetorização, converte o resultado em um vetor, uma lista de centenas de números que passa a representar aquela pessoa dentro do sistema.

Duas consequências desse desenho estruturam a minha pesquisa. Tudo depende da primeira estação: um rosto que a detecção não encontra é uma pessoa que deixa de existir para o sistema. E o alinhamento exige um molde, o que pressupõe uma norma.

Para encaixar qualquer rosto em posições esperadas, o sistema precisa ter aprendido, com as milhões de imagens que analisou durante o seu treinamento, o que seria um "rosto típico". Chamo essa norma implícita presente no processo de "rosto canônico". Minha pesquisa sobre o tema nasce daí: os rostos que se afastam dessa norma são processados com a mesma confiabilidade?

O que a Ciência já sabia

A existência de disparidades raciais nessas tecnologias não são hipótese nova. Em 2018, o estudo Gender Shades, das cientistas da computação Joy Buolamwini e Timnit Gebru, mostrou que sistemas comerciais de análise facial erravam muito mais para mulheres de pele escura do que para homens de pele clara. No ano seguinte, o NIST, o instituto nacional de padrões e tecnologia dos Estados Unidos, avaliou centenas de algoritmos e documentou diferenças de desempenho entre grupos demográficos na maioria deles.

A resposta da indústria a esses achados costuma seguir um raciocínio único: as disparidades seriam limitações de modelos antigos, corrigíveis com arquiteturas mais modernas e bases de treinamento maiores. Trata-se de uma hipótese legítima, e testável. Faltava submetê-la a um teste controlado, comparando famílias diferentes de modelos sob condições idênticas para verificar se as disparidades desaparecem com o avanço técnico. Foi o que decidi fazer.

Três criaturas, uma prova

Desenhei o experimento para isolar variáveis. Quando tudo se mantém constante e apenas a arquitetura muda, diferenças de resultado só podem vir da arquitetura, enquanto semelhanças apontam para algo anterior a todas elas.

Escolhi três modelos de famílias tecnológicas distintas. Os dois primeiros pertencem à linhagem YOLO, sigla em inglês para "você só olha uma vez", modelos de detecção de objetos muito usados em câmeras e sistemas de vigilância por serem rápidos o bastante para operar em tempo real.

O YOLOv11 se apoia em redes neurais convolucionais, algoritmos inspirados no sistema visual humano que varrem a imagem com pequenos filtros em busca de bordas, texturas e formas, e que dominaram a visão computacional na última década.

O YOLOv12 acrescenta a essa base os mecanismos de atenção, que permitem ao modelo dar mais peso às regiões da imagem consideradas relevantes.

O terceiro, o RT-DETRv2, vem da família dos Transformers, arquitetura que processa a imagem relacionando todas as suas partes entre si ao mesmo tempo, serve de base a sistemas como o ChatGPT e costuma ser apresentada como o 'estado da arte' desta tecnologia.

Os três foram avaliados sobre o mesmo conjunto de dados, o Casual Conversations v2, construído pela Meta para avaliações de equidade. São 26.467 vídeos de 5.567 participantes pagos, que consentiram com o uso das imagens de seus rostos em pesquisas de justiça algorítmica, gravados em sete países, entre eles o Brasil.

Os participantes autodeclararam atributos como idade e gênero. Anotadores treinados classificaram o tom de pele aparente em escalas padronizadas. E as condições de captura, inclusive variações de iluminação, estão documentadas. Esse desenho me permitiu medir as taxas de falha de detecção separadamente para cada grupo, em vez de diluí-las numa média geral.

O resultado central: as três arquiteturas apresentam os mesmos padrões de disparidade por tom de pele, falhando de forma consistente para os mesmos grupos.

Se três máquinas de anatomias distintas erram nos mesmos rostos, o problema não pertence a nenhuma delas individualmente. Pertence ao que compartilham: o método de fabricação, com seus dados, seus moldes e sua definição implícita de rosto. Na prática, a promessa de que a próxima geração de modelos resolverá as disparidades não encontra apoio nos dados que recolhi na minha pesquisa. Cada geração herda o problema da anterior.

Por que chamo isso de 'epistemicídio computacional'

Até aqui, o achado é empírico. O passo seguinte da dissertação é conceitual: que nome dar a esse fenômeno?

O vocabulário corrente fala em viés algorítmico, sugerindo um desvio técnico corrigível por calibração. Argumento que esse enquadramento descreve o erro, mas esconde o mecanismo que o produz e o que ele faz com as pessoas afetadas. A escolha de palavras tem ainda uma consequência institucional: tratado como bug, o problema permanece sob jurisdição exclusiva de quem fabrica os sistemas.

Minha alternativa parte do conceito de epistemicídio, desenvolvido pela filósofa brasileira Sueli Carneiro em sua tese de doutorado para nomear a desqualificação sistemática dos saberes e dos modos de existência de grupos racializados como parte constitutiva do racismo, não como acidente dele.

Na minha dissertação, estendo o conceito ao domínio técnico. "Epistemicídio computacional" é o processo pelo qual um sistema fabrica uma norma de rosto, impõe essa norma como critério de reconhecimento e nega existência computacional a quem escapa dela, sob a aparência de objetividade matemática.

O Frankenstein criado por Mary Shelley deixa então de ser ilustração e vira método de leitura. O romance me ofereceu uma estrutura analítica que a métrica de acurácia não captura: uma criatura montada de partes dissecadas, dotada de autoridade, sem ninguém que responda por ela.

O pipeline dos sistemas de reconhecimento facial reproduz essa estrutura. Disseca o rosto em fragmentos, remonta um substituto numérico e passa a operar com autoridade prática sobre vidas, sem auditoria externa, sem reprodutibilidade pública, sem canal de contestação para quem é classificado.

O que concluo, e o que não concluo

Meu estudo não defende o abandono de toda visão computacional, nem mede intenções de ninguém. O que sustento, com base nos dados, é mais específico. Quando o dano está no método, calibrar o resultado não o elimina: um sistema de identificação facial de altíssima acurácia, instalado sobre uma estrutura de segurança pública que já concentra abordagens em populações negras e periféricas, torna essa concentração mais rápida e mais difícil de contestar.

Defendo, por isso, o que chamo de recusa com precisão: recusar operações específicas, como a identificação facial na segurança pública, cujo dano independe da arquitetura, e investir no que chamo de "reparação computacional": princípios para sistemas auditáveis, contestáveis e construídos com as populações que até aqui entraram nos bancos de dados apenas como matéria-prima.

As decisões sobre contratos, editais e leis de reconhecimento facial no Brasil estão sendo tomadas agora, longe do debate público. Esta parceria entre o nosso Instituto da Hora, que foca muitos de seus estudos na compreensão do racismo digital, e o The Conversation Brasil existe para encurtar essa distância: conhecimento científico que afeta a vida pública precisa circular em público.

A criatura imaginada por Mary Shelley mais de dois séculos atrás não se tornou monstruosa pelo material de que foi feita, e sim porque ninguém aceitou responder por ela. Divulgar e propor soluções para os erros cometidos por criaturas digitais que criamos e instalamos nas nossas cidades - com o poder de julgar e influenciar no destino de pessoas - é o trabalho que começa aqui.

Nina da Hora é fundadora e diretora da organização sem fins lucrativos Instituto da Hora, que atua na descentralização do conhecimento científico, no combate ao racismo na tecnologia e na emancipação dos direitos digitais no Brasil.