MEC admite que nem todas as questões do Enem 2019 foram pré-testadas
Defensoria Pública da União pede que explicação seja publicada nos canais oficiais do governo e comunicada aos participantes sob pena de multa diária de R$ 10 mil
SÃO PAULO - O Ministério da Educação (MEC) admitiu que nem todas as 180 questões usadas do Exame Nacional do Ensino Médio (Enem) 2019 foram pré-testadas, o que pode prejudicar a margem de erro da prova. A informação consta em nota técnica apresentada à Justiça para tentar comprovar que a falha na correção de 5.974 provas do Enem não teve "influência significativa" na nota de todos os candidatos.
O Estado apurou que o uso de questões que não passaram pelo pré-teste já ocorreu em outros anos por causa da escassez de itens disponíveis para elaborar a prova. A nota técnica confirma oficialmente pela primeira vez que a prática ocorreu.
Para utilizar questões que não foram pré-testadas, o Inep explica na nota que faz a calibragem do nível de dificuldade de cada item a partir do desempenho real na prova. O Enem usa a teoria da resposta ao item (TRI), modelagem estatística que atribui pesos diferentes para cada questão (são divididas em níveis de complexidade). O Inep sempre informou que, para atender ao modelo, fazia o estabelecimento de parâmetros das questões - ou seja, a definição do nível de complexidade -em pré-testes com público similiar ao que faz a prova, como é feito em outros exames que utilizam a TRI, como o Programa Internacional de Avaliação de Alunos (Pisa).
Sem a calibragem prévia, o Inep explicou que selecionou uma amostra aleatória de participantes do Enem 2019 para, a partir da resposta deles, "calibrar" os itens. Segundo a nota técnica, a amostra usada nesta edição foi de 100 mil participantes - entre eles estavam parte dos 5.974 candidatos que tiveram as notas corrigidas de forma falha, admitiu o órgão.
Na nota técnica, o Inep explica que fez a calibragem dos itens antes da identificação da falha na correção das 5.974 provas. Mesmo depois de ter constatado o erro nas notas e que, entre elas, estavam provas usadas dentro da amostragem de calibragem, o Inep diz que não fez nova calibragem e defende que ela não era necessária. "A proposta de selecionar nova amostra, recalibrar os itens e recalcular as proficiências, se apresentaria como medida inócua", argumenta, com a justificativa de que o a proporção de provas com inconsistências encontradas na amostra não ter "efeito significativo" em relação ao tamanho da amostra.
A Defensoria Pública da União (DPU) voltou a questionar o MEC após receber a nota técnica. Para o órgão, a resposta ainda não é "clara e objetiva" em afirmar se a utilização de uma "amostra em que contidas provas corrigidas equivocadamente prejudicou ou beneficiou algum candidato".
Segundo especialistas, o ideal é que uma prova feita por meio de TRI seja composta apenas dessas questões pré-testadas, para que depois seja calculada a nota do aluno com base nos parâmetros estabelecidos no pré-teste.
Para uma fonte do Ministério da Educação (MEC) ouvida pelo Estado, e que prefere não ter seu nome publicado, usar questões que não foram pré-testadas faz aumentar o erro padrão do exame. Dessa maneira, eles precisam ser calibrados na própria prova, ou seja, é necessário identificar a partir dos resultados dos alunos que participam do Enem se as questões foram consideradas fáceis ou difíceis.
Ele afirma que quando há gabaritos com problemas, como aconteceu este ano, essa calibragem fica toda prejudicada, já que é feita a partir das respostas que os candidatos em cada questão. "E para o Sisu isso é muito importante, uma mínima diferença na nota pode fazer ou não o aluno entrar em um curso de Medicina", diz.
O Inep tem o costume de usar questões que não foram pré-testadas porque o banco de itens é muito pequeno, um problema que se arrasta desde que o Enem se tornou um vestibular, em 2009. As questões hoje são elaboradas por professores de universidades federais, a pedido do governo, mas muitas não são consideradas boas suficientes para selecionar alunos ou têm outros tipos de problemas e precisam ser descartadas.
A quantidade total de itens do banco é mantida em sigilo. Este ano, o governo Bolsonaro ainda criou uma comissão para identificar questões que tivessem "abordagens controversas com teor ofensivo a segmentos e grupos sociais, símbolos, tradições e costumes nacionais" e acabou barrando 66 itens.
Nova Liminar
Com a explicação do ministério, a Defensoria pediu a suspensão da liminar que barrava a continuidade do Sisu. No entanto, pediu em nova liminar que o MEC publique em seus sites oficiais, em até 24 horas, uma nota de esclarecimento com as justificativas apresentadas judicialmente, sob pena de multa diária de R$ 10 mil. Também pede que o ministério responda individualmente aos 172 mil participantes que pediram a recorreção de suas provas, mas que não tiveram nenhuma alteração nas notas.
A Defensoria também pediu mais esclarecimentos ao MEC, como apresentar justificativa mais "clara e objetiva" se houve ou não prejuízo para os demais candidatos por não haver uma nova "calibragem" das questões após a constatação da falha, que atingiu parte da amostra. Para o órgão, é "genérico" que a nota técnica tente assegurar a segurança na correção apenas dizendo que os "parâmetros dos itens não sofreram influência significativa em sua calibração".
