Resultados do Saeb e do Saresp para rede estadual de SP têm diferença grande; o que isso significa?

Na última sexta-feira, 16, foram divulgados pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep) os dados do Sistema de Avaliação da Educação Básica (Saeb) de 2021 e os dados do Índice de Desenvolvimento da Educação Básica (Ideb) de 2021. Ambas as medidas são os principais parâmetros para avaliar a educação básica no Brasil.

Algo que chama a atenção nos resultados é a pequena queda verificada em Língua Portuguesa nos anos finais do ensino fundamental e no médio, além de resultados relativamente positivos em alguns Estados. Mesmo reconhecendo que esforços foram feitos na pandemia, e muitos educadores merecem muitos elogios pela sua atuação, os números pareciam melhores do que o esperado dentro de um contexto tão desafiador.

Notícias relacionadas

Por que os japoneses usam palavras parecidas com o português?

Mapa-múndi do IBGE com o Brasil no centro do mundo esgota em menos de 24 horas

Português que agrediu brasileira em universidade é absolvido e volta às aulas

Diante deste cenário, cabe analisar avaliações estaduais que também estão na Escala Saeb, régua que utilizamos para ver o nível de aprendizagem dos estudantes. Entre elas está o Sistema de Avaliação de Rendimento Escolar do Estado de São Paulo, o Saresp.

Essa avaliação também foi aplicada no foi de 2021. Mesmo considerando que as matrizes das avaliações que norteiam o Saeb e o Saresp são diferentes, o que justifica resultados um pouco díspares, o fato de estarem na mesma escala de proficiência faria com que se fosse esperado que as situações de aprendizagem verificadas nas duas avaliações para os alunos da rede estadual paulista fossem alinhadas. Não é o que acontece, como vemos na Tabela 1:

Se trouxéssemos aqui os dados de 2019 também, veríamos que já havia uma tendência de resultado mais positivo no Saeb, mas não em tão grande proporção - a exceção é o resultado do 9º ano em Língua Portuguesa, que já aparecia de forma bem mais favorável no Saeb. No entanto, agora vemos discrepância grande em todas as disciplinas e etapas, com a única exceção em Matemática no 3º ano do ensino médio. Em Língua Portuguesa, vemos uma diferença de pelo menos um ano de escolaridade nas três séries avaliadas.

Afinal, devemos acreditar nos 36% com aprendizado adequado ao final da educação básica de acordo com o Saeb ou nos 24% do Saresp? Essa diferença de magnitude é muito importante e precisa ser estudada e entendida. Farei aqui um exercício inicial com algumas hipóteses.

Um primeiro olhar pode ser feito em relação ao contexto de aplicação das duas avaliações. O Saeb foi realizado na janela de 8 de novembro a 10 de dezembro. Em nota do Ministério da Educação de 19 de novembro de 2021, publicada pelo portal Conviva (que é gerido pela União Nacional dos Dirigentes Municipais da Educação), consta a informação de que São Paulo seria o último Estado a receber a avaliação censitária.

Já a aplicação do Saresp aconteceu nos dias 9 e 10 de dezembro. Logo, em relação às datas, vemos que os alunos foram avaliados em períodos semelhantes, então esse não parece ser um motivo da diferença dos resultados. É importante, no entanto, estudar como foram as dinâmicas das duas aplicações.

Outra hipótese é o efeito de accountability da divulgação do Ideb na preparação para as avaliações. E aqui vale uma consideração importante: não estou aqui dizendo que as habilidades medidas nessas avaliações são todas treináveis, até porque o leque de habilidades avaliado é grande, mas sim que o foco do trabalho pedagógico nos meses anteriores à avaliação pode influenciar no resultado.

Algo importante a ser relembrado é que essas avaliações medem o ensino em toda a etapa e não apenas o desenvolvido na série avaliada. Por exemplo: alunos do 9º avaliados em 2021 tiveram de responder itens sobre habilidades das séries anteriores, que provavelmente estudaram antes da pandemia.

Isto é, mesmo com a pandemia, existia uma base de conhecimentos e habilidades já construída pelos alunos. Mas, para além dessa base e o que foi desenvolvido na pandemia, um foco grande nas habilidades pode favorecer os resultados. E é exatamente por isso que o Interdisciplinaridade e Evidências no Debate Educacional (Iede), centro de pesquisas que fundei e dirijo, sempre se posicionou contra a divulgação do Saeb e do Ideb de forma pública para as redes de ensino e escolas. O receio com os efeitos políticos de um Ideb ruim pode ter direcionado redes e escolas a terem foco excessivo no Saeb no retorno das aulas presenciais, quando existiam muitos problemas sensíveis a serem resolvidos, como a situação emocional de alunos e docentes.

Em relação a essa hipótese é difícil de se tirar conclusões sem os microdados, mas é algo que precisa ser estudado. No entanto, algumas considerações sobre os impactos das políticas de responsabilização nos resultados do Saeb podem ser feitas olhando dados nacionais de edições anteriores. Na Figura 1, apresento os resultados dos alunos da rede pública no 5º ano nas edições de 2005 e 2019 do Saeb.

O que vemos aqui é que a distribuição dos resultados mudou muito e ficou estranha, com um percentual grande de alunos com desempenho extremamente alto. Cabe pontuar que o Saeb 2005 já correspondia a 5ª edição com resultados na Escala Saeb. Nesse sentido, essa mudança não parece ter a ver com monitorarmos e acompanharmos mais nacionalmente a educação brasileira.

Uma hipótese é de que tenha a ver com o início das avaliações censitárias, e não mais amostrais, para escolas públicas (em 2005) e as políticas de responsabilização que vieram com o Ideb (criado em 2007). E isso em si não é negativo, escolas e redes passaram a olhar mais para a aprendizagem, o que é muito bom. Há aprendizagens que os alunos passaram a ter nesses 15 anos que merecem ser comemoradas. No entanto, esse foco maior nas habilidades avaliadas e o desenvolvimento dos alunos pode ter feito que a Escala Saeb não consiga estimar com precisão a proficiência de alunos em alguns níveis da escala. Por exemplo: os alunos na cauda superior estão acertando todas ou quase todas as questões. Faltam itens mais difíceis no Saeb do 5º ano.

Na Figura 2 mostro que, ao passo que já começamos a ver uma distribuição estranha no Saeb do 9º ano em Língua Portuguesa também, vemos uma distribuição sem resultados extremos quando olhamos os alunos brasileiros de 15/16 anos no Pisa 2018.

Com isso, não quero dizer que a Escala Saeb não é boa. Pelo contrário: é um parâmetro muito robusto, que nos permite avaliar longitudinalmente a educação brasileira. Mas o que esses dados apontam é que talvez precise ser analisada mais a fundo e até revisada.

Outra hipótese relevante é o efeito das taxas de participação, mas não há dados do Saeb para a rede estadual de São Paulo. No Saresp, tivemos 87% de participação dos alunos do 5º ano, 83% no 9º no e 69% no 3º ano do médio.

Por fim, não tem como não lembrar do ambiente turbulento para garantia do cronograma do Saeb e implementação dos mecanismos de segurança para a aplicação da avaliação. 37 servidores do Inep deixaram o instituto no período da aplicação, e ainda no final de 2021 a Controladoria Geral da União publicou relatório de avaliação da aplicação do Saeb bem crítico à atuação do Inep.

Mais hipóteses podem ser pensadas. E aqui pontuo a importância de o Inep permitir de forma acessível o acesso aos microdados do Saeb para pesquisadores. O Serviço de Acesso a Dados Protegidos (Sedap) não atende à necessidade que temos de garantir o acesso amplo à pesquisa. Também parece essencial uma colaboração entre Secretaria Estadual de Educação e Inep para cruzarem e analisarem as bases de dados de forma a se buscar uma compreensão do motivo dessa inconsistência.

Essa discrepância dos resultados de São Paulo em duas avaliações na mesma escala ilustra de forma taxativa como é importante cuidado na análise dos dados do Saeb 2021. Além disso, vale destacar que os impactos da pandemia foram desiguais nas diferentes escolas e redes, e que a volta às aulas presenciais trouxe muitos desafios para além da garantia das habilidades medidas na avaliação. Por isso, não deixa de ser lamentável o uso político que já está sendo feito com os resultados do Saeb e do Ideb, em um contexto que deveríamos nos unir para lidar com os impactos da pandemia e não querer competir nos resultados de uma avaliação aplicada em um cenário desafiador.

Ernesto Martins Faria é diretor-fundador do Interdisciplinaridade e Evidências no Debate Educacional (Iede)