CAPES e o novo sistema de classificação de artigos científicos: o que é verdade e o que é desinformação

Muito tem se falado no mundo acadêmico sobre as mudanças no Qualis Periódicos. Parece haver uma falta de compreensão sobre o que foi mudado e, principalmente, porque foram feitas mudanças.

Com o intuito de trazer transparência para as ações da CAPES, resolvemos trazer mais esclarecimentos a toda comunidade científica.

Notícias relacionadas

Morte em rope jumping: o que se sabe sobre o caso da jovem que foi jogada sem corda de ponte em Limeira

Saiba quem é a jovem que morreu após ser jogada sem corda em salto de rope jump

Mulher morre após ser jogada sem corda de mais de 40 metros de altura em salto no interior de SP

Ao longo dos anos, a avaliação da CAPES foi aprimorada. E a classificação da produção bibliográfica foi diversificada. Além do Qualis Periódicos, foram criados o Qualis Eventos, o Qualis Livros, e o Qualis Artístico.

Importante notar que em todas essas classificações, os indicadores avaliam produtos. Os focos são os artigos publicados nos periódicos, os trabalhos publicados nos eventos, os livros editados pelos programas e os produtos artísticos desenvolvidos.

No caso do Qualis Periódicos, criou-se a cultura de tornar pública a classificação das revistas, embora esta seja um indicador indireto para os artigos publicados.

Novos procedimentos de classificação

Os artigos poderão ser classificados: a partir de indicadores bibliométricos das revistas, dos indicadores bibliométricos dos artigos e a partir dos indicadores qualitativos, tanto dos periódicos, quanto das revistas. Mas a CAPES não publicará uma lista de revista com os respectivos Qualis, conforme ocorreu até 2025.

Vale destacar ainda que os artigos publicados em periódicos identificados com práticas editoriais que não asseguram a integridade do processo de revisão por pares não serão objeto de classificação. E, portanto, serão eliminados da produção intelectual do programa.

Todas estas definições e orientações estão publicadas e detalhadas nos instrumentos de avaliação, documentos orientadores, e se fundamentam na legislação de regência.

A CAPES, por meio do Conselho Técnico Científico da Educação Superior (CTC-ES), estabeleceu três procedimentos para a classificação dos artigos.

Procedimento 1: A classificação se dará pelos indicadores bibliométricos dos veículos de publicação, baseada no desempenho da revista, como é feito atualmente pelo Qualis Periódicos. Vale destacar que a classificação vai recair sobre os artigos. Os artigos serão classificados em ordem crescente de valor de A1 até A8.

Procedimento 2: Combina indicadores do periódico e do artigo. Partindo do desempenho bibliométrico do periódico identificado no primeiro procedimento. Além disso, se pode adicionar à classificação do artigo elementos qualitativos do periódico, como critérios de indexação, acesso aberto, dentre outros.

Serão considerados também os indicadores extraídos diretamente do artigo, por exemplo, o número de citações, o índice de citação normalizada por campo de pesquisa, dentre outros. Os artigos serão classificados em ordem crescente de valor de A1 até A8.

Procedimento 3: A análise qualitativa de artigos será baseada em fatores e metodologias definidos pela área de avaliação que podem abarcar, por exemplo, uma análise de pertinência do tema abordado, avanço conceitual proveniente do trabalho e a contribuição científica do estudo. Os artigos serão classificados como Muito Bom, Bom, Regular, Fraco e Insuficiente.

O primeiro e segundo procedimentos são adequados para classificar a produção total. Já o terceiro é destinado a apenas uma parte destacada das publicações.

Importante mencionar que cada uma das 50 áreas de avaliação escolheu o procedimento ou a combinação deles para classificar os artigos.

Em aprimoramento ao processo, espera-se que os novos procedimentos permitam, por exemplo, que três artigos publicados em um mesmo periódico possam ter classificações diferentes.

Com isso, um texto poderá receber classificação melhor do que o outro, de acordo com as contribuições específicas de cada um. Existem outros aspectos da nova metodologia que merecem ser apontados. Entre os quais, acolhimento de outras informações, métricas e metodologias. Além disso, a possibilidade de valorizar boas revistas de acesso aberto ou de relevância nacional, como as indexadas no Scielo.

Como chegamos a esta mudança?

A avaliação da pós-graduação stricto sensu coordenada pela CAPES é formulada por meio de seu órgão colegiado de participação social, o CTC-ES. O colegiado é composto pelo conjunto de coordenadores das áreas de avaliação, diretorias finalísticas da CAPES, representação dos pós-graduandos e das pró-reitorias de pesquisa e pós-graduação.

Este grupo reúne-se periodicamente para discutir temas relevantes. Dentre eles, a produção intelectual e seu papel na avaliação dos programas de pós-graduação (PPGs) são temas que geram reflexões.

O instrumento de avaliação Qualis Periódicos aprimorou-se ao longo do tempo e foi aplicado na avaliação quadrienal do período 2017-2020.

Após este processo, algumas áreas de avaliação concluíram que o Qualis não era efetivo para distinguir os PPGs quanto à produção de artigos. Em virtude disso, houve uma demanda, de forma muito natural, para ampliação dos procedimentos.

Durante o ano de 2023, o CTC-ES discutiu várias dessas questões, o que culminou com a proposta de um grupo de trabalho (GT) para a revisão da metodologia. Assim, o GT Classificações da Produção Intelectual e Qualis Periódicos foi instituído pela Portaria n° 64/2024.

A mudança aprovada pela CAPES, que extingue o Qualis e redefine a classificação da produção para o ciclo 2025-2028, resulta do aprimoramento baseado nos aprendizados e avanços da avaliação científica.

Base conceitual do Qualis Periódicos

É sempre oportuno e relevante delinear claramente essas características do Qualis Periódicos, É a partir de sua exata compreensão, que se alcance uma avaliação sem desvirtuamentos.

Ressaltamos que Qualis Periódicos não é uma avaliação da revista per se, mas corresponde a um procedimento que deve ser usado exclusivamente no âmbito da avaliação da Pós-Graduação.

Importante destacar ainda que determinada revista entra na análise apenas se, durante os quatro anos nos quais os programas são avaliados, houver publicação de artigos nessa revista por algum dos programas de pós-graduação da área.

O segundo ponto é que a classificação se refere ao passado, tendo como base os indicadores bibliométricos da revista nos últimos cinco anos do ciclo de avaliação.

O terceiro ponto é que, de um quadriênio para outro, a revista pode ser classificada por diferentes áreas de avaliação a partir do número de artigos publicados pelos programas dessas diferentes áreas. A "área considerada mãe" é a que mais publica no quadriênio e a responsável por classificar a revista.

O quarto ponto é que o Qualis pode mudar de um ciclo para outro. É natural que os valores dos indicadores bibliométricos do período considerado mudem. Às vezes, mudam significativamente.

Reflexões

Quando a CAPES divulgou que o Qualis não seria mais utilizado, a comunidade acadêmica reagiu com sentimentos diversos. Alguns elogios e algumas preocupações com o colapso do sistema.

É natural ocorrerem divergências no ambiente acadêmico frente a mudanças, mas o fato do quanto essa classificação dos periódicos influenciou a dinâmica de publicação científica merece reflexões.

Chamam a atenção algumas perguntas que foram palco de debates em alguns documentos publicados por pesquisadores e associações científicas.

O que muda na sua pesquisa com a extinção do Qualis Periódicos? Como o pesquisador escolherá agora o periódico para publicar artigos? Como artigos publicados no mesmo periódico poderão receber diferentes classificações?

Do ponto de vista conceitual, a mudança nos procedimentos de classificação não deveria mudar a dinâmica de pesquisa nem de divulgação dos resultados por parte dos autores.

Tanto a pesquisa quanto a sua divulgação deve ter como base o avanço do conhecimento. É a partir do alcance das contribuições que os artigos trazem para a determinada área que se deve escolher o periódico mais adequado para a sua divulgação.

Avanços disruptivos tem maior potencial para serem publicados nos periódicos de maior prestígio e reputação. Enquanto os avanços mais incrementais encontram espaço em periódicos mais especializados e com alcance menor.

Outro fator importante na escolha dos periódicos seria aqueles nos quais o tema está no centro do debate da comunidade.

Pesquisadores e autores devem publicar seus artigos nos periódicos que tem boas práticas editoriais e cujo escopo acolhe os resultados. E uma mudança no procedimento de classificação não deve afetar a dinâmica da pesquisa e nem da sua divulgação.

Não se pode pensar a pesquisa e sua divulgação sob a tutela da avaliação. Essa dependência excessiva não é boa nem para os avaliados nem para a avaliação. Uma produção relevante e de qualidade tem alta probabilidade de ser sempre bem avaliada.

Denise Pires de Carvalho recebe financiamento do CNPq.

Antonio Gomes Souza Filho recebe financiamento do CNPq.

Nádia G. Sarmento não presta consultoria, trabalha, possui ações ou recebe financiamento de qualquer empresa ou organização que poderia se beneficiar com a publicação deste artigo e não revelou nenhum vínculo relevante além de seu cargo acadêmico.