Por Lilian N. Calò

Foto adaptada da original: Pasquale Paolo Cardo.

A avaliação por pares é uma das etapas críticas da editoração científica, que tem por objetivo assegurar a confiabilidade e qualidade das publicações. Tem sido objeto de frequente discussão neste blog^1-3 a atual saturação do processo de avaliação por pares pré-publicação, bem como os modelos alternativos que se apresentam para tentar evitar que o problema se agrave ainda mais. É fato conhecido na comunidade científica que o modelo atual de avaliação por pares atrasa demasiadamente a publicação de resultados de pesquisa, porém nem sempre confere qualidade às publicações.

Muitos editores concordarão com o fato de que é cada vez mais difícil obter pareceres de qualidade no tempo preconizado pelo processo editorial dos periódicos. As causas prováveis deste comportamento são várias, desde o número sempre crescente de artigos para avaliar, em franco descompasso com o número de pesquisadores disponíveis para fazer face à demanda; a falta de mecanismos de recompensa desta atividade no meio acadêmico, o baixo número de especialistas em determinados nichos da ciência, ou simplesmente a falta de disposição para empreender uma tarefa altamente especializada que demanda tempo e esforços, porém traz pouca ou nenhuma recompensa e na maior parte das vezes é simplesmente descartada após a aprovação do manuscrito.

Ademais dos desafios impostos ao processo de avaliação por pares, também a confiabilidade e transparência nem sempre estão asseguradas. Na maior parte das vezes protegidos pelo anonimato, pareceristas podem agir de forma antiética, comprometendo o processo que deveria, em primeiro lugar, avaliar os artigos por seu mérito científico. Pareceristas, ademais, são eles próprios pesquisadores, que se dedicam a estudos na mesma área dos trabalhos que avaliam. É compreensível que surjam conflitos de interesse que, a rigor, deveriam ser declarados pelo parecerista ao mesmo tempo em que declina realizar uma determinada avaliação. Entretanto, muitas vezes, não é o que ocorre.

Recentes estudos utilizando modelos teóricos de avaliação por pares mostraram que os resultados são sensíveis ao comportamento antiético dos pareceristas. De acordo com o modelo proposto por Thurner e Hanel⁴, os pareceristas que optam por agir em benefício próprio ao invés de em prol da ciência, tendem a rejeitar manuscritos que julgam de qualidade superior em relação ao seu próprio trabalho – e são denominados pareceristas egoístas. Na outra extremidade de seu modelo, estes autores propõem a existência – teórica – de pareceristas ditos imparciais, que estão constantemente aumentando o padrão de qualidade dos manuscritos que aceitam para publicação, enquanto que os pareceristas egoístas aceitam majoritariamente manuscritos de qualidade abaixo da média. Assim, teoricamente, um cenário em que houvesse apenas pareceristas imparciais resultaria em nenhum artigo sendo publicado, pois os padrões para publicação seriam demasiadamente elevados, ao passo que um cenário com apenas pareceristas egoístas resultaria na publicação de artigos de qualidade abaixo da média dos artigos submetidos. Evidentemente, a situação real se encontra entre estes dois extremos.

Um artigo recém-publicado em PeerJ Preprints⁵, da autoria de Rafael D’Andrea e James O’Dwyer, da Universidade de Illinois, EUA, retoma o modelo de Thurner e Hanel e o amplia, testando como os resultados são alterados quando os pareceristas adotam comportamentos menos extremos, bem como o papel os editores de periódicos em mitigar os impactos negativos da conduta antiética de certos pareceristas.

D’Andrea e Dwyer estenderam o modelo de Thurner e Hanel introduzindo duas categorias de pareceristas aos já existentes imparciais (com padrões fixos) e egoístas (indiferentes). Tratam-se dos pareceristas imparciais com padrões variáveis e os pareceristas egoístas conscienciosos. Os pareceristas imparciais com padrões fixos aceitam para publicação manuscritos com padrão mínimo de qualidade e rejeitam os demais. Os imparciais com padrões variáveis tem comportamento similar, apenas que seu padrão de qualidade é baseado na média de qualidade dos trabalhos aceitos para publicação no ciclo anterior de revisão, e este padrão, portanto, é constantemente atualizado, o que justifica sua denominação. Os pareceristas antiéticos egoístas indiferentes aceitam artigos cuja qualidade é menor do que a média dos artigos submetidos, ao passo que os egoístas conscienciosos seguem esta regra, porém também obedecem a padrões mínimos de qualidade.

Os resultados levaram a concluir que pareceristas egoístas, tanto indiferentes como conscienciosos, tem um pronunciado efeito em reduzir a qualidade da literatura publicada. A principal causa deste impacto é sua complacência em aceitar artigos de baixa qualidade, e não por sua tendência em rejeitar artigos de qualidade que eles possam perceber como uma ameaça ou competição à sua própria produção científica. A única maneira de assegurar a manutenção da qualidade das publicações é se os pareceristas se comprometerem a rejeitar artigos que não cumpram com critérios mínimos de qualidade preconizados pelos periódicos, independente da inclinação que possam ter em sabotar trabalhos de melhor qualidade que os seus próprios. Ademais, a atuação de pareceristas egoístas tem um forte impacto nas taxas de rejeição de artigos em geral e em particular de manuscritos acima de qualidade acima da média.

O que podem fazer os editores de periódicos para mitigar, já que não é possível neutralizar o impacto da ação de pareceristas antiéticos? D’Andrea e Dwyer chegaram à conclusão de que na eventualidade de um dos pareceristas recomendar a publicação do manuscrito e o outro sua rejeição, consultar outros pareceristas para desempatar a decisão ajuda a preservar a qualidade do processo de avaliação. Por outro lado, os autores observaram que esta estratégia tende a aumentar a proporção de manuscritos rejeitados com qualidade acima da média, o que não é positivo para a ciência.

A prática de elaborar listas de pareceristas egoístas (blacklisting) consiste em manter registros daqueles avaliadores que tem elevados índices de desacordo entre pareceristas. Este raciocínio é baseado no fato que dois pareceristas imparciais nunca discordam entre si, porém um imparcial e um egoísta podem discordar. Assim, um elevado nível de discordância pode indicar um parecerista egoísta. No modelo teórico reportado no artigo, o blacklisting tem seu efeito superestimado, pois na realidade, cada periódico pode manter sua própria lista de pareceristas antiéticos, porém não é provável que as compartilhem. A despeito disso, remover pareceristas de comportamento suspeito da amostra aumenta a qualidade dos artigos publicados e reduz a taxa e rejeição de bons artigos.

Cabe ressaltar que os autores enfatizam que esta estratégia editorial acaba tendo um efeito indesejável, uma vez que sobrecarrega bons pareceristas com mais artigos para revisar e libera da tarefa aqueles de comportamento antiético, conferindo-lhes mais tempo para sua própria pesquisa.

Uma observação interessante no modelo de avaliação estudado, que parece contra-intuitiva com o que se observa na realidade, é que enviar artigos rejeitados de volta aos autores para revisão não teve qualquer efeito em melhorar a qualidade dos mesmos, apesar da estratégia diminuir a proporção de manuscritos rejeitados de qualidade acima da média. Por outro lado, aprovação ou rejeição imediata, sem avaliação por pares, de manuscritos excepcionalmente bons ou excepcionalmente ruins tem quase nenhum impacto na qualidade do que é publicado ou na taxa de rejeição, exceto, como era esperado, o de garantir que ótimos artigos serão publicados e aqueles muito ruins não o serão.

Este estudo adotou algumas aproximações extremas, como considerar que o único viés dos pareceristas fosse o interesse egoísta em sabotar artigos de qualidade superior à sua própria produção científica; assumir que os editores não têm qualquer viés; considerar que os padrões de qualidade dos periódicos são uniformes, e por último, julgar que os manuscritos são avaliados com base apenas em mérito científico e valor intrínseco para publicação. No entanto, os autores acreditam que modelos mais sofisticados que levem em conta estas omissões deveriam chegar às mesmas conclusões qualitativas quanto ao impacto da indiferença dos pareceristas e a potencial capacidade dos editores em mitigá-las.

Os autores concluíram que o formato atual da avaliação por pares pré-publicação oferece pouco ou nenhum incentivo para o comportamento altruísta dos pareceristas e fornece poucas garantias de eficiência e transparência no processo. Esta observação vai ao encontro de inúmeros outros estudos que compartilham a noção de que se faz necessária uma profunda revisão do formato atual da avaliação por pares, para restituir-lhe a credibilidade, eficiência, e transparência, e ao mesmo tempo prover à comunicação científica a celeridade desejada.

Notas

1. VELTEROP, J. A crise de reprodutibilidade pode estar sendo agravada pela avaliação por pares pré-publicação? [online]. SciELO em Perspectiva, 2016 [viewed 19 June 2017]. Available from: http://blog.scielo.org/blog/2016/10/20/a-crise-de-reprodutibilidade-pode-estar-sendo-agravada-pela-avaliacao-por-pares-pre-publicacao/

2. NASSI-CALÒ, L. Aumenta a adoção de avaliação por pares aberta [online]. SciELO em Perspectiva, 2017 [viewed 19 June 2017]. Available from: http://blog.scielo.org/blog/2017/01/10/aumenta-a-adocao-de-avaliacao-por-pares-aberta/

3. PACKER, A.L., SANTOS, S. and MENEGHINI, R. SciELO Preprints a caminho [online]. SciELO em Perspectiva, 2017 [viewed 19 June 2017]. Available from: http://blog.scielo.org/blog/2017/02/22/scielo-preprints-a-caminho/

4. THURNER, S. and HANEL, R. Peer-review in a world with rational scientists: Toward selection of the average. Eur. Phys. J. B. [online]. 2011, vol. 84, pp. 707-711 [viewed 19 June 2017]. DOI: 10.1140/epjb/e2011-20545-7. Available from: http://epjb.epj.org/articles/epjb/abs/2011/23/b110545/b110545.html

5. D’ANDREA, R. and O’DWYER J.P. Can editors protect peer review from bad reviewers? [online] PeerJ Preprints. 2017, 5:e3005v3 [viewed 19 June 2017]. DOI: 10.7287/peerj.preprints.3005v3. Available from: http://peerj.com/preprints/3005v3/

Referências

D’ANDREA, R. and O’DWYER J.P. Can editors protect peer review from bad reviewers? [online] PeerJ Preprints. 2017, 5:e3005v3 [viewed 19 June 2017]. DOI: 10.7287/peerj.preprints.3005v3. Available from: http://peerj.com/preprints/3005v3/

NASSI-CALÒ, L. Aumenta a adoção de avaliação por pares aberta [online]. SciELO em Perspectiva, 2017 [viewed 19 June 2017]. Available from: http://blog.scielo.org/blog/2017/01/10/aumenta-a-adocao-de-avaliacao-por-pares-aberta/

NASSI-CALÒ, L. Avaliação por pares: modalidades, prós e contras [online]. SciELO em Perspectiva, 2015 [viewed 19 June 2017]. Available from: http://blog.scielo.org/blog/2015/03/27/avaliacao-por-pares-modalidades-pros-e-contras/

NASSI-CALÒ, L. Avaliação por pares: ruim com ela, pior sem ela [online]. SciELO em Perspectiva, 2015 [viewed 19 June 2017]. Available from: http://blog.scielo.org/blog/2015/04/17/avaliacao-por-pares-ruim-com-ela-pior-sem-ela/

PACKER, A.L., SANTOS, S. and MENEGHINI, R. SciELO Preprints a caminho [online]. SciELO em Perspectiva, 2017 [viewed 19 June 2017]. Available from: http://blog.scielo.org/blog/2017/02/22/scielo-preprints-a-caminho/

THURNER, S. and HANEL, R. Peer-review in a world with rational scientists: Toward selection of the average. Eur. Phys. J. B. [online]. 2011, vol. 84, pp. 707-711 [viewed 19 June 2017]. DOI: 10.1140/epjb/e2011-20545-7. Available from: http://epjb.epj.org/articles/epjb/abs/2011/23/b110545/b110545.html

VELTEROP, J. A crise de reprodutibilidade pode estar sendo agravada pela avaliação por pares pré-publicação? [online]. SciELO em Perspectiva, 2016 [viewed 19 June 2017]. Available from: http://blog.scielo.org/blog/2016/10/20/a-crise-de-reprodutibilidade-pode-estar-sendo-agravada-pela-avaliacao-por-pares-pre-publicacao/

Sobre Lilian Nassi-Calò

Lilian Nassi-Calò é química pelo Instituto de Química da USP e doutora em Bioquímica pela mesma instituição, a seguir foi bolsista da Fundação Alexander von Humboldt em Wuerzburg, Alemanha. Após concluir seus estudos, foi docente e pesquisadora no IQ-USP. Trabalhou na iniciativa privada como química industrial e atualmente é Coordenadora de Comunicação Científica na BIREME/OPAS/OMS e colaboradora do SciELO.