Fundação Francisco Manuel dos Santos, 96 p., Lisboa 2017.
A qualidade da
investigação
Excerto de 2.10. Os professores, a investigação, a
avaliação
(...)
Estes temas trazem-nos a uma questão importante, que é a da
qualidade da investigação científica individual. Esta é avaliada em
importantes momentos de provas e concursos relacionados com a
carreira docente mas há outras circunstâncias em que se coloca o
mesmo problema: avaliação de unidades e projectos científicos,
avaliação para concursos e prémios de diversos tipos, avaliação
periódica de desempenho imposta pela lei desde 2009.
Podiam escrever-se livros inteiros sobre este tema e seguramente já
foram escritos alguns. Aqui referir-me-ei apenas à tendência
crescente para avaliar indivíduos com base nos chamados indicadores
bibliométricos: número de publicações, número de citações recebidas,
locais de publicação, etc.
A tendência para as avaliações bibliométricas tem duas motivações
fundamentais: uma má e outra equívoca. A má motivação é que uma tal
avaliação não consome tempo nem dá trabalho: pode ser levada a cabo
por funcionários ou processos automáticos e substitui o processo
moroso da avaliação humana que passa por ler os artigos e livros
(sendo portanto muito mais barata para os governos e administrações,
e muito mais simples para os júris). A motivação equívoca é que a
bibliometria é mais “objectiva”, constituindo portanto um obstáculo
a processos que sejam enviesados por qualquer razão. O problema está
em que não há substituto para a leitura e a avaliação humanas. A
avaliação valerá o que valerem os humanos que a fazem. Não há
“objectividades” numerológicas que resolvam este problema. Elas são
uma quimera.
Por exemplo: um bom cientista pode não ter muitas publicações mas
tem normalmente muitas citações aos seus trabalhos (sobretudo se for
muito bom). Mas um cientista pode ter muitas citações e não ser bom.
Isto mostra que ter muitas citações não é o que faz alguém ser um
bom cientista. Põe-se então um problema de definição, que não tem
solução fácil. Primeiro, os números médios variam muitíssimo de área
para área. Depois, são às vezes necessários muitos anos para se
comprovar a qualidade de um cientista, sobretudo em domínios do
conhecimento em que as descobertas têm um tempo de vida longo.
Na última década observou-se em todo o mundo uma explosão do número
de artigos científicos e do número de citações. Entre as causas está
com certeza o progresso da ciência, bem como a chegada em grande
escala, ao sistema internacional de publicação científica, de vários
países de fora da Europa e da América do Norte. Mas este crescimento
está também em correspondência com a crescente atenção dada – em
especial pelos media, que vivem da simplificação – aos rankings
internacionais de instituições, que são muito baseados em números.
Dada a importância atribuída aos rankings (que já são mais de 20,
há-os para todos os gostos), ficou criado um fortíssimo sistema de
incentivos, que rapidamente contagiou todos os outros processos de
avaliação. E não tenhamos ilusões: tal como em qualquer outra
actividade humana, os incentivos produzem resultados; só que talvez
não sejam os resultados desejáveis. Incentivos para indicadores
terão efeitos apenas sobre os indicadores. Incentivos à publicação
de artigos e livros levarão à publicação de muitos artigos e livros
(se bons se maus não interessa). Incentivos à existência de citações
produzirão muitas citações (de quem ou a que propósito não
interessa). Incentivos a patentes conduzirão ao registo de muitas
patentes (se com ou sem qualquer valor económico não interessa). Em
si mesmos, o que os incentivos para indicadores não criarão será boa
ciência. De facto, a bibliometria cega não só não identifica a boa
ciência como pode induzir a produção, em abundância, de má ciência.
Esse acaba por ser um dos seus maiores inconvenientes: podia ser
anódina; mas é mesmo prejudicial.
E o sistema internacional de publicação científica com revisão por
pares está hoje sob enorme tensão, havendo cada vez maior
dificuldade em encontrar especialistas que façam conscienciosamente
o indispensável mas penoso trabalho de arbitragem dos artigos. Ao
mesmo tempo, como sempre que há uma procura aparece logo uma oferta,
cresce o número de revistas científicas com pouco ou nenhum controlo
de qualidade. Por vezes, basta pagar para publicar um artigo.
Artigos destes, triviais, indiferentes, errados, repetidos ou
plagiados – e as citações que terão, dos círculos de amigos dos
autores, se não dos próprios autores – não servirão rigorosamente
para nada a não ser para engrossar as estatísticas.
Há uma história antiga, muito divertida, que ilustra o problema.
Transcrevo de uma fonte pública: o presidente da câmara de uma
cidade indiana estava preocupado por haver muitas cobras venenosas
na cidade. Decidiu então pagar um prémio pecuniário por cada cobra
morta que fosse entregue na câmara. A coisa começou por correr bem,
com as pessoas a matarem cobras para receberem o prémio. Mas depois
muitas pessoas começaram a criar cobras para manterem esse
rendimento. Quando o presidente da câmara soube disto, acabou com os
prémios, levando os criadores de cobras a desinteressarem-se e a
deixá-las fugir, com o resultado de que a população de cobras
venenosas à solta aumentou ainda mais.
A bibliometria informa mas não pode decidir. Qualquer esforço
numerizador tem um problema de fundo que é o de tentar automatizar o
que não é automatizável, porque não há nada que, na avaliação do
mérito, substitua a leitura, por humanos, dos trabalhos científicos.
É impossível avaliar um livro ou um artigo científico sem olhar para
ele. É impossível avaliar uma pessoa analisando uma base de dados.
Começa a haver instituições que fixam metas para os indicadores, não
só bibliométricos como outros, por exemplo o do financiamento obtido
para projectos de investigação. (Há uma universidade portuguesa que,
num plano de actividades para vários anos, incluiu o número de
artigos a publicar... e o número de citações a receber!)
É de grande importância para a qualidade da investigação científica
nas universidades a criação de sistemas de incentivos correctos. E
estes só podem passar pela cultura interna forte, pela exigência da
envolvente, pela relação com bons centros e cientistas no mundo,
pela valorização de formas genuínas de reconhecimento. A ciência
será publicada e citada por ser boa e não o contrário.
Para o desenvolvimento tecnológico não há boas métricas senão as do
sucesso empresarial: valor acrescentado real, volume de negócios,
emprego criado, exportações. Nas incubadoras universitárias, a
facturação por serviços prestados ou o número de empresas viáveis
incubadas, com a respectiva criação de empregos reais, são
impossíveis de simular por muito tempo.