Análise quantitativa às perdas de aprendizagem em contexto de pandemia
Como podemos quantificar o inquantificável? Tratando pessoas como pessoas.
Introdução
No passado dia 25 de março, foi publicado um estudo intitulado “Aprendizagens perdidas devido à pandemia: Uma proposta de recuperação”, assinado por Susana Peralta, Ana Balcão Reis, Miguel Herdade, Pedro Freitas e Bruno P. Carvalho. O estudo foi disponibilizado a toda a comunidade na plataforma Zenodo, e foi posteriormente divulgado pelo jornal Público, num artigo escrito por Samuel Silva. Este artigo foi partilhado na rede social Twitter, onde foi alvo de críticas — o que é habitual dado à natureza da plataforma, não fossem estas críticas escritas por professores, ex-professores, estatísticos, etc. É recomendável ler o estudo a partir da secção 3, para melhor compreensão deste artigo (apesar de não ser obrigatório).
Entendendo a importância deste tema ser discutido em praça pública, os autores do estudo decidiram usar assim o seu poder mediático para o fazer, e pediram feedback da comunidade. O objetivo deste artigo é fazer uma análise aos dados usados como referência neste estudo, e a forma como estes foram tratados.
As críticas
Este artigo foca-se em clarificar as críticas que foram feitas na plataforma. Primeiro é preciso definir exatamente o que é que pessoas como eu estão efetivamente a criticar.
As críticas não se focam na ausência de importância deste tema, e não oferecem alternativas concretas nem ao método estatístico, nem às medidas que podem ser implementadas para mitigar os efeitos adversos do confinamento na educação.
Quando me refiro a “alternativas concretas”, não digo que as críticas não expõem como é que poderia ser melhorada a análise — simplesmente não o fazem com o grau de profundidade exigido em meio académico. Esse passo deve ser feito por especialistas em educação.
As críticas focam-se nos dados usados e nas conclusões retiradas a partir daí. Relativamente aos dados usados e ao método estatístico, é perfeitamente plausível que não haja ainda informação suficiente para se desenharem conclusões razoáveis e válidas que possam ser aplicadas (como parece ser o caso), pelo que deveríamos estar focados em acelerar o processo de obtenção e tratamento de dados de forma a conseguirmos redigir estudos mais próximos da realidade nesta matéria.
As críticas vão além do que está a ser discutido explicitamente neste estudo, já que tocam em pontos como:
- a constante objetificação dos alunos(mais horas = mais aprendizagem)
- a subvalorização dos professores(não lhes é dada a devida importância no decorrer do estudo, já que acabam por dar demasiada importância a testes padronizados)
- a ideia subjacente à anterior de que testes padronizados podem ser usados como medidas de sucesso no ensino.
Acho ainda importante referir que nada disto significa que não existam perdas de aprendizagem em consequência do confinamento. Não vamos confundir os dois — estamos a falar de como é que estas são quantificadas.
Para além disso, como se sabe, os artigos científicos têm sempre limitações reconhecidas pelos autores. Não ouvi nenhuma crítica ao exercício intelectual feito no decorrer do estudo relativamente a este aspeto. Ou seja, não é por não haver dados suficientes disponíveis que não podem ser feitos exercícios com a informação que temos, em meio académico, e identificando devidamente todas as limitações desses exercícios. No entanto, é preciso ter um certo tato de quando e como levamos estes assuntos a ser discutidos na praça pública.
Quando olhamos para a conclusão do estudo, vemos que esta é exposta de um ponto de vista meramente económico (valendo o que vale, num artigo sobre educação), e, no decorrer da secção 3 do estudo (“Perda de aprendizagens”) muitas limitações reconhecidas nos próprios papers referenciados são simplesmente deixadas de fora desta análise.
O exercício/estudo deixa assim de ser inocente, e passa a ter uma exposição excessiva e biased, contaminando e condicionando a opinião popular — algo que se torna ainda pior quando vemos que o artigo online está bloqueado por uma paywall.
Na minha opinião, nestas condições dificilmente haverá uma análise profunda por parte da maioria da população — poucas pessoas terão conhecimento da disponibilização do estudo em open source, e ainda menos terão a capacidade de o analisar de forma imparcial.
O Estudo
As críticas expostas anteriormente implicam que as medidas apresentadas como concretas podem não funcionar, uma vez que a própria descrição do ponto de situação atual do ensino Português é feita com base numa série de inferências lógicas erradas(ex: PISA como métrica de sucesso, o regime online como única diferença significativa no pré vs pós pandemia, etc.), e de formas de medir o sucesso no ensino igualmente errados. O “impacto da covid” é assim mal medido. Do lado das soluções, poucos ou nenhuns especialistas de educação são referenciados.
Fazendo agora uma análise mais precisa ao estudo em si, de forma a conseguirmos fundamentar algumas das críticas expostas anteriormente, o estudo começa por referir, no 2º parágrafo da secção 3, que existe já literatura acerca do impacto do encerramento (total) das escolas noutros países — greves nacionais de professores, p.ex.
As primeiras inferências são relativamente benignas e não têm grandes impacto na conclusão: os mais pobres são mais afetados, por exemplo, mas outras são despropositadas: obviamente que ficar completamente sem aulas num país desconfinado (e sem estar a passar por uma crise económico-social profunda) é completamente diferente de ficar sem aulas num país confinado com aulas online — um dos estudos citados escreve PRECISAMENTE ISSO nas limitações , e diz ainda que o estudo deve ser usado como “um guia impreciso”. Um dos outros estudos referenciados foca-se no prolongamento ou não das férias de verão, o que mais uma vez é um caso completamente diferente. Os autores nunca fazem o paralelo entre pré e pós-pandemia como deve ser feito.
Estes estudos são, no entanto e numa fase inicial usados para demonstrar que de facto existem perdas na aprendizagem quando as escolas fecham.
De seguida, os autores usam a Holanda como exemplo de mais um país que analisou devidamente os impactos do confinamento na educação. Nele pode-se ler (traduzindo para português): “A Holanda apresenta o melhor cenário possível, uma vez que providencia uma perda de conhecimentos menor que qualquer outro país na Europa e no mundo”. Esta frase é fundamentada pelo facto de 99% da população Holandesa ter acesso à internet.
No estudo apresentado, e usando testes padrão como forma de avaliar a educação(que valem pouco), é notado que os alunos perdem 1/5 do rendimento, e que isto coincide precisamente com o número de semanas em que as escolas estiveram fechadas.
Os autores assumem a partir daqui que 1 dia de aulas online é exatamente igual a 1 dia de escola perdido. Ou seja, assume-se que a taxa de retenção no modelo online é zero. Não fazem ainda qualquer tipo de acerto para eventuais variações naturais que possam haver em testes padrão de ano para ano. Além disso, usam referências onde testes padrão altamente duvidosos como o PISA (para adultos) são usados para avaliar a proporção entre os dias de escola perdidos, e a perda de pontos nesse mesmo tipo de testes padronizados. O PISA é um ranking usado para avaliar os sistemas educativos de vários países, que usa testes padrão para o fazer. O PISA tem uma credibilidade científica duvidosa.
Para adaptar para o caso Português, assume-se ainda que a correlação média dos pontos perdidos no PISA e o rendimento perdido é igual à correlação média existente nos restantes países da OCDE, vindo daí a o 1.5% do PIB perdido. Não há razões para acreditarmos que Portugal está na média dos países da OCDE em termos de valorização dos anos de ensino, nem para acreditarmos no PISA como forma de avaliar o conhecimento de quem quer que seja.
No meio disto tudo, toda a componente relacionada com o desenvolvimento social e pessoal (para além de matemática, línguas, etc.) é completamente descartada. É ainda descartado o próprio impacto psicológico do processo pelo qual as famílias estão a passar, em consequência de uma outra crise — a económica — em que vivemos. Não é considerado assim em que medida o rendimento dos alunos está a diminuir por outros fatores que não necessariamente apenas o do regime online (pelo menos convenientemente).
Em cima de tudo isto, existem ainda as enormes e obscenas limitações do PIB como medida de riqueza para o que quer que seja.
Por fim, as medidas propostas para Portugal são essencialmente cópias das medidas feitas noutros países, e não referenciam uma única opinião de um especialista em educação, que esteja a favor.
Soluções
Não me alongando muito sobre o tema, uma vez que soluções concretas necessitam de uma abordagem realizada por profissionais na área da educação e no tratamento estatístico, é notório que o levantamento de dados sobre o impacto da pandemia nas escolas portuguesas está consideravelmente atrasado.
Não considero ainda que este estudo seja um bom ponto de partida nesta análise, pelas razões já referidas.
Os professores e especialistas de educação devem ser chamados a debater este assunto com a maior brevidade possível.
Havendo tempo e recursos suficientes (deveria ter começado a ser feito no início da pandemia), devemos tentar “subir” o máximo possível na tabela seguinte:
As pessoas devem estar assim no centro de toda esta análise, dando especial relevância aos professores, aos alunos, e a toda a comunidade escolar. Não o PIB, nem o PISA. O ponto de partida deve ser dado por eles porque, afinal de contas, o ensino trata disso mesmo — pessoas.
Agradecimentos
Agradeço à Maria João Rodrigues (https://jonasnuts.com /), pela ajuda incrível prestada na revisão do texto, e ao Diogo Ribeiro por me ter trazido para este debate e por ter apoiado e revisto este artigo.
