blogue atlântico

O Miguel Madeira tem levado a cabo um trabalho a vários títulos notável, de pegar nos resultados do exames de Matemática do 12º ano em 2007 para tentar estimar o impacto de diversas variáveis na nota final do aluno. Há muita informação que gostaríamos de ter e não temos - como o nível socio-económico dos pais do aluno, o QI do aluno, etc. -, mas mesmo assim o Miguel pega, e bem, na informação existente - incluindo um índice de poder de compra geográfico - para tentar descascar um pouco mais o problema. E não deixa de fazer algumas importantes ressalvas. A série já vai em doze posts, as conclusões principais são relembradas aqui. Deixo quatro pontos para esta discussão.

1. O Miguel explica o porquê de escolher uma disciplina em concreto em vez de analisar todas as disciplinas - o que faz sentido. Como a série foi crescendo e crescendo, o leitor menos paciente poderá, sobretudo pelo impacto na memória da leitura repetida do título da série do Miguel - “Análise às notas dos exames do Secundário” - ficar com a ideia de que se trata de uma análise global aos exames do Secundário e não de uma análise a uma disciplina apenas - e a uma disciplina muito singular. Seria proveitoso, a meu ver, iniciares os posts (pelo menos o post que sumariza as principais conclusões) relembrando o facto de estares a estudar apenas um exame e/ou ajustares o título da série. Este ponto é muito importante em termos da mensagem que é retida pelo leitor. (Já agora, aproveito para esclarecer que o uso de capitulares no título do post serve apenas para chamar a atenção do leitor. Não estou a “gritar” com ninguém).

2. Concordo com a escolha da análise dos exames individuais e não por escola, que fizeste aí pelo meio, antes de voltares a arrepiar caminho;

3. Dado que nos debruçamos sobre o exame de Matemática, que tem muitas especificidades, há algumas coisas que, penso eu, devemos ter em conta.

3.1. Primeiro, o coeficiente para a variável “Sexo” é significativo, indicando um resultado superior - tudo o resto constante - dos rapazes. Isso é de esperar, tal como seria de esperar o contrário (julgo eu) nos exames de português. Nada de meter politicamente correctos aqui: apenas lembro que há particularidades nesta disciplina que obrigam a uma certa prudência caso pretendamos, a partir dos resultados nela obtidos, extrapolar para o universo dos exames todos.

3.2. Segundo, e como comparação ao anterior, o coeficiente “Idade” tem o sinal que se esperava - tudo o resto constante, quanto mais velho o aluno, pior o resultado. Aqui espera-se o mesmo noutras disciplinas, ainda que, quanto a mim, o efeito na Matemática seja superior, porque esta disciplina tem resultados de uma variabilidade ímpar. O que me leva ao próximo ponto.

3.3. A variabilidade nos resultados de Matemática (infelizmente ainda não consegui abrir a base de dados), onde existem imensos “zeros” convida, quanto a mim, a fazer dois exercícios: um com os dados totais, outro excluindo estes outliers. Acho que era interessante veres a diferença que resulta desta escolha simples de eliminar os “zeros” (e eventualmente outras notas - sendo que é impossível não escolher uma linha de demarcação de certo modo arbitrária).

Repara que isto pode mudar muito um dos coeficientes mais importantes na tua benvinda análise: aquele que indica o efeito parcial do ensino público/privado. É que, como é previsível (ou talvez não tanto assim, como disse não vi os dados, e sei que há muitas escolas privadas no fim da tabela), o facto de muitas escolas privadas terem algum poder de selecção sobre os seus alunos faz com que o número de “zeros” nas privadas seja, previsivelmente, bastante menor. Por outras palavras, aqueles que não nasceram para a Matemática estão mais que desproporcionalmente no ensino público e não tens nenhuma variável que controle isso. À falta de informação sobre o QI dos alunos ou de notas noutros testes similares, uma possibilidade é excluir esses tais outliers.

Ao fazermos isto, estamos na prática a minorar o problema de não termos dados que reflictam a assimetria entre algumas escolas privadas e públicas ao nível da selectividade. Nesta linha, a eliminação das melhores notas poderia também ser interessante, ao “alisar” um pouco a tua base de dados, tirando os outliers no topo e na base. Nas escolas públicas haverá certamente notas estratosféricas a matemática, mas espera-se, pelas médias observadas, uma desproporção dessas notas de topo nas privadas. Repito que a justificação essencial para isto não se baseia no facto de elas serem um outlier, mas no facto de haver uma assimetria no poder de selecção dos melhores alunos entre as escolas privadas e públicas. Isto é apenas uma sugestão para outra possível análise a levar a cabo. Seria preciso ver os dados ao detalhe para perceber se esta hipótese faz algum sentido na prática ou se é uma congeminação teórica infundada. 

4. Eu não ligava assim tanto ao R2. Repara que estamos perante valores bastante baixos, da ordem dos 20-30. Um R2 de 21 ou de 23 dá-nos na prática a mesma informação. Nota ainda (sem querer estar a ser picuínhas) que, ao não manteres constante o número de variáveis, seria mais correcto usares, como medida comparativa, o R2 ajustado ou outras estatísticas que têm em conta o número de variáveis incluídas em cada estimação. (Para os leitores menos versados no assunto, o R2 varia entre 0 e 1 e indica a percentagem da variabilidade na variável que se pretende explicar - no caso, as notas nos exames de Matemática do 12º ano - que é explicada pela variabilidade das variáveis explicativas incluídas no modelo - no caso, “Idade”, “Sexo”, “Público-Privado”, etc). O essencial é olhar para as t-estatísticas, que tu fizeste e bem. 

Para o ano alguém tem de montar um estudo de forma a recolher, de forma confidencial e tão fidedigna quanto possível, mais informação sobre cada aluno, de modo a trazer mais luz a esta polémica questão. Para quem tem dúvidas de que a blogosfera tantas vezes acrescenta valor, basta lembrar, entre outros, esta tua iniciativa, bem como, por exemplo, o trabalho que o Pedro Sales recentemente fez sobre o mesmo tema.

Em suma, o principal quanto a mim é rever a forma como comunicas os resultados, que se referem apenas a um exame, e estimar outras duas regressões, eliminando, numa delas, os zeros e talvez outros resultados muito baixos e, na outra, eliminando o que eliminaste na primeira mais os 1% ou 2% resultados mais elevados across the board.

Nota: post escrito a tarde e a más horas, desculpas adiantadas por gralhas, concordâncias manhosas, etc.