Em 4 pontos, os erros que transformaram o Enem 2019 em crise

No começo desta semana, o Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep) apresentou à Justiça explicações sobre os problemas na correção do Exame Nacional do Ensino Médio (Enem) de 2019.

Um erro mecânico em pouco menos de 6 mil exemplares da prova acabou afetando, indiretamente, a correção dos testes feitos por 3,9 milhões de estudantes.

Notícias relacionadas

Justiça não encontra nem R$ 1 em conta bancária de empresário condenado a indenizar Lula por ameaça

Testemunha afirma que ex-esposa de autor das explosões em Brasília participou do planejamento

Presidente da CCJ da Câmara relata ameaças de morte e pede escolta da Polícia Legislativa

Em nota técnica, o Inep disse que o efeito foi estatisticamente desprezível — ou seja, não seria suficiente para prejudicar qualquer candidato, nem mesmo quem almeja uma vaga num curso muito concorrido.

Apesar das explicações do Inep, a desconfiança em relação a possíveis erros na correção das provas provocou uma enxurrada de ações judiciais da parte de alunos que se sentiram prejudicados — nada menos que 172 mil reclamações foram feitas ao Ministério da Educação (MEC), em um endereço de e-mail indicado pelo ministro Abraham Weintraub.

Além disso, até a quarta-feira da semana passada (22) pelo menos 250 estudantes já haviam apresentado reclamações ao Ministério Público Federal (MPF) a respeito de suas notas.

Os erros na correção da prova levaram a Justiça Federal em São Paulo a suspender a divulgação dos resultados do Sistema de Seleção Unificada (Sisu), que seleciona alunos para vagas em universidades com base nas notas do Enem — o processo só foi liberado na tarde de terça-feira (28) por decisão do Superior Tribunal de Justiça (STJ).

Mas as dificuldades não terminaram com a decisão do STJ. Alguns estudantes relataram problemas para utilizar o site do Sisu — aparentemente a opção de lista de espera para cursos não funcionou adequadamente, e a hashtag #erronalistadeespera foi um dos assuntos mais comentados no Twitter na tarde de ontem.

Além disso, o MPF disse ter encontrado irregularidades na destinação de vagas a candidatos com deficiência no Sisu. A Procuradoria da República no Distrito Federal (PRDF) deu prazo de cinco dias para que o Ministério da Educação preste informações sobre o assunto.

O processo de elaboração do exame também foi marcado por problemas ao longo deste ano: o Inep, responsável por realizar as provas, trocou de presidente quatro vezes desde o início da gestão de Jair Bolsonaro — um dos presidentes do instituto permaneceu apenas 18 dias no cargo.

Em abril, a gráfica que imprimiria as provas, a RR Donneley, encerrou suas atividades no Brasil, alegando dificuldades financeiras. Dias depois, o governo contratou uma outra empresa para a tarefa, sem realizar processo licitatório, por R$ 151,7 milhões.

No primeiro dia de provas, 3 de novembro, novo sobressalto: uma foto da prova de redação circulou nas redes sociais enquanto o exame estava ocorrendo.

João Marcelo Borges é diretor de Estratégia Política do Todos pela Educação, uma organização da sociedade civil. Para a organização, os problemas começaram bem antes da realização da prova, quando o MEC montou uma comissão para expugar itens "ideológicos" do banco de questões usado no Enem.

"A nossa avaliação é de que o MEC e o Inep conduziram muito mal o Enem. Tanto na preparação para a prova, com essa comissão para avaliar o Banco Nacional de Itens, quanto depois, na correção. Muito embora a quantidade de alunos afetados possa parecer pequena, menos de 1%, a dimensão qualitativa desse problema é grave", diz Borges.

"Tanto o MEC quanto o Inep têm sido apenas reativos desde que os problemas começaram a aparecer. Não foi o Inep que identificou os erros na correção. Foram os alunos que identificaram os problemas e começaram a reclamar nas redes sociais, e isso fez com que o Inep identificasse o erro, depois de divulgados os resultados. Isso jamais poderia ter acontecido. O Inep deveria ter feito todos os testes de segurança para garantir os resultados", completa Borges.

No começo da semana, Jair Bolsonaro admitiu que a situação do Enem era "complicada", e disse que conversaria com Weintraub para entender o que estava acontecendo. "Tenho que conversar com ele (...). (Para ver) se realmente foi uma falha nossa, se tem alguma falha humana, sabotagem, seja lá o que for", disse o presidente na terça (28), reforçando que todas as hipóteses estavam sendo consideradas, inclusive sabotagem.

Já o ministro da Educação disse que não se tratou "uma coisa de má fé". "Foi um acidente, coisa que acontece", disse. Após a fala de Bolsonaro, ele ligou para o presidente para reafirmar que não foi detectada qualquer sabotagem na prova.

A crise no Enem também acirrou os ânimos do outro lado da Esplanada, no Congresso: o presidente da Câmara, Rodrigo Maia (DEM-RJ), chegou a dizer que Weintraub era "um desastre".

"O ministro da Educação atrapalha o Brasil, atrapalha o futuro das nossas crianças, está comprometendo o futuro de muitas gerações. Cada ano que se perde com a ineficiência, com um discurso ideológico de péssima qualidade na administração, acaba prejudicando o0s anos seguintes", disse Maia nesta quinta (30).

Mas, no fim das contas, o que deu errado com a correção do Enem? O erro impactou todos os 3,9 milhões de candidatos que fizeram o teste ou apenas os 5.974 que tiveram seus cadernos de provas trocados? O resultado apresentado pelo Inep e pelo MEC é confiável?

A reportagem da BBC News Brasil conversou com técnicos que conhecem a realização da prova e com especialistas na Teoria da Resposta ao Item (TRI) para entender o que aconteceu. Abaixo, conheça as respostas para quatro perguntas sobre o tema.

1. Como foi feita a correção das provas do Enem?

O Enem é feito com questões (itens) elaborados de antemão por professores que recebem treinamento do Inep.

Os itens passam, então, por um pré-teste, no qual são aplicados a um conjunto de estudantes — escolhidos a dedo para ser uma amostra representativa do universo de pessoas que vai fazer a prova, depois.

A partir deste pré-teste, o Inep calcula a dificuldade de cada item. As questões, depois de prontas, passam a integrar o Banco Nacional de Itens (BNI), a partir do qual são elaboradas as provas.

"O Inep tem esse banco de itens, devidamente estruturado, que indica, para cada habilidade (a ser avaliada), um item com as suas estatísticas. Ou seja: se ele discrimina bem o aluno bom do aluno ruim; (qual o grau) de dificuldade ele apresenta", explica um técnico consultado pela reportagem.

Num vestibular tradicional, a nota é calculada com base no número de acertos: se você acerta 6 questões das 10 possíveis, a sua nota vai ser 6.

Nas provas baseadas na TRI, não é assim: o aluno vai galgando "degraus" dentro de uma escala, conforme o nível de dificuldade das questões que ele acerta.

"Para você estimar a proficiência (a nota) do aluno, o principal elemento é justamente esse parâmetro de dificuldade do item. Como é que eu sei que um aluno é (digno da nota) 700? Simples. Eu ordeno os itens pela dificuldade, e vou verificando como ele responde. Então, se ele para de acertar ali por volta de 700, posso dizer que a proficiência dele está em torno de 700", explica o professor Ocimar Alavarse.

"Esse aluno vinha acertando, de forma consistente, até os itens 700. A partir daí ele começa a errar. Se ele acertou lá na frente (um item de dificuldade) 900, você diz, bom, o padrão dele é consistente até 700", disse ele à BBC News Brasil.

É por isso que acertar questões difíceis "no chute" não vai necessariamente melhorar a sua nota no Enem: para atingir uma nota maior, é preciso que o candidato acerte as mais fáceis e também as mais difíceis, de forma consistente.

2. O que aconteceu em 2019?

Em nota técnica enviada à Justiça, o Inep admitiu que um erro mecânico afetou diretamente a correção das provas de 5.974 participantes — os gabaritos utilizados para aferir esses exames estavam trocados, fruto de um "erro mecânico". Depois de identificadas, essas provas foram devidamente corrigidas.

Além disso, em 2019 o Inep não seguiu totalmente o roteiro descrito na pergunta acima: uma parte dos itens teve o seu grau de dificuldade calculado depois da aplicação da prova, a partir de uma amostra aleatória de 100 mil candidatos.

Técnico consultado pela reportagem da BBC News Brasil explica que não é a primeira vez que isso acontece — na verdade, é até comum que parte dos itens tenha seu grau de dificuldade calculado depois.

"Muitas vezes, ao recorrer a este banco (o BNI), você não tem o item daquela habilidade X. Então você coloca um item novo, elaborado com todo o cuidado, mas que não passou pelo pré-teste. Então o que acontece? Ele calibra-se na realização da prova. A rigor, isso não tem problema. Desde que você mantenha, na prova, um número suficiente de itens pré-calibrados para garantir a isonomia de todos os participantes", diz, sob condição de anonimato.

Tufi Machado Soares é professor do Departamento de Estatística da UFJF, e especialista na Teoria da Resposta ao Item.

Segundo ele, a grande vantagem da TRI sobre as provas de somatório simples é permitir comparações entre provas diferentes — o que permite a aplicação de diferentes cadernos de provas, ou de um em dias diferentes por razões religiosas, por exemplo.

Além disso, a TRI também é mais precisa que o sistema de pontuação bruto, usado nas provas tradicionais.

3. Os erros atingiram toda a prova?

Uma parte das 5.974 provas erradas acabou sendo incluída na amostra aleatória de 100 mil estudantes, usada para calcular a dificuldade de alguns dos itens — o Inep não esclareceu ainda quantos deles tiveram o grau de dificuldade calculado depois.

Por causa disso, o "erro mecânico" em menos de 6 mil provas acabou afetando a correção das provas de todos os 3,9 milhões de estudantes.

O que o Inep alega — e o argumento foi aceito pelo Superior Tribunal de Justiça — é que a influência foi diminuta, incapaz de prejudicar o exame como um todo.

Nas provas do primeiro dia, de Linguagens e de Ciências Humanas, nenhuma prova "errada" integrou a amostra de 100 mil alunos, segundo o Inep.

No segundo dia, a "contaminação" foi de 83 provas erradas na amostra usada para calibrar os itens do teste de Ciências da Natureza; e de 105 na prova de Matemática.

4. O resultado é confiável? Uma auditoria é necessária?

No entendimento do Inep, seria inútil recalcular os resultados da prova — a "contaminação" da amostra não afetou a confiança do teste, e os resultados de cada participante ficaram "dentro do intervalo de confiança esperado".

"Desta forma, a proposta de selecionar nova amostra, recalibrar os itens e recalcular as proficiências (as notas de cada aluno), se apresentaria como medida inócua, já que conforme apresentado (...), as proficiências dos participantes continuam sendo estimadas com a mesma precisão e mantendo a escala construída a partir de 2009, utilizada em todas as edições do Enem desde então", disse o instituto, na nota apresentada à Justiça.

Os especialistas consultados pela BBC News Brasil divergem sobre a necessidade de refazer o teste.

"Você pode falar 'não, Ocimar, mas esse erro aí vai dar pouquinho'. Mas acontece que as disputas, para alguns cursos, se dão em pequenos valores de diferença. Portanto, essas diferenças muito pequenas dos candidatos podem estar escondendo um problema de onde elas partiram, que é a tal parametrização dos itens", diz Ocimar Alaversa, da USP.

"Como que a gente pode ter certeza? Só tem um jeito, que é abrir a base de dados. Tem que fazer uma auditoria. No caso do Enem, como tem muita coisa em jogo, é preciso fazer isso com a máxima transparência. Traz alguns estatísticos, da área de psicometria; especialistas em bases de dados, o Ministério Público, e verifique-se."

Já para o ex-presidente do Inep e professor do Departamento de Economia da USP Reynaldo Fernandes, a diferença obtida com o recálculo das notas seria ínfima — a diferença viria apenas várias casas decimais após a vírgula.

"(A inclusão das provas 'erradas' na amostra) pode aumentar o erro, aumenta o grau de incerteza da prova. Agora, isso depende da quantidade. 200 provas numa amostra de 100 mil é nada, é um erro negligenciável."

"Afeta não sei quantas casas depois (da vírgula). É mais que pequeno, é negligenciável", diz ele. Ele faz a ressalva de que este raciocínio só é válido se as explicações do Inep à Justiça estiverem corretas, e de que apenas isso aconteceu.

"Se for só isso (conforme explicado pelo Inep), corrige-se os problemas e pronto. O impacto sobre a calibração é muito pequeno. Erros em provas, ruídos, sempre tem. Se os mesmos alunos fizessem a mesma prova em outro dia, os resultados seriam ligeiramente diferentes também. Se você antecipasse uma semana, também. O último candidato que entrou, e o primeiro que ficou de fora, eles são indistinguíveis. Um deu mais sorte, e o outro deu mais azar", pondera ele.

Para Tufi Machado Soares, da UFJF, os resultados são seguros — desde que os problemas sejam apenas os que o Inep já admitiu. Mesmo assim, o ideal seria fazer uma reanálise mais ampla.

Em 2017, Soares colaborou com o Ministério Público na auditoria independente de uma outra edição do Enem.

"Se você teve 200 provas com o gabarito trocado numa amostra de calibração de 100 mil, provavelmente a influência dessas provas é praticamente zero. Se for só isso. Estou falando por hipótese", diz ele.

"Agora, é preciso verificar o seguinte: sempre que você encontra um conjunto de problemas no teste, é possível que haja outros. O problema, a meu ver, é que está faltando um pouco de transparência, de divulgação maior do que está acontecendo. Até para a gente poder fazer uma análise melhor do que está acontecendo", diz ele.

"Acho que isso (auditorias) deveriam ser uma prática adotada pelo próprio Inep constantemente, em todas as avaliações. Com especialistas externos, empresas contratadas para isso. O próprio Inep deveria realizar esse tipo de procedimento, até para garantir a segurança das pessoas", diz ele.