ChatGPT supera a média dos estudantes no Enem, menos em matemática
Só 27% dos participantes do exame tiveram desempenho pior do que teve o ChatGPT
Um estudo realizado pelo DeltaFolha mostrou que o ChatGPT daria um bom candidato nas provas do Exame Nacional do Ensino Médio (Enem). A pedra no sapato da ferramenta de inteligência artificial, entretanto, seria a matemática.
Utilizando provas de 2017 a 2021, os pesquisadores descobriram que o ChatGPT se sairia melhor do que 98,9% dos estudantes em ciências humanas e do que 95,3% em linguagens e códigos, tendo uma nota geral acima de 78,9% dos candidatos.
O desempenho em matemática destoa: só 27% dos participantes do exame tiveram desempenho pior do que teve o ChatGPT.
Ao todo, foram 1.290 questões respondidas pela ferramenta. No teste de redação, os pesquisadores utilizaram a prova de 2021, que pedia no enunciado um texto dissertativo-argumentativo sobre "invisibilidade e registro civil: garantia de acesso à cidadania no Brasil".
Dois especialistas simularam a metologia de correção do Ministério da Educação para avaliar o texto e deram notas de 640 e 760 à redação. A corretora da nota mais baixa apontou falta de coesão e problemas na proposta de intervenção; o outro afirmou que o robô pecou em vírgulas, sintaxe e repertório sociocultural. Ambos os avaliadores descontaram pontos pelo texto ter mais de 30 linhas, o máximo permitido pela banca.
Especialistas afirmam que a diferença entre os resultados de humanas e exatas provavelmente ocorre porque, em questões de matemática, o ChatGPT precisa pensar logicamente para chegar à resposta correta - por exemplo, escolher que tipo de conta deve fazer com as informações disponibilizadas. Isso é mais difícil do que buscar em seu banco da dados informações corretas sobre ciências humanas.
No exterior, o mesmo chat já mostrou se capaz de passar em exames como equivalente à OAB dos EUA, o Exame de Licenciamento Médico dos Estados Unidos (USMLE), e processos seletivos específicos de universidades.
O GPT-4, versão mais desenvolvida da tecnologia por trás do ChatGPT, recentemente teve um desempenho igual aos 10% melhores na prova equivalente à OAB.
-1hruaaaoul35j.png)
