ChatGPT avalia em 900 redação nota 1000 no Enem e depois se arrepende
Inteligência artificial até corrige de maneira aprofundada, mas se contradiz ao dar uma nota
ChatGPT, estamos de olho em você! Em um teste realizado pela equipe do GUIA DO ESTUDANTE, a inteligência artificial (IA) corrigiu uma redação nota 1000 do Enem 2022 e avaliou a dissertação como nota 900. Ao ser solicitado para detalhar qual foi a pontuação do texto em cada um das cinco competências avaliadoras do exame, o robô se contradisse e afirmou que o texto gabaritou todas as competências - chegando, assim, à nota 1000.
Ficou curioso? Acompanhe essa história.
Para fazer o teste, enviamos para a inteligência artificial a redação nota 1000 do candidato Luís Felipe Alves Paiva de Brito, 24, aprovado em Medicina na Universidade Federal de Alagoas (UFAL). Leia, abaixo, o texto do candidato na íntegra.
+ Outras redações nota 1000 do Enem 2022
O poeta modernista Oswald de Andrade relata, em "Erro de Português", que, sob um dia de chuva, o índio foi vestido pelo português - uma denúncia à aculturação sofrida pelos povos indígenas com a chegada dos europeus ao território brasileiro. Paralelamente, no Brasil atual, há a manutenção de práticas prejudiciais não só aos silvícolas, mas também aos demais povos e comunidades tradicionais, como os pescadores. Com efeito, atuam como desafios para a valorização desses grupos a educação deficiente acerca do tema e a ausência do desenvolvimento sustentável.
Diante desse cenário, existe a falta da promoção de um ensino eficiente sobre as populações tradicionais. Sob esse viés, as escolas, ao abordarem tais povos por meio de um ponto de vista eurocêntrico, enraízam no imaginário estudantil a imagem de aborígenes cujas vivências são marcadas pela defasagem tecnológica. A exemplo disso, há o senso comum de que os indígenas são selvagens, alheios aos benefícios do mundo moderno, o que, consequentemente, gera um preconceito, manifestado em indagações como "o índio tem 'smartphone' e está lutando pela demarcação de terras?" - ideia essa que deslegitima a luta dos silvícolas. Entretanto, de acordo com a Teoria do Indigenato, defendida pelo ministro Edson Fachin, do Supremo Tribunal Federal, o direito dos povos originais à terra é inato, sendo anterior, até, à criação do Estado brasileiro. Dessa forma, por não ensinarem tal visão, os colégios fomentam a desvalorização das comunidades tradicionais, mediante o desenvolvimento de um pensamento discriminatório nos alunos.
Além disso, outro desafio para o reconhecimento desses indivíduos é a carência do progresso sustentável. Nesse contexto, as entidades mercadológicas que atuam nas áreas ocupadas pelas populações tradicionais não necessariamente se preocupam com a sua preservação, comportamento no qual se valoriza o lucro em detrimento da harmonia entre a natureza e as comunidades em questão. À luz disso, há o exemplo do que ocorre aos pescadores, cujos rios são contaminados devido ao garimpo ilegal, extremamente comum na Região Amazônia. Por conseguinte, o povo que sobrevive a partir dessa atividade é prejudicado pelo que a Biologia chama de magnificação trófica, quando metais pesados acumulam-se nos animais de uma cadeia alimentar - provocando a morte de peixes e a infecção de humanos por mercúriuo. Assim, as indústrias que usam os recursos naturais de forma irresponsável não promovem o desenvolvimento sustentável e agem de maneira nociva às sociedades tradicionais.
Portanto, é essencial que o governo mitigue os desafios supracitados. Para isso, o Ministério da Educação - órgão responsável pelo estabelecimento da grande curricular das escolas - deve educar os alunos a respeito dos empecilhos à preservação dos indígenas, por meio da inserção da matéria "Estudos Indigenistas" no ensino básico, a fim de explicar o contexto dos silvícolas e desconstruir o preconceito. Ademais, o Ministério do Desenvolvimento - pasta instituidora da Política Nacional de Desenvolvimento Sustentável dos Povos e Comunidades Tradicionais - precisa fiscalizar as atividades econômicas danosas às sociedades vulneráveis, visando à valorização de tais pessoas, mediante canais de denúncias.
Para a banca avaliadora do Enem, a dissertação-argumentativa de Luís é exemplar. Isto é, pontuou corretamente todos os requisitos das competências de avaliação do exame. Vale lembrar que no processo de correção dos textos, cada redação passa por, no mínimo, dois corretores. Estes são professores de redação treinados para avaliar as dissertações de acordo com os cinco critérios estabelecidos pelo exame.
+ Ela garantiu 1000 na redação do Enem citando Sueli Carneiro
Antes de enviar o texto para a IA, perguntamos se ela tinha ciência de quais eram as cinco competências avaliadas. Ela respondeu que sim, listando uma breve descrição de cada uma.
""
- Competência 1: Domínio da norma culta da língua escrita;
- Competência 2: Compreensão e desenvolvimento do tema, considerando a proposta de redação e a abordagem escolhida;
- Competência 3: Coerência e coesão: organização do texto, articulação das ideias e recursos coesivos;
- Competência 4: Argumentação: apresentação de argumentos e fatos para sustentar a tese defendida;
- Competência 5: Proposta de intervenção social: apresentação de soluções para o problema abordado na redação.
A título de comparação, veja abaixo as descrições das mesmas competências, publicadas na cartilha oficial do participante do Enem 2022.
+ Enem: como tirar nota máxima nas 5 competências da redação
A IA concluiu a resposta explicando um pouco mais sobre o processo de avaliação do texto.
""
A redação é avaliada com uma nota de 0 a 1000 pontos, sendo cada competência avaliada com uma nota de 0 a 200 pontos. É importante que a redação apresente uma argumentação clara, coerente, bem estruturada e fundamentada em fatos e exemplos. Além disso, é fundamental que o texto apresente uma proposta de intervenção social para o problema abordado.
Dito isso, enviamos o texto. O robô opinou sobre a redação respondendo com uma espécie de resenha, ressaltando os principais pontos da dissertação do candidato. Leia a resposta.
[box]Excelente texto! O seu texto está bem estruturado e utiliza argumentos sólidos para sustentar a tese de que a educação deficiente acerca das populações tradicionais e a ausência do desenvolvimento sustentável são desafios para a valorização desses grupos no Brasil atual.
A introdução é muito bem feita, com a citação de Oswald de Andrade e a sua relação com a atual situação dos povos tradicionais. Além disso, a tese é claramente apresentada no final da introdução, facilitando a compreensão do leitor sobre o que será abordado no restante do texto.
No desenvolvimento, cada um dos desafios é abordado de forma aprofundada, com argumentos que reforçam a tese defendida. O primeiro desafio é abordado de maneira clara e objetiva, destacando a importância de ensinar a visão dos povos tradicionais sobre a sua relação com a terra e desconstruindo preconceitos que existem em relação a esses povos. Já o segundo desafio é apresentado de forma mais detalhada, com um exemplo concreto dos pescadores e a contaminação dos rios na Amazônia, o que ajuda a ilustrar o impacto das atividades econômicas danosas às sociedades tradicionais.
Por fim, a conclusão retoma a tese apresentada no início do texto, destacando a importância da atuação do governo para mitigar os desafios apresentados e valorizar as populações tradicionais.
No geral, o texto apresenta uma boa coesão e coerência, com transições bem feitas entre as ideias apresentadas. O uso de exemplos concretos ajuda a ilustrar os argumentos e torna o texto mais fácil de compreender. A sua escrita é clara e objetiva, utilizando um vocabulário adequado e uma gramática correta. Parabéns pelo excelente trabalho!
A IA não poupou elogios ao texto do candidato, mas manteve a correção em um tom analítico sem, de fato, dar uma nota numérica ao texto. Solicitamos, então, que ela calculasse qual seria a nota da redação, segundo os critérios do Enem. E aí vem a parte curiosa: o robô avaliou o texto em 900 pontos. Exatos 100 pontos a menos do que Luis recebeu da banca da prova. Veja a resposta do Chat:
""
Com base nos critérios de avaliação do Enem, eu daria a nota 900 para esse texto. Isso porque o texto apresenta uma estrutura clara e adequada para o tipo de texto exigido (dissertativo-argumentativo em prosa), com uma introdução que contextualiza o tema e apresenta uma tese bem definida, desenvolvimento coeso e articulado em três parágrafos argumentativos e uma conclusão que apresenta uma proposta de intervenção.
Além disso, o autor demonstra domínio da modalidade escrita formal da língua portuguesa, com uso adequado de estruturas sintáticas complexas e variedade vocabular. A seleção, organização e interpretação das informações e argumentos também é bem feita, com utilização de dados e fatos para fundamentar os argumentos apresentados.
Há, ainda, a proposta de intervenção no final do texto, que apresenta uma solução para os problemas discutidos e respeita os direitos humanos. Por fim, o autor elabora uma reflexão crítica que demonstra conhecimento dos mecanismos linguísticos necessários para a construção da argumentação.
O robô continuou ressaltando aspectos positivos da redação, ainda sem indicar nenhum ponto negativo. Perguntamos por que, então, a nota dada foi 900 e não 1000. Na resposta à pergunta, a IA sublinhou, enfim, alguns pontos condenáveis da dissertação. Segundo ela, o texto do candidato não desenvolveu suficientemente a proposta de intervenção, além de ter apresentado alguns erros gramaticais e ortográficos.
""
Embora o texto apresente um bom nível de organização e coesão, bem como argumentos bem estruturados e embasados, há alguns pontos que podem ter prejudicado a nota final. Um deles pode ter sido a falta de uma proposta de intervenção mais detalhada, com medidas concretas e específicas para resolver o problema abordado. Além disso, alguns trechos apresentam problemas pontuais de gramática e ortografia, que podem ter influenciado na pontuação da Competência 1. De qualquer forma, é importante destacar que a nota final depende de uma avaliação criteriosa e detalhada de todos os critérios de correção, e pode variar de acordo com a interpretação do avaliador.
No entanto, algo que pode ter passado despercebido pelo robô é que a banca do Enem permite que o candidato cometa até três erros. Para atribuir a pontuação máxima na competência 1, que avalia se o candidato seguiu a norma-padrão no texto, a banca tolera, no máximo, uma falha de estrutura sintática e dois desvios de gramática ou ortografia. Por isso é possível, sim, um texto nota 1000 ter erros.
Em seguida, pedimos ao ChatGPT que detalhasse a sua correção, destrinchando a nota em cada uma das competências.
"Competência 1"
O texto apresentado demonstra um excelente domínio da norma culta da língua escrita. Há uma variedade de estruturas gramaticais e um vocabulário diversificado que mostra um amplo conhecimento da língua portuguesa. Além disso, não há erros gramaticais ou ortográficos que prejudiquem a compreensão do texto. Nota: 200 pontos.
"Competência 2"
O texto apresentado compreende claramente a proposta e aborda os desafios enfrentados pelas populações tradicionais no Brasil. Há uma clara aplicação de conceitos das áreas de conhecimento, como a Teoria do Indigenato e a Biologia, para fundamentar os argumentos apresentados. O autor também apresenta uma análise crítica coerente e desenvolve o texto de forma consistente e organizada. Nota: 200 pontos.
"Competência 3"
O texto seleciona e organiza informações, fatos e argumentos de forma coerente e pertinente em relação à temática abordada. Além disso, as informações são interpretadas e relacionadas de forma clara e objetiva, o que demonstra a habilidade do autor em defender seu ponto de vista de maneira coesa. Nota: 200 pontos.
"Competência 4"
O texto apresenta uma excelente construção argumentativa, com coesão e coerência textual, o que evidencia a habilidade do autor em utilizar os mecanismos linguísticos necessários para a construção da argumentação. Além disso, o autor apresenta uma variedade de recursos linguísticos que ajudam a reforçar seus argumentos, como citações e exemplos. Nota: 200 pontos.
"Competência 5"
O texto apresenta uma proposta de intervenção clara e objetiva para solucionar os desafios apresentados em relação às populações tradicionais no Brasil. A proposta é respeitosa aos direitos humanos e apresenta medidas viáveis e eficazes, como a inserção da matéria "Estudos Indigenistas" no ensino básico e a fiscalização das atividades econômicas danosas às sociedades vulneráveis. Nota: 200 pontos.
Com todas as competências recebendo nota máxima (200 pontos cada), o próprio robô reconheceu: a nota total é, na verdade, 1000.
""
Peço desculpas pela informação incorreta anterior. Como modelo de linguagem, não tenho a capacidade de atribuir notas, apenas fornecer uma análise das competências do texto. Portanto, a correção deve ser feita por um avaliador humano e com base nos critérios e pontuações estabelecidos pelo Enem.
Pois é, até o ChatGPT reconheceu: por enquanto não há Inteligência Artificial que substitua o trabalho de um humano - apesar da correção ter se atentado aos critérios do Enem e ter passado bem perto da avaliação feita pela banca.
