Até especialistas sofrem para identificar textos criados por inteligência artificial
Pesquisa ressalta as preocupações sobre os alunos que podem entregar redações geradas por IA como se fossem suas
Você consegue dizer se o que está lendo agora foi escrito por um humano ou gerado por inteligência artificial? Você se importa? Essas são as perguntas que os pesquisadores da Universidade da Califórnia em San Diego, nos Estados Unidos, fizeram em um experimento com o ChatGPT em uma escola secundária.
Os pesquisadores testaram professores e alunos com pares de redações – uma de um aluno do ensino médio e outra do ChatGPT – e pediram que identificassem qual redação era obra de um humano e qual era do modelo de linguagem da IA.
Os professores estavam certos cerca de 70% do tempo. Já os alunos obtiveram uma média de 62% de acertos.
Os pesquisadores afirmaram que os números da pesquisa deveriam estar bem acima de 90%, caso fosse fácil perceber a diferença entre as redações.
A confiança também não se correlacionou com a precisão. As pessoas que acharam que poderiam identificar o trabalho do chatbot não se saíram melhor do que aquelas que tinham menos certeza de suas habilidades.
"Ficamos surpresos que os professores que tiveram experiência com o ChatGPT ou um histórico de ensino de inglês no ensino médio acharam a tarefa tão desafiadora", disse a autora sênior Gail Heyman, professora de psicologia na Escola de Ciências Sociais da UC San Diego, em entrevista ao Phys.org.
As descobertas ressaltam as preocupações generalizadas sobre os alunos que podem entregar redações geradas por IA como se fossem suas e escapar impunes do comportamento desonesto.
"Um dos aspectos mais interessantes - e preocupantes - de nosso estudo é que os professores tiveram pior desempenho na tarefa de identificação quando o par de redações incluía uma redação particularmente bem escrita por um aluno. Na verdade, muitos professores disseram que adivinharam que a redação melhor escrita foi gerada pelo ChatGPT".
Essa descoberta sugere que os professores são mais propensos a "acusar" uma redação bem escrita de ser produzida por IA, o que também tem algumas implicações potencialmente preocupantes em um contexto real.
O estudo
O estudo, publicado na revista Human Behavior and Emerging Technologies, incluiu 69 professores do ensino médio e 140 alunos do ensino médio como participantes. Os tópicos de redação eram semelhantes aos que são comumente atribuídos nas escolas. Um dos temas, por exemplo, era: "Por que a literatura é importante?".
O estudo também pesquisou com os participantes sobre suas opiniões sobre o ChatGPT. Os alunos relataram maior otimismo do que seus professores sobre o futuro papel do ChatGPT na educação e avaliaram possíveis violações de integridade acadêmica, como enviar redações geradas por IA como próprias, de forma menos negativa do que os professores.
Os pesquisadores acreditam que seu estudo destaca alguns dos desafios e oportunidades que o ChatGPT traz para a educação.
“Estamos à beira de uma grande mudança nas práticas educacionais, à medida que o conteúdo humano de alta qualidade se torna cada vez mais disponível para uso de qualquer pessoa”, disse o coautor Tal Waltzer, pós-doutorado no laboratório de Heyman na UC San Diego, ao Phys.org.
-qefgohtq33nb.png)
-1hrdq1l8gd9pd.png)
