IA e Dunning-Kruger

Eis um trecho:

(...) estudo apresenta evidências convincentes de que a IA pode conduzir diretamente os usuários ao efeito Dunning-Kruger — uma armadilha psicológica conhecida, na qual as pessoas menos competentes tendem a ser as mais confiantes em suas habilidades. (...)

O estudo envolveu mais de 3.000 participantes em três experimentos distintos, mas com uma lógica geral semelhante. Em cada um deles, os participantes foram divididos em quatro grupos para discutir temas políticos, como aborto e controle de armas, com um chatbot. Um grupo conversou com um chatbot sem qualquer instrução especial; o segundo interagiu com um chatbot “sicerofântico”, programado para validar suas crenças; o terceiro falou com um chatbot “discordante”, instruído a desafiar seus pontos de vista; e o quarto, grupo de controle, interagiu com uma IA que apenas falava sobre gatos e cachorros.  

Ao longo dos experimentos, os participantes conversaram com uma ampla gama de grandes modelos de linguagem, incluindo GPT-5 e GPT-4o da OpenAI, Claude da Anthropic e Gemini do Google, representando os principais modelos do setor. A exceção foi o GPT-4o mais antigo, que continua relevante porque muitos usuários do ChatGPT ainda o consideram sua versão favorita — ironicamente, por ser percebido como mais pessoal e mais complacente. 

Após a realização dos experimentos, os pesquisadores constataram que conversar com chatbots de IA sicerofânticos levou os participantes a adotar crenças mais extremas e a aumentar sua certeza de que estavam corretos. De forma surpreendente, porém, falar com chatbots discordantes não produziu o efeito oposto: isso não reduziu nem a intensidade das crenças nem o grau de certeza em comparação com o grupo de controle. 

Na prática, o único impacto perceptível de tornar o chatbot discordante foi sobre o prazer do usuário. Os participantes preferiram interagir com o companheiro sigerofântico, e aqueles que conversaram com chatbots discordantes mostraram-se menos inclinados a utilizá-los novamente.  

Os pesquisadores também observaram que, quando o chatbot era instruído a fornecer fatos sobre o tema debatido, os participantes consideravam o fornecedor de fatos sigerofântico menos enviesado do que o discordante. 

“Esses resultados sugerem que a preferência das pessoas por sigerofantia pode criar ‘câmaras de eco’ de IA, que aumentam a polarização e reduzem a exposição a pontos de vista opostos”, escreveram os autores.  

Igualmente relevante foi o efeito dos chatbots sobre a autopercepção dos participantes. As pessoas já tendem a se considerar acima da média em atributos desejáveis, como empatia e inteligência, mas os pesquisadores alertam que a IA pode amplificar ainda mais esse “efeito acima da média”.  

Nos experimentos, a IA sigerofântica levou os participantes a se avaliarem mais positivamente em traços desejáveis, como inteligência, moralidade, empatia, informação, bondade e perspicácia. De forma curiosa, embora a IA discordante não tenha conseguido alterar de maneira significativa as crenças políticas, ela levou os participantes a atribuírem notas mais baixas a si mesmos nesses mesmos atributos.  

Este não é o único estudo a documentar uma relação aparente com o efeito Dunning-Kruger. Outra pesquisa mostrou que pessoas que utilizaram o ChatGPT para realizar uma série de tarefas tenderam a superestimar amplamente seu próprio desempenho, sendo esse efeito ainda mais pronunciado entre aquelas que se declaravam experientes em IA. Seja lá o que a IA esteja fazendo com nossos cérebros, provavelmente não é algo positivo. 

Resumidamente, Dunning-Kruger é o efeito em que pessoas com baixa competência em determinado tema tendem a superestimar suas próprias habilidades, enquanto indivíduos mais competentes costumam ser mais conscientes de suas limitações. 

Democratizando Dunning-Kruger

Eis o texto:

Pessoas que são piores em realizar determinada tarefa também tendem a superestimar gravemente o quão boas são nela, enquanto aquelas que de fato são competentes costumam não reconhecer plenamente o próprio talento. 

Esse incômodo viés cognitivo é conhecido como efeito Dunning-Kruger, como você provavelmente já sabe — e você acreditaria se disséssemos que a IA parece torná-lo ainda pior?  

É o que mostra um novo estudo publicado na revista Computers in Human Behavior, intitulado, de forma memorável, “AI Makes You Smarter But None the Wiser” (“A IA torna você mais inteligente, mas não mais sábio”). O estudo revelou que todos os participantes foram ruins em estimar o próprio desempenho após realizar uma série de tarefas usando o ChatGPT. De forma surpreendente, os participantes considerados “alfabetizados em IA” foram os que mais erraram nessas estimativas.  

“Quando se trata de IA, o [efeito Dunning-Kruger] desaparece”, afirmou o autor sênior do estudo, Robin Welsch, professor da Universidade de Aalto, em comunicado. “Na verdade, o mais surpreendente é que maior letramento em IA gera mais excesso de confiança.”  

“Esperaríamos que pessoas alfabetizadas em IA não apenas interagissem um pouco melhor com sistemas de IA, mas também fossem melhores em avaliar seu desempenho com esses sistemas”, acrescentou Welsch. “Mas isso não aconteceu.”  

(...) No estudo, os pesquisadores pediram que metade de 500 participantes utilizasse o ChatGPT para ajudar a resolver 20 questões de raciocínio lógico do LSAT (Law School Admission Test), enquanto a outra metade resolveu os problemas sem o auxílio de IA. Em seguida, cada participante foi solicitado a avaliar o próprio desempenho, com a promessa de uma compensação adicional caso essa avaliação fosse precisa. Os participantes também responderam a um questionário para medir seu nível de letramento em IA.  

Os pesquisadores constataram que o grupo que usou o ChatGPT obteve notas significativamente melhores do que o grupo que não usou. No entanto, esse mesmo grupo superestimou amplamente seu desempenho — efeito particularmente forte entre os participantes mais familiarizados com IA, o que “sugere que aqueles com maior conhecimento técnico sobre IA eram mais confiantes, porém menos precisos ao julgar o próprio desempenho”, segundo os autores.  

Ao analisar como os participantes utilizaram o chatbot, a equipe descobriu que a maioria raramente fazia mais de uma pergunta por problema, sem aprofundamento ou verificação adicional. Segundo Welsch, isso exemplifica o que psiquiatras chamam de cognitive offloading (terceirização cognitiva), um fenômeno bem documentado no uso de IA, no qual os usuários transferem todo o esforço de pensar para a ferramenta.  

“Analisamos se eles realmente refletiam junto com o sistema de IA e constatamos que as pessoas simplesmente achavam que a IA resolveria tudo por elas”, afirmou Welsch. “Em geral, havia apenas uma única interação para obter o resultado, o que significa que os usuários confiaram cegamente no sistema.”  

É preciso reconhecer: a IA está democratizando o efeito Dunning-Kruger. Que outra tecnologia pode se dar ao luxo de afirmar isso?  

Dunning-Krueger e gênero

Eis o resumo. Atente para a parte final

O efeito Dunning-Kruger (DKE) afirma que pessoas com níveis mais baixos de habilidade tendem a autoavaliar sua capacidade de forma menos precisa do que aquelas com níveis relativamente mais altos de habilidade. Assim, a correlação entre as habilidades cognitivas objetivas de uma pessoa e suas habilidades autoavaliadas é maior em níveis mais altos de habilidades cognitivas objetivas. Há um grande debate sobre se esse efeito realmente existe ou se é um artefato estatístico.

Este artigo replica e amplia os estudos de Gignac e Zajenkowski (2020) e de Dunkel, Nedelec e van der Linden (2023) para testar se o DKE existe usando várias medidas de habilidade e dados representativos de uma coorte de nascimentos britânica. Para isso, construímos uma medida de habilidades cognitivas objetivas utilizando 18 testes realizados nas idades de 5, 10 e 16 anos, e uma medida de habilidades subjetivas autoavaliadas usando estimativas de desempenho escolar e percepção de inteligência nas idades de 10 e 16 anos.

Replicamos seus modelos e mostramos que o DKE existe em nossos dados secundários. Importante, somos os primeiros a analisar se essa relação é heterogênea por gênero e descobrimos que, embora o viés de autoavaliação seja específico de gênero, o DKE não é. O DKE surge do fato de que homens tendem a superestimar relativamente suas habilidades, enquanto mulheres tendem a subestimá-las relativamente.

Significado do efeito Dunning-Kruger

O efeito Dunning-Kruger tornou-se muito popular e parece ser uma boa explicação para o comportamento humano diante do conhecimento. A seguir, um trecho de uma entrevista com David Dunning, onde ele esclarece o conceito:

O equívoco comum é que o efeito Dunning-Kruger significa “pessoas estúpidas não sabem que são estúpidas”. Você pode explicar o verdadeiro significado de sua pesquisa?

O resultado de Dunning-Kruger é um pouco complicado, porque na verdade são muitos resultados. O que é um meme é essa ideia: em qualquer tópico em particular, as pessoas que não são especialistas não têm a própria experiência de que precisam para saber quanta experiência lhes falta. O efeito Dunning-Kruger visita todos nós mais cedo ou mais tarde em nossos bolsos de incompetência. Eles são invisíveis para nós, porque para saber que você não sabe alguma coisa, você precisa saber alguma coisa. Não se trata de estupidez geral. É sobre cada um de nós, mais cedo ou mais tarde.

Você pode ser incrivelmente inteligente em uma área e completamente não ter experiência em outra área. Todos nós conhecemos pessoas muito inteligentes que não reconhecem déficits em seu senso de humor ou suas habilidades sociais, ou pessoas que sabem muito sobre arte, mas podem não saber muito sobre medicina. Cada um de nós tem uma variedade de conhecimentos, e cada um de nós tem uma variedade de lugares em que não deveríamos estar entrando, pensando que sabemos tanto quanto os especialistas.

Meu amigo filósofo e eu chamamos isso de “transpassação epistêmica”, porque você está invadindo a área de um especialista. Vimos isso muito durante a pandemia. Havia um professor de direito que conhecia um pouco de biologia evolutiva e um pouco de matemática. Ele veio com um modelo de quantos casos de COVID-19 haveria nos Estados Unidos, e sua resposta foi de 500, talvez 5.000. Ele havia invadido o reino da epidemiologia, e ele não sabia o que não sabia.

Sobre o efeito Dunning-Kruger

 O efeito Dunning-Kruger é uma das pesquisas comportamentais mais citadas. Inicialmente a pesquisa venceu o IgNobel, mas posteriormente foi levada a sério, sendo usada para explicar muitas coisas. Um texto da McGill tenta desfazer um pouco do mito do efeito Dunning-Kruger. Eis um trecho interessante:

O erro mais importante que as pessoas cometem sobre o efeito Dunning-Kruger, de acordo com o Dr. Dunning, tem a ver com quem é vítima dele. “O efeito é sobre nós, não sobre eles”, escreveu-me ele. “A lição do efeito sempre foi sobre como devemos ser humildes e cautelosos conosco.” O efeito Dunning-Kruger não tem a ver com pessoas burras. É principalmente sobre todos nós, quando se trata de coisas nas quais não somos muito competentes.

Em poucas palavras, o efeito Dunning-Kruger foi originalmente definido como um viés em nosso pensamento. Se eu sou péssimo em gramática inglesa e recebo ordens para responder a um questionário testando meu conhecimento da gramática inglesa, esse viés em meu pensamento me levaria, de acordo com a teoria, a acreditar que obteria uma pontuação mais alta do que realmente teria. E se eu for excelente na gramática do inglês, o efeito dita que eu provavelmente subestimaria um pouco o quão bem eu faria. Posso prever que obteria uma pontuação de 70%, enquanto minha pontuação real seria de 90%. Mas se minha pontuação real fosse de 15% (porque sou péssimo em gramática), poderia pensar mais de mim mesmo e prever uma pontuação de 60%. Essa discrepância é o efeito, e acredita-se que seja devido a um problema específico com a capacidade de nosso cérebro de avaliar suas habilidades.

(...) O Dr. Dunning me disse que acredita que o efeito “tem mais a ver com estar mal informado do que desinformado”. Se me perguntam o ponto de ebulição do mercúrio, fica claro que meu cérebro não tem a resposta. Mas se me perguntarem qual é a capital da Escócia, posso pensar que sei o suficiente para dizer Glasgow, mas descobri que é Edimburgo. Isso é desinformação e está pressionando aquele botão de confiança em meu cérebro.

Então, caso encerrado, certo? Pelo contrário. Em 2016 e 2017, dois artigos foram publicados em um periódico de matemática chamado Numeracy . Neles, os autores argumentaram que o efeito Dunning-Kruger era uma miragem. E eu tendo a concordar.