Qualidade da IA

Na postagem anterior, falamos sobre quantidade e IA. Agora, comentaremos sobre qualidade. Uma pesquisa publicada na Columbia Journalism Review analisou oito modelos de IA, incluindo o GPT e o Gemini (via aqui). O resultado mostrou que as respostas fornecidas pelos modelos estavam erradas em mais de 60% dos casos.

O pior modelo foi o Grok3, cuja taxa de erro chegou a 94%. O fato de as respostas da IA apresentarem uma taxa de erro tão significativa está relacionado à maneira como esses modelos operam: utilizando informações de sites de notícias, blogs, Wikipedia, livros e outros conteúdos, reembalando-os.

O estudo selecionou dez artigos aleatórios de um grupo de vinte publicações, como The Wall Street Journal e TechCrunch. As ferramentas foram solicitadas a identificar o título do artigo, seu editor, a data de publicação e a URL. Além de cometerem erros, os modelos demonstraram confiança excessiva e não recusavam responder mesmo quando não sabiam a resposta. Ou seja, não diziam "eu não sei". Outro erro comum foi a citação imprecisa de fontes.

O mais preocupante é que, muitas vezes, acreditamos na qualidade do resultado fornecido.