Uma extensa reflexão sobre o Gemini, do Google, por Nate Silver.
Mas então este mês, o Google lançou uma série de novos modelos de IA que ele chama de Gemini. Está cada vez mais claro que Gemini está entre os lançamentos de produtos mais desastrosos na história do Vale do Silício e talvez até na história recente das corporações americanas, pelo menos vindo de uma empresa do prestígio do Google. Wall Street começou a perceber, com as ações do Google (Alphabet) caindo 4,5 por cento na segunda-feira em meio a avisos de analistas sobre o efeito do Gemini na reputação do Google.
Gemini chamou minha atenção porque a interseção entre política, mídia e IA é um lugar no Diagrama de Venn onde acho que posso agregar muito valor. Apesar das afirmações do Google em contrário, as razões para as deficiências do Gemini são principalmente políticas, não tecnológicas. Além disso, muitos dos debates sobre o Gemini são território familiar, pois paralelizam debates de décadas no jornalismo. Os jornalistas devem se esforçar para promover o bem comum ou simplesmente revelar o mundo como ele é? Onde está a linha entre informação e advocacia? É possível ou desejável ser imparcial — e se sim, como se consegue isso?² Como os consumidores devem navegar em um mundo repleto de desinformação — quando às vezes a desinformação é publicada pelas fontes mais autoritárias? Como as respostas são afetadas pela crescente consolidação da indústria em direção a alguns grandes vencedores — e pelo aumento da polarização política nos EUA e em outras democracias industrializadas?
Todas essas perguntas podem e devem ser feitas também sobre modelos de IA generativa como Gemini e ChatGPT. Na verdade, elas podem ser ainda mais urgentes no espaço da IA. No jornalismo, pelo menos, nenhuma instituição pretende ter o monopólio da verdade. Sim, alguns veículos de notícias chegam mais perto de fazer essa afirmação do que outros (veja, por exemplo, "todas as notícias que são adequadas para imprimir"). Mas leitores astutos reconhecem que publicações de todos os tipos e tamanhos — de The New York Times a Better Homes & Gardens até Silver Bulletin — têm pontos de vista editoriais e exercem muita discrição sobre os assuntos que cobrem e como os cobrem. O jornalismo ainda é uma instituição relativamente pluralista; nos Estados Unidos, nenhum veículo de notícias tem mais do que cerca de 10 por cento de "participação mental".
Em contraste, em seu texto da IPO [oferta pública de ações] de 2004, o Google afirmou que sua "missão é organizar as informações do mundo e torná-las universalmente acessíveis e úteis". Obviamente, isso é um empreendimento bastante ambicioso. Ele quer ser a fonte autoritária, não apenas uma entre muitas. E isso se reflete nos números: o Google tem quase um monopólio com cerca de 90 por cento do tráfego de busca global. Modelos de IA, por necessitarem de tanta capacidade de computação, também tendem a ser extremamente concentrados, com no máximo alguns grandes players dominando o espaço.
Em seus primeiros anos, o Google reconheceu sua posição líder no mercado ao lutar pela neutralidade, por mais desafiador que isso possa ser na prática. Em seu IPO, o Google enfatizou frequentemente termos como "imparcial", "objetivo" e "preciso", e essas eram partes centrais de seu lema "Não seja mau" (ênfase minha):
NÃO SEJA MAU
Não seja mau. Acreditamos fortemente que, a longo prazo, seremos melhor atendidos — como acionistas e de todas as outras maneiras — por uma empresa que faça coisas boas para o mundo, mesmo que abdiquemos de alguns ganhos de curto prazo. Esse é um aspecto importante da nossa cultura e é amplamente compartilhado dentro da empresa.
Os usuários do Google confiam em nossos sistemas para ajudá-los com decisões importantes: médicas, financeiras e muitas outras. Nossos resultados de busca são os melhores que sabemos produzir. Eles são imparciais e objetivos, e não aceitamos pagamento por eles ou por inclusão ou atualização mais frequente. Também exibimos publicidade, que trabalhamos duro para tornar relevante, e a rotulamos claramente. Isso é semelhante a um jornal, onde os anúncios são claros e os artigos não são influenciados pelos pagamentos dos anunciantes. Acreditamos que é importante que todos tenham acesso às melhores informações e pesquisas, não apenas às informações que as pessoas pagam para você ver.
Mas os tempos mudaram. No Relatório Anual de 2023 do Google, os termos "imparcial", "objetivo" e "preciso" não apareceram nem uma vez.³ Nem o lema "Não seja mau" — ele foi amplamente aposentado. O Google não está mais prometendo essas coisas — e, como Gemini demonstra, também não está mais entregando-as.
Os problemas com Gemini não são exatamente os "problemas de alinhamento" sobre os quais os pesquisadores de IA geralmente falam, que dizem respeito à extensão em que as máquinas facilitarão os interesses humanos em vez de perseguirem seus próprios objetivos. No entanto, empresas e governos explorando a confiança pública e manipulando resultados de IA para cumprir objetivos políticos é um cenário potencialmente distópico por si só. O Google é uma empresa com valor de mercado de 1,7 trilhão de dólares que tem uma quantidade excepcional de influência sobre nossas vidas cotidianas, bem como conhecimento sobre os detalhes mais íntimos de nossos comportamentos privados. Se ele pode lançar um produto que está tão desalinhado com o que seus usuários querem — ou mesmo o que é bom para seus acionistas — estamos potencialmente cedendo muito poder aos caprichos de um pequeno grupo de engenheiros de IA e executivos corporativos. Isso é algo com que pessoas de todo o espectro político deveriam se preocupar. No caso de Gemini, os vieses podem tender a ser demasiadamente progressistas e "woke". Mas há também muitos elementos conservadores no Vale do Silício, e governos como o da China estão no jogo da IA, então isso não será necessariamente o caso na próxima vez.
O que Gemini está fazendo e por que a explicação do Google não faz sentido
Observe que eu não acho que o único problema com o Gemini seja sua política. Na verdade, existem dois problemas principais:
1. Os resultados do Gemini são fortemente influenciados pela política de maneiras que muitas vezes o tornam tendencioso, impreciso e desinformativo;
2. Gemini foi apressado para o mercado meses antes de estar pronto.
Esses problemas estão ligados no sentido de que o segundo problema torna o primeiro mais óbvio: Gemini é fácil de criticar porque o que ele está fazendo é tão desajeitado e as falhas não foram resolvidas. É fácil imaginar formas de engenharia social mais insidiosas e, francamente, mais competentes no futuro. Ainda assim, como ele fornece um exemplo tão flagrante, vou me concentrar no Gemini pelo resto deste post.
Por exemplo, você pode pensar que, se fosse uma corporação de 1,7 trilhão de dólares, faria uma devida diligência sobre o que seu modelo de IA faria se as pessoas pedissem para ele desenhar nazistas — porque é a Internet, então as pessoas vão pedir para desenhar nazistas. Você nunca, em um milhão de anos, gostaria que ele chegasse a algo como isso, por exemplo: