IA e segurança

A empresa Anthropic desenvolveu um sistema capaz de verificar os erros existentes nos softwares atuais. É um problema de segurança: 

A ironia é que a empresa que desenvolveu um modelo de fronteira capaz de infiltrar e minar praticamente qualquer sistema de computador no mundo é a mesma que foi proibida de trabalhar com o governo dos EUA. É como se uma empresa privada tivesse desenvolvido armas nucleares e o governo americano se recusasse a trabalhar com eles por serem "lacradores" demais. Okey dokey.

O segundo artigo sobre riscos de IA é o AI Agent Traps, do Google DeepMind. Eles apontam que agentes de IA na web são vulneráveis a todo tipo de ataque vindo de coisas como textos em HTML nunca lidos por humanos, comandos ocultos em PDFs, comandos codificados nos pixels de imagens usando esteganografia e assim por diante.

Somando tudo isso, temos a combinação preocupante de que IAs muito poderosas são também muito vulneráveis. A IA resolverá os problemas da IA? Eventualmente, o software será tornado seguro, mas coisas estranhas acontecem em corridas armamentistas e a jornada será turbulenta.