O hacker enviado pela Anthropic para tranquilizar o governo americano sobre a segurança da IA

    Nas últimas semanas, Nicholas Carlini, o pesquisador e hacker enviado pela Anthropic para tranquilizar o governo sobre a segurança da IA foi a manchete principal em diversos meios de comunicação.

    Isso ocorreu recentemente após o pesquisador ter soado o alarme sobre os perigos da IA ​​— e agora faz parte de uma equipe que defende a liberação dos modelos mais recentes.

    Autoridades do governo Trump passaram os últimos dias preocupadas com o poder do software de IA de última geração da Anthropic, que pode causar estragos na segurança cibernética global. Para um grupo de 700 pesquisadores de segurança cibernética, essa constatação alarmante ocorreu em março.

Carlini presenting his findings at a cybersecurity
event in March. [UN]PROMPTED

    Foi quando Nicholas Carlini, mostrou como se tornou fácil usar os novos modelos para invadir sistemas. O jovem de 35 anos, alto e magro, é um hacker respeitado, considerado o "cético profissional" do setor em relação às alegações de segurança cibernética da IA. Mas, recentemente, ele mudou de ideia.

    No início daquele mês, apenas algumas semanas depois de ter acesso ao Mythos, Carlini fez um alerta contundente a uma plateia lotada de especialistas em cibersegurança no suntuoso edifício em estilo Beaux-Arts que outrora abrigara o Hibernia Bank de São Francisco.

Carlini presenting his findings at a cybersecurity event in March. 
[UN]PROMPTED

    Primeiro, ele mostrou como havia usado a IA da Anthropic para encontrar e explorar uma falha crítica em um software de publicação na web chamado Ghost. Em seguida, demonstrou outra no sistema operacional Linux — um dos softwares mais testados em combate, presente em bilhões de dispositivos.

    Carlini nunca havia encontrado uma falha no Linux, nem no Ghost. Agora, ele havia descoberto várias. O que ele estava vendo representava uma nova ordem mundial para a cibersegurança. O equilíbrio que existiu entre atacantes e defensores nas últimas duas décadas “parece estar chegando ao fim”, disse ele. “Para mim, está bem claro que esses modelos atuais são pesquisadores de vulnerabilidades melhores do que eu.”

    Dois dias após sua apresentação, ele enviou uma mensagem aos seus colegas da Anthropic. “Acho que ainda não devemos lançar o Mythos”, escreveu ele.

    Assim começou o "Bugmageddon", uma constatação entre profissionais de segurança e uma comunidade de hackers como Carlini de que encontrar bugs e escrever softwares para explorá-los se tornou perigosamente fácil com a IA.

    Na semana passada, a Anthropic lançou uma atualização para o Mythos, chamada Mythos 5, e um produto chamado Fable 5, uma versão do Mythos com medidas de segurança aprimoradas. Agora, era a vez da Casa Branca soar o alarme. Na sexta-feira, o governo proibiu governos, empresas e indivíduos estrangeiros de usar o Fable 5 e o Mythos 5. A Anthropic bloqueou o acesso de todos para cumprir a proibição.

    De repente, Carlini — o cético que se tornou crente e que havia soado o alarme — se viu trabalhando para acalmar os ânimos do governo. A Anthropic o enviou à capital do país para explicar as medidas de segurança, como parte de uma equipe que tentava convencer a Casa Branca de que, embora não houvesse segurança garantida em IA, era melhor para o mundo lançar Fable do que mantê-lo em segredo.

    O episódio também agrava uma briga de meses entre o governo e a Anthropic. O Chefe do Executivo, Dario Amodei, e o Secretário da Defesa, Pete Hegseth, entraram em confronto no início deste ano sobre as tentativas da empresa de controlar a utilização dos seus produtos pelos militares, pressionando o Pentágono a parar de usar os seus modelos e desencadeando vários processos judiciais. Os dois lados entraram em conflito anteriormente sobre diferentes abordagens à política de IA, a decisão da administração de exportar chips de IA para a China e os laços da Antrópica com organizações sem fins lucrativos que são grandes doadores para causas liberais.

    Nos últimos dias, funcionários da administração e executivos e líderes técnicos da Anthropic, incluindo Carlini, realizaram horas de reuniões e ligações para discutir uma solução potencial. Alguns funcionários do governo disseram que uma resolução deveria incluir um reconhecimento por parte da Anthropic de que o lançamento do Fable e a comunicação com a Casa Branca poderiam ter sido melhorados.

    Apanhados no meio estão outras empresas e consumidores que tentam descobrir como a tecnologia os afetará. As empresas estão se perguntando como irão testar e instalar a grande quantidade de patches que estão sendo lançados, antes que os hackers os explorem. Mythos já encontrou mais de 10.000 bugs.

PS.: A ciência da computação corre nas veias de Carlini. Seu pai era programador e sua mãe também trabalhava no setor de tecnologia. Ele cresceu no Vale do Silício programando computadores e era obcecado por criptografia. Um trabalho que escreveu no ensino médio tinha o título: “Criptoanálise Diferencial de Redes de Substituição Simples”.

Na Universidade da Califórnia, Berkeley, ele publicou artigos com o professor de ciência da computação David Wagner, mostrando diversas maneiras pelas quais sistemas de inteligência artificial poderiam ser mal utilizados. Eles enganaram sistemas de reconhecimento de imagem, fazendo-os confundir fotos de gatos com guacamole, e encontraram novas maneiras de inserir comandos inaudíveis da Alexa em trechos de cinco segundos de música clássica.