O hacker enviado pela Anthropic para tranquilizar o governo americano sobre a segurança da IA

    Nas últimas semanas, Nicholas Carlini, o pesquisador e hacker enviado pela Anthropic para tranquilizar o governo americano sobre a segurança da IA foi a manchete principal em diversos meios de comunicação.

    Isso ocorreu recentemente após o pesquisador ter soado o alarme sobre os perigos da IA ​​— e agora faz parte de uma equipe que defende a liberação dos modelos mais recentes.

    Autoridades do governo Trump passaram os últimos dias preocupadas com o poder do software de IA de última geração da Anthropic, que pode causar estragos na segurança cibernética global. Para um grupo de 700 pesquisadores de segurança cibernética, essa constatação alarmante ocorreu em março.

Carlini presenting his findings at a cybersecurity
event in March. [UN]PROMPTED

    Foi quando Nicholas Carlini, mostrou como se tornou fácil usar os novos modelos para invadir sistemas. O jovem de 35 anos, alto e magro, é um hacker respeitado, considerado o "cético profissional" do setor em relação às alegações de segurança cibernética da IA. Mas, recentemente, ele mudou de ideia.

    No início daquele mês, apenas algumas semanas depois de ter acesso ao Mythos, Carlini fez um alerta contundente a uma plateia lotada de especialistas em cibersegurança no suntuoso edifício em estilo Beaux-Arts que outrora abrigara o Hibernia Bank de São Francisco.

Carlini presenting his findings at a cybersecurity event in March. 
[UN]PROMPTED

    Primeiro, ele mostrou como havia usado a IA da Anthropic para encontrar e explorar uma falha crítica em um software de publicação na web chamado Ghost. Em seguida, demonstrou outra no sistema operacional Linux — um dos softwares mais testados em combate, presente em bilhões de dispositivos.

    Carlini nunca havia encontrado uma falha no Linux, nem no Ghost. Agora, ele havia descoberto várias. O que ele estava vendo representava uma nova ordem mundial para a cibersegurança. O equilíbrio que existiu entre atacantes e defensores nas últimas duas décadas “parece estar chegando ao fim”, disse ele. “Para mim, está bem claro que esses modelos atuais são pesquisadores de vulnerabilidades melhores do que eu.”

    Dois dias após sua apresentação, ele enviou uma mensagem aos seus colegas da Anthropic. “Acho que ainda não devemos lançar o Mythos”, escreveu ele.

    Assim começou o "Bugmageddon", uma constatação entre profissionais de segurança e uma comunidade de hackers como Carlini de que encontrar bugs e escrever softwares para explorá-los se tornou perigosamente fácil com a IA.

    Na semana passada, a Anthropic lançou uma atualização para o Mythos, chamada Mythos 5, e um produto chamado Fable 5, uma versão do Mythos com medidas de segurança aprimoradas. Agora, era a vez da Casa Branca soar o alarme. Na sexta-feira, o governo proibiu governos, empresas e indivíduos estrangeiros de usar o Fable 5 e o Mythos 5. A Anthropic bloqueou o acesso de todos para cumprir a proibição.

    De repente, Carlini — o cético que se tornou crente e que havia soado o alarme — se viu trabalhando para acalmar os ânimos do governo. A Anthropic o enviou à capital do país para explicar as medidas de segurança, como parte de uma equipe que tentava convencer a Casa Branca de que, embora não houvesse segurança garantida em IA, era melhor para o mundo lançar Fable do que mantê-lo em segredo.

    O episódio também agrava uma briga de meses entre o governo e a Anthropic. O Chefe do Executivo, Dario Amodei, e o Secretário da Defesa, Pete Hegseth, entraram em confronto no início deste ano sobre as tentativas da empresa de controlar a utilização dos seus produtos pelos militares, pressionando o Pentágono a parar de usar os seus modelos e desencadeando vários processos judiciais. Os dois lados entraram em conflito anteriormente sobre diferentes abordagens à política de IA, a decisão da administração de exportar chips de IA para a China e os laços da Antrópica com organizações sem fins lucrativos que são grandes doadores para causas liberais.

    Nos últimos dias, funcionários da administração e executivos e líderes técnicos da Anthropic, incluindo Carlini, realizaram horas de reuniões e ligações para discutir uma solução potencial. Alguns funcionários do governo disseram que uma resolução deveria incluir um reconhecimento por parte da Anthropic de que o lançamento do Fable e a comunicação com a Casa Branca poderiam ter sido melhorados.

    Apanhados no meio estão outras empresas e consumidores que tentam descobrir como a tecnologia os afetará. As empresas estão se perguntando como irão testar e instalar a grande quantidade de patches que estão sendo lançados, antes que os hackers os explorem. Mythos já encontrou mais de 10.000 bugs.

PS.: A ciência da computação corre nas veias de Carlini. Seu pai era programador e sua mãe também trabalhava no setor de tecnologia. Ele cresceu no Vale do Silício programando computadores e era obcecado por criptografia. Um trabalho que escreveu no ensino médio tinha o título: “Criptoanálise Diferencial de Redes de Substituição Simples”.

Na Universidade da Califórnia, Berkeley, ele publicou artigos com o professor de ciência da computação David Wagner, mostrando diversas maneiras pelas quais sistemas de inteligência artificial poderiam ser mal utilizados. Eles enganaram sistemas de reconhecimento de imagem, fazendo-os confundir fotos de gatos com guacamole, e encontraram novas maneiras de inserir comandos inaudíveis da Alexa em trechos de cinco segundos de música clássica.

Did One Guy Just Stop a Huge Cyberattack?

 

Esse é o título da matéria publicada nesta semana (03/04/2024) pelo New York Times com detalhes sobre como um programador pode ter salvado a Internet de grandes problemas. Seu nome é Andrés Freund, um engenheiro de software de 38 anos que mora em São Francisco e trabalha na Microsoft.

O NYT informa que, numa reviravolta digna de Hollywood, os líderes tecnológicos e os investigadores de segurança cibernética estão a saudar Freund como um herói.

Satya Nadella, presidente-executivo da Microsoft, elogiou sua “curiosidade e habilidade”. Um admirador o chamou de “o gorila prateado dos nerds”. Engenheiros têm circulado uma história em quadrinhos antiga e famosa entre os programadores sobre como toda a infraestrutura digital moderna depende de um projeto mantido por um cara qualquer em Nebraska . (Segundo o relato, o Sr. Freund é um cara qualquer de Nebraska.)

Em uma entrevista durante a semana que se encerrou, Freund – que na verdade é um programador alemão de fala mansa que se recusou a tirar uma foto para a matéria do NYT – disse que se tornar um herói popular da Internet foi desorientador. Em particular, ele descobriu que alguém havia plantado um código malicioso nas versões mais recentes do sistema operacional (linux) que roda nos principais data centers do mundo. O código, conhecido como backdoor, permitiria que seu criador sequestrasse a conexão de um usuário e executasse secretamente seu próprio código na máquina desse usuário. É o tipo de descoberta que requer anos de experiência e atenção obsessiva aos detalhes, além de uma boa dose de sorte.

A princípio, Freund duvidou de suas próprias descobertas. Ele realmente descobriu um backdoor em um dos programas de código aberto mais examinados do mundo? “Pareceu surreal”, disse ele. “Houve momentos em que pensei, devo ter apenas tido uma noite mal dormida e tido alguns sonhos febris.”

Mas suas pesquisas continuaram revelando novas evidências e, na semana passada, Freund enviou suas descobertas a um grupo de desenvolvedores de software de código aberto. A notícia incendiou o mundo da tecnologia. Em poucas horas, uma solução foi desenvolvida e alguns pesquisadores atribuíram a ele a prevenção de um ataque cibernético potencialmente histórico.

“Este poderia ter sido o backdoor mais difundido e eficaz já implantado em qualquer produto de software”, disse Alex Stamos, diretor de confiança da SentinelOne, uma empresa de pesquisa de segurança cibernética.

Facebook não acredita que houve um hack ou qualquer comprometimento dos dados de usuários. E você?

O Facebook disse em uma postagem de blog na noite de segunda-feira que a interrupção de seis horas – em que o todos os aplicativos ficaram fora do ar – foi o resultado de uma alteração na configuração de seus roteadores.

“Queremos deixar claro neste momento que acreditamos que a causa raiz dessa interrupção foi uma alteração de configuração com defeito. Também não temos evidências de que os dados do usuário tenham sido comprometidos como resultado desse tempo de inatividade”, explicou a marca.

Ou seja, não houve ataque de um hack ou tentativa de obter dados do usuário. Porém, a explicação não dá muitos detalhes e parece que as máquinas do Facebook não conseguiam se comunicar. A empresa disse que “essa interrupção no tráfego de rede teve um efeito cascata na maneira como nossos data centers se comunicam, parando nossos serviços.”

O CEO da marca, Mark Zuckerberg postou um pedido de desculpas e disse que as plataformas (incluindo Instagram e WhatsApp) estavam voltando online. “Desculpe pela interrupção de hoje – eu sei o quanto você confia em nossos serviços para se manter conectado com as pessoas de quem você gosta”, escreveu. 

A interrupção começou por volta das 11h40 da última segunda-feira e gerou problemas para a empresa em todo o mundo, Tanto que foi a pior interrupção do Facebook desde 2019, que foi quando a rede social ficou fora do ar por mais de 24 horas. 

“Entendemos o impacto que interrupções como essas têm na vida das pessoas e nossa responsabilidade em mantê-las informadas sobre interrupções em nossos serviços”, concluiu o comunicado do Facebook. 

Sendo assim, os problemas pareciam começar com uma atualização de rotina do BGP que deu errado e com isso, apagou as informações de roteamento DNS de que o Facebook necessita para permitir que outras redes encontrem seus site.

A queda do Facebook ocorreu um dia antes de o denunciante Frances Haugen testemunhar no Congresso sobre as suas experiências na empresa. Nessa ocasião, Haugen, um ex-gerente de produto do Facebook que trabalhou em seu grupo Civic Integrity, forneceu uma coleção de documentos internos da plataforma para os repórteres do Wall Street Journal. 

(...) "O que quer que uma pessoa possa ser, se você quer ser uma, delete suas contas nas redes sociais" ...,  afirmou Jaron Lanier,  cientista, músico e escritor, mais conhecido pelo trabalho em realidade virtual e sua defesa do humanismo e da economia sustentável no contexto digital, autor de diversos livros de crítica sobre a Era Digital, e denunciou o Vale do Silício de um modo geral, e o Facebook, em particular, como uma verdadeira máquina de fazer cabeças.

PS.: O Barroso está negociando com o Zuckerberg para torná-lo porta voz do TSE.