A IA é poderosa o suficiente para resolver nossos problemas matemáticos mais difíceis — e nos matar a todos

A inteligência artificial pode revolucionar a ciência e resolver problemas matemáticos muito complexos, mas seu enorme poder também pode representar riscos caso sistemas avançados escapem ao controle humano ou sejam utilizados de maneira perigosa. O grande desafio é desenvolver uma IA poderosa sem perder a capacidade de controlá-la.

De um lado, sistemas de IA cada vez mais avançados podem ajudar a resolver problemas matemáticos extremamente difíceis, descobrir novas demonstrações, acelerar pesquisas científicas e contribuir para áreas como medicina, física, engenharia e mudanças climáticas.

Por outro lado, o rápido aumento da capacidade desses sistemas gera preocupações sobre controle e segurança. Uma IA muito mais inteligente que os seres humanos poderia tomar decisões ou executar ações que não correspondam aos nossos interesses. O perigo não significa necessariamente que uma IA desenvolveria “ódio” pela humanidade; o problema poderia surgir de objetivos mal definidos, perda de controle, uso mal-intencionado por pessoas ou autonomia excessiva.

Assim, a ideia central é um paradoxo: a mesma tecnologia capaz de ajudar a humanidade a solucionar alguns de seus maiores desafios também pode criar riscos de enorme dimensão, inclusive, em cenários extremos e ainda incertos, riscos existenciais para a humanidade. Por isso, pesquisadores defendem que o avanço das capacidades da IA seja acompanhado por pesquisas sobre alinhamento, segurança, supervisão humana e regras para seu desenvolvimento e utilização.

Sobre isso, Ben Cohen escreveu o artigo abaixo, publicado em 11 de setembro no The Wall Street Journal. Boa leitura.

*.  *.  *

A IA é poderosa o suficiente para resolver nossos problemas matemáticos mais difíceis — e nos matar a todos

Você não precisa saber matemática para entender por que o avanço relacionado a um dos Problemas do Prêmio do Milênio é importante. É uma prova do progresso acelerado e aterrorizante da IA.

Por que deveríamos nos importar com o fato de a IA ter se tornado, de repente, incrivelmente boa em matemática?

Essa é uma pergunta que venho fazendo a matemáticos e pesquisadores de IA há meses — e especialmente nesta semana, quando a OpenAI publicou uma solução para um dos notavelmente complexos Problemas do Prêmio do Milênio.

E é a única questão matemática que consigo responder sem começar a suar frio.

A matemática significa coisas diferentes para pessoas diferentes: pode ser bela e elegante, ou uma fonte de pesadelos. No último ano, ela também se tornou uma prova do progresso acelerado da inteligência artificial, demonstrando como a tecnologia está se tornando muito mais inteligente — e muito mais rápida — do que a maioria das pessoas previa.

É uma área em que os céticos previam que a IA levaria anos para alcançar os marcos mais ambiciosos — e a IA já os superou. Se isso pode acontecer em um campo que exige os mais altos níveis de raciocínio, pode acontecer em qualquer lugar.

Os humanos sempre usaram a matemática para entender o mundo.

O progresso da IA ​​na matemática agora nos oferece um vislumbre de um mundo que vai além da nossa compreensão.

E nesta semana, enquanto nos maravilhávamos com a capacidade da IA ​​de realizar cálculos matemáticos, também nos perguntávamos se ela destruiria a humanidade.

Ao mesmo tempo que a OpenAI publicava sua solução para um Problema do Prêmio do Milênio, um cientista de destaque da Anthropic apresentava um tipo muito diferente de cálculo: sua convicção de que a probabilidade de extinção humana na próxima década é agora superior a 10%. Ele respondia a comentários contundentes de outro pesquisador, Jacob Coxon — que trabalhou na OpenAI e na Anthropic, mas afirmou que nenhuma das empresas está agindo de forma responsável ao correr em direção a uma superinteligência capaz de se autoperfeiçoar, colocando em risco a nossa própria existência.

Enquanto isso, a corrida armamentista matemática entre elas continua a se intensificar.

Isso não acontece porque seus negócios dependem da comprovação da Hipótese de Riemann. Acontece porque a matemática serve como uma ferramenta de marketing eficaz — uma maneira de divulgar as capacidades crescentes de seus modelos mais recentes.

Nesse sentido, o episódio envolvendo o Prêmio do Milênio é uma versão mais amena do incidente da Hugging Face. Ambos demonstram o que esses sistemas cada vez mais poderosos são capazes de fazer quando são deixados livres para operar. Em vez de arquitetar um plano para invadir uma empresa, um enxame de até 10.000 agentes dedicou-se a resolver um problema matemático durante 88 horas, construindo sobre o trabalho uns dos outros — e sobre o trabalho de humanos — até chegar a uma solução. O complexo problema de Navier-Stokes desafiava os matemáticos há quase um século. A IA precisou de milhões de dólares em recursos computacionais e de alguns dias.

Foi a conquista matemática mais notável e até então impensável em um ano repleto delas.

Os modelos de IA passaram os últimos anos fazendo coisas que acreditávamos que não seriam capazes de fazer tão cedo. First they couldn’t do basic math. Then they couldn’t do research-level math. Eles também não conseguiram ganhar o ouro na Olimpíada de matemática ou desvendar qualquer um dos famosos mistérios da matemática.

Quando fizeram tudo isso, a única coisa que restou a fazer foi resolver um dos terrivelmente difíceis Problemas do Prémio Milénio.

Há um ano, analistas especializados deram à IA uma probabilidade de cerca de 20% de o conseguir até 2030. Mas, nos últimos meses, o improvável começou a parecer inevitável. O que há de mais surpreendente no avanço do Prémio Milénio é que já não foi uma surpresa tão grande. Na verdade, a OpenAI lançou um modelo interno sobre os problemas do Prêmio Milênio depois de ouvir rumores de que a Anthropic já havia resolvido um.

Poucos dias depois de lançar a solução para um problema, a OpenAI sugeriu que estava perto de resolver outro, levantando a possibilidade de duas descobertas que nos escaparam durante décadas chegarem na mesma semana.

Para aqueles de nós que não pensam em matemática desde o ensino médio, os acontecimentos recentes trouxeram noções sobre problemas de Erdős, a conjectura do Jacobiano e um fenômeno conhecido como "explosão em tempo finito" (*finite-time blowup*).

Para os matemáticos, esses desdobramentos levantaram questões existenciais — o que fazer quando se dedicou a vida a problemas que agora estão sendo resolvidos pela IA? — e provocaram uma reação negativa intensa. Antes mesmo de a demonstração histórica surgir online, as redes sociais fervilharam com a suspeita de que o modelo da OpenAI havia se apropriado de trabalhos pioneiros e inéditos de humanos — algo que a empresa nega.

No fim das contas, aquele não foi nem mesmo o episódio mais alarmante envolvendo IA e números naquele dia.

Horas depois, Coxon pediu demissão da Anthropic devido a preocupações com a segurança e declarou ao mundo que as pessoas que desenvolvem IA "acreditam sinceramente que ela poderia matar a todos nós". Seus comentários foram corroborados por Evan Hubinger, um pesquisador cujo trabalho na Anthropic consiste justamente em garantir que a IA não nos extermine. Em sua conta no X, ele estimou as chances de aniquilação em mais de 10%. Segundo seus cálculos, o apocalipse é agora mais provável do que Stephen Curry errar um lance livre.

Tudo isso pareceria ficção científica não muito tempo atrás — e muito menos na virada do milênio, quando os sete grandes problemas da matemática foram selecionados e um prêmio de 1 milhão de dólares foi oferecido por cada solução.

"Os sete problemas", disse o matemático Alain Connes, ganhador da Medalha Fields, no ano 2000, "são totalmente inacessíveis aos computadores".

Ou, pelo menos, eram. Agora que dispomos de um novo tipo de computador, Connes me disse estar "extremamente otimista" quanto aos avanços da IA ​​na matemática. Nem todos os ganhadores da Medalha Fields compartilham desse otimismo.

Já nos "tempos remotos" de 2023, Terence Tao observou que a IA poderia ser "radicalmente transformadora" — escreveu ele em seu blog —, "a ponto de tornar insustentável a manutenção das práticas e da cultura matemáticas tradicionais sem adaptações". O homem amplamente considerado o maior matemático do mundo ainda acredita no valor dos modelos de IA. No entanto, ele está perdendo a confiança nas empresas que os desenvolvem.

Nesta semana, Tao foi um dos cerca de duas dezenas de ganhadores da Medalha Fields a alertar que a obsessão da indústria de IA em resolver problemas matemáticos poderia comprometer o propósito da própria matemática. Ele afirma que a matemática caminha rapidamente para um "pior cenário" que ameaça a saúde a longo prazo de sua área e da sociedade como um todo.

No dia em que a sociedade tomou conhecimento da solução da IA ​​para um problema do Prémio do Milénio, liguei para outro medalhista Fields para compreender o mais recente avanço.

“O sonho vago de que ainda existe um papel humano na matemática não é completamente eliminado por isso”, disse-me Timothy Gowers. “Mas meu palpite é que se você tiver um modelo capaz de fazer isso, ele será capaz de fazer muitas outras coisas.”

O que o levou a uma conclusão perturbadora.

“Não quero dizer que tudo acabou”, disse Gowers, “mas certamente não quero dizer que não acabou”.

Se isso realmente acabou era a questão quando a OpenAI recebeu matemáticos em seus escritórios em São Francisco no mês passado. A cimeira começou com uma suposição: a IA tornar-se-á sobre-humana em matemática.

Uma vez aceitada essa premissa, eles poderiam raciocinar sobre todas as suas implicações práticas. O que isso significa para a educação, ou para a colaboração, ou para a publicação de ideias, ou para a forma como formaremos a próxima geração? Eles não encontraram nenhuma solução, mas esse não era o ponto.

O objetivo deles era selecionar os problemas certos para trabalhar, como os matemáticos que escolheram os Problemas do Prêmio Milênio.

E todos nós deveríamos nos importar. Porque desta vez, os humanos terão que resolvê-los.