A Meta está construindo um novo supercomputador para treinar enormes algoritmos de aprendizado de máquina. Embora apenas parcialmente completo, o AI Research Supercluster (RSC) já está entre as máquinas mais poderosas do planeta. Quando terminar, a empresa anteriormente conhecida como Facebook diz que será o supercomputador de IA mais rápido do mundo.
A Meta espera que o RSC possa melhorar seus produtos treinando algoritmos que melhor detectem conteúdo nocivo. Além disso, a empresa diz que os avanços podem permitir a tradução de idiomas em tempo real entre dezenas de milhares de pessoas online e algoritmos multitarefa que podem aprender e generalizar em diferentes inputs, incluindo texto, imagens e vídeo.
Tudo isso, disse a empresa, ajudará a avançar em aplicações do mundo real como a robótica e, é claro, construir as bases do metaverso (ainda primordial). “No metaverso, é cem por cento do tempo uma experiência multissensorial 3D, e você precisa criar agentes de inteligência artificial nesse ambiente que sejam relevantes para você”, disse Jerome Pesenti, vice-presidente de IA da Meta, ao Wall Street Jornal esta semana.
Quaisquer que sejam as aplicações finais, o investimento mostra que os maiores players de tecnologia – de Meta a Alphabet e Microsoft – consideram cada vez mais crucial ser competitivo em IA de ponta.
A grande IA está em voga
O anúncio faz parte de uma tendência de algoritmos de aprendizado de máquina cada vez maiores que exigem maiores recursos de computação e conjuntos de dados maiores.
Em 2020, o algoritmo de linguagem natural GPT-3 da OpenAI mostrou que grandes ganhos poderiam ser obtidos aumentando o número de conexões internas em algoritmos, conhecidos como parâmetros, e a quantidade de dados de treinamento canalizados por meio deles. Com 175 bilhões de parâmetros, o GPT-3 era 17 vezes maior que seu predecessor GPT-2. Encorajada pelo sucesso do GPT-3, a Microsoft lançou seu Megatron AI no ano passado, um algoritmo três vezes maior que o GPT-3, e pesquisadores do Google e chineses construíram algoritmos com mais de um trilhão de parâmetros. Antecipando o próximo passo, a Meta disse que planeja usar o RSC para treinar algoritmos com trilhões de parâmetros.
Cada vez mais, esses algoritmos extensos exigem supercomputadores, as máquinas do tamanho de uma sala que os cientistas usam para simular sistemas físicos, desde partículas elementares até o clima da Terra e o universo em geral. No ano passado, por exemplo, a OpenAI anunciou que sua parceira Microsoft havia construído um supercomputador dedicado para treinar seus modelos. Segundo as empresas, a nova máquina estava entre os cinco supercomputadores mais rápidos do mundo (na época).
Embora a Meta não tenha dado números sobre a velocidade máxima atual do RSC, em termos de poder de processamento bruto, parece comparável ao supercomputador Perlmutter, classificado como quinto mais rápido do mundo. No momento, o RSC é executado em 6.800 unidades de processamento gráfico (GPUs) NVIDIA A100, um chip especializado antes limitado a jogos, mas agora usado mais amplamente em IA. A máquina já está processando fluxos de trabalho de visão computacional 20 vezes mais rápido e modelos de linguagem grandes (como GPT-3) 3 vezes mais rápido. Quanto mais rapidamente uma empresa puder treinar modelos, mais ela poderá concluir e melhorar ainda mais em um determinado ano.
Além da velocidade pura, o RSC dará a Meta a capacidade de treinar algoritmos em seu enorme acervo de dados do usuário. Em uma postagem no blog, a empresa disse que treinou anteriormente a IA em conjuntos de dados públicos e de código aberto, mas o RSC usará dados gerados pelo usuário do mundo real dos servidores de produção da Meta. Esse detalhe pode deixar mais do que algumas pessoas em branco, dadas as inúmeras controvérsias de privacidade e segurança que a Meta enfrentou nos últimos anos. No post, a empresa se esforçou para observar que os dados serão cuidadosamente anonimizados e criptografados de ponta a ponta. Eles também disseram que o RSC não terá nenhuma conexão direta com a internet maior.
Para acomodar os enormes conjuntos de dados de treinamento do Meta e aumentar ainda mais a velocidade de treinamento, a instalação crescerá para incluir 16.000 GPUs e um exabyte de armazenamento – equivalente a 36.000 anos de vídeo de alta qualidade – ainda este ano. Uma vez concluído, o Meta diz que o RSC fornecerá dados de treinamento a 16 terabytes por segundo e operará a uma velocidade máxima de 5 exaflops.
Se concluído hoje, isso tornaria o RSC o supercomputador de IA mais rápido do mundo. Mas vale a pena investigar o que exatamente isso significa por um momento.
Maçãs para maçãs?
Os supercomputadores variam muito na forma como são construídos. As configurações comuns incluem unidades de processamento central (CPUs) e GPUs, mas os fabricantes dos chips diferem, assim como a infraestrutura que os conecta. Para comparar supercomputadores, a indústria usa um benchmark chamado operações de ponto flutuante por segundo – ou mais coloquialmente, flops – que mede o número de equações simples que um supercomputador resolve a cada segundo.
De acordo com a lista Top500 mais recente, o supercomputador mais rápido do mundo é o Fugaku e vem do Japão.
O Fugaku, que na verdade não usa nenhuma GPU, registrou uma velocidade máxima de 442 petaflops (ou 442 mil trilhões de operações por segundo). É rápido. Mas sistemas como o Fugaku são cada vez mais construídos para treinar a IA também. Assim, o Top500 começou a relatar um novo benchmark especificamente para aplicativos de IA. Como os algoritmos de aprendizado de máquina não exigem a mesma precisão que os aplicativos científicos, o novo benchmark de IA usa uma medida menos precisa. Por essa medida, Fugaku atinge velocidades de pico acima de um exaflop – ou um milhão de trilhões de operações por segundo. Isso é o que se entende por um supercomputador de IA.
Agora, de volta ao Meta.
A maioria das máquinas na lista Top500 são operadas por governos e universidades. Supercomputadores privados, como RSC e a máquina construída pela OpenAI e Microsoft, não aparecem na lista. Para o desempenho, temos que acreditar na palavra das empresas. Supondo que o RSC atinja velocidades máximas de 5 exaflops para aplicativos de IA, ele venceria o Fugaku por uma margem decente. Mas se isso ainda será o melhor do mundo no final deste ano não está tão claro. Espera-se que o próximo supercomputador Frontier seja três vezes mais rápido que o Fugaku para aplicações de alta precisão. Também construído para IA, o Frontier será uma forte competição pelo supercomputador de IA.
Também vale a pena notar que o desempenho máximo em um benchmark não é equivalente ao desempenho real em cargas de trabalho do mundo real. De acordo com o analista de computação de alto desempenho Bob Sorensen, “A medida real de um bom projeto de sistema é aquele que pode ser executado rapidamente nos trabalhos para os quais foi projetado. De fato, não é incomum que alguns HPCs atinjam menos de 25% de seu chamado desempenho máximo ao executar aplicativos do mundo real.”
Um benchmark de IA emergente, chamado MLPerf, está mais próximo de medir o desempenho em tarefas do mundo real. Ele ainda não mede a rapidez com que os sistemas treinam modelos muito grandes, mas ainda é uma comparação útil. Nos resultados mais recentes do MLPerf, sistemas usando chips NVIDIA A100, os mesmos usados para construir RSC, dominaram o campo. E o maior sistema testado, o supercomputador Selene AI da NVIDIA, treinou o processador de linguagem BERT (agora diminuto) em apenas 16 segundos, comparado a 20 minutos para sistemas menores.
Portanto, de qualquer maneira que você o corte, o RSC será (e já é) uma máquina formidável para pesquisa de IA.
IA maior é sempre melhor?
Até o momento, construir algoritmos cada vez maiores parece gerar ganhos. Mas nem todos os pesquisadores acreditam que esses ganhos continuarão para sempre ou sempre valerão a espiral de energia e recursos financeiros necessários para treinar algoritmos. Modelos de linguagem grandes, em particular, também tendem a adquirir todos os tipos de hábitos e preconceitos desagradáveis durante o treinamento.
Felizmente, também há trabalho em andamento para tornar os algoritmos mais eficientes e responsáveis.
No ano passado, a organização de pesquisa de IA DeepMind lançou um modelo de linguagem grande de 280 bilhões de parâmetros chamado Gopher, que poderia superar outros modelos de linguagem grandes. Mais interessante, no entanto, eles também desenvolveram um modelo muito menor de 7 bilhões de parâmetros chamado RETRO. Dada a capacidade de consultar um banco de dados externo de exemplos para informar suas previsões – uma espécie de memória – o RETRO atingiu bem acima de sua classe de peso, combinando ou superando algoritmos 25 vezes seu tamanho. A DeepMind disse que também é mais fácil rastrear o raciocínio do algoritmo, tornando-o mais transparente e potencialmente mais fácil de eliminar o viés.
Portanto, embora criar algoritmos enormes em supercomputadores seja atraente, o RETRO mostra que a inovação na forma como esses modelos são construídos é igualmente importante. A pesquisa em ambos os extremos do espectro provavelmente continuará em ritmo acelerado, um alimentando e melhorando o outro.
