Meta usa mais de 100 mil GPUs NVIDIA H100 para treinar Llama 4

Mark Zuckerberg, CEO e fundador da Meta, revelou que está usando um cluster gigantesco de GPUs NVIDIA H100 para treinar seu novo modelo de inteligência artificial, o Llama 4. De acordo com o executivo, o modelo acomoda mais de 100 mil placas e está sendo usado em total capacidade. 

• Clique e siga o Canaltech no WhatsApp
• Meta AI no WhatsApp é confiável? Veja o que evitar compartilhar
• Servidores H100 para IA consomem mais energia que alguns países

Segundo o dono do Facebook, WhatsApp e do Instagram, o Llama 4 trará “novas modalidades”, terá um “raciocínio forte” e será “muito mais veloz” do que os grandes modelos de linguagem (LLM) usados atualmente. 

Os planos de Zuckerberg para o Meta é manter sua competitividade contra as inteligências artificiais de seus concorrentes – como a Microsoft, Google e o xAI, de Elon Musk, que também trabalham no desenvolvimento de LLMs que serão vistas na próxima geração.

–
Entre no Canal do WhatsApp do Canaltech e fique por dentro das últimas notícias sobre tecnologia, lançamentos, dicas e tutoriais incríveis.
–

É importante mencionar que a Meta não é a única a utilizar um cluster com mais de 100 mil GPUs NVIDIA H100. Elon Musk já tinha afirmado, em julho, que usava uma estrutura similar para treinar o Grok – IA do X – e que dobraria sua capacidade para 200 mil placas. 

Porém, Zuckerberg parece ter planos mais ambiciosos. Sua projeção é que eles tenham até 500 mil GPUs até o fim de 2024. Ou seja, possivelmente a disputa ficará ainda mais acirrada entre as gigantes da tecnologia.

Diferenças entre o Llama 4 e os demais

A abordagem da Meta para o Llama 4 difere dos demais LLMs vistos no mercado, já que ele estará disponível de forma gratuita para todos. Ou seja, pesquisadores, empresas e até órgãos governamentais poderão usar a tecnologia sem custos adicionais.

Como o GPT-4o da OpenAI e o Gemini do Google exigem que o usuário acessem a IA via API, isso permitirá que a inteligência artificial de Zuckerberg atinja uma popularidade ainda maior dentro do mercado.

No entanto, é importante lembrar que a Meta mantém algumas restrições sobre o Llama – como o LLM não permitir o uso comercial e a empresa não informar como o modelo é treinado. 

Preocupações com consumo energético

A declaração de Zuckerberg abre diversas preocupações sobre a energia que essas 100 mil GPUs NVIDIA H100 consumirão. Se apenas uma delas tem um consumo anual de 3,7MWh, isso indicaria que a cluster da Meta tem potencial para usar 370GWh em um ano.

Para um grau comparativo, este consumo é o equivalente à média de 34 milhões de residências. Um pouco menos do que três cidades de São Paulo usando a mesma fonte simultaneamente. 

O próprio Zuckerberg já afirmou que essas restrições energéticas vão limitar o crescimento das inteligências artificiais, mas isso não parece impedir as big techs de construírem centros cada vez maiores para treinar suas IAs. 

Microsoft, Google, Oracle e Amazon estão avaliando o uso da energia nuclear, mas todas ainda estão em seu estágio inicial de construção de reatores modulares e de restauração de usinas – garantindo que eles terão energia suficiente para suas IAs em um breve futuro.

Novo passo da NVIDIA para GPUs 

Além dos esforços da Meta e demais grandes corporações da indústria tecnológica, a NVIDIA também está dando um passo a mais nesse segmento. Está previsto para o início de 2025 a chegada das GPUs NVIDIA “Blackwell” B200, que prometem impulsionar ainda mais o mercado de IAs.

Já é dito que toda a produção inicial já foi vendida, com a NVIDIA colocando os demais pedidos em espera para a segunda leva que será fabricada. Além de um maior desempenho, também é esperado que o consumo energético seja superior ao visto nas atuais H100.

Leia a matéria no Canaltech.