CPUs já são maioria em carga de trabalho de inferência em IA

por | |

Durante a conferência TechFieldDay, Brandon Royal, Gerente de Produtos do Google Cloud Services, trouxe dados sobre diferentes cargas de trabalho em IA, apontando que processadores são os maiores responsáveis por inferências. Atualmente, as GPUs são responsáveis, principalmente, pelo processamento de treinamento dos modelos de linguagem (LLM).

  • Era da IA nos PCs | As projeções da Intel para 2024 e além
  • Qual o futuro da inteligência artificial na AMD?

Segundo Royal, implantação de infraestruturas baseadas em GPUs ou CPUs por novas empresas deve depender de quais tarefas de IA serão mais benéficas para suas operações e otimizações de fluxo. Com isso, soluções em escala devem começar a ganhar força nos próximos meses, desacelerando um pouco a adoção de produtos focados amplamente em GPUs, como os aceleradores NVIDIA H100.

Recursos subutilizados

Considerando o cenário atual, é praticamente certo que empresas de todos os tamanhos vão precisar adotar IA até certo ponto em seus processos para se manterem competitivas. A Era da IA já está criando uma pressão para que essa nova tecnologia passe a ser vista como um investimento, não apenas necessário, como urgente.

No entanto, produtos diferentes implicam em possibilidades mais ou menos amplas de aplicações, além de exigirem soluções bastante distintas. Enquanto modelos de IA como GPT-4 e Gemini podem chegar a operações com trilhões de parâmetros, eles seriam muito pouco aproveitados por uma empresa que precisa apenas de uma assistente de IA para otimizar gerenciamento de documentos, agendas, filtragem de tarefas e pequenas inferências via chatbots personalizados.

Tanto por isso, faz muito pouco sentido adotar um modelo extremamente robusto e, acima de tudo, exigente em termos de hardware. Sendo assim, adotar um modelo de IA como o Mistral, também permite adotar uma infraestrutura baseada nos novos processadores Xeon, ou mesmo nas APUs AMD MI300, possibilitando um investimento inicial reduzido, se comparado aos superchips GH200, além de um custo total de operação também reduzido.

  • 🛒 Compre processador Intel Core pelo melhor preço!
  • 🛒 Compre placa de vídeo NVIDIA GeForce RTX pelo melhor preço!

Leia a matéria no Canaltech.

Trending no Canaltech:

  • Os 45 filmes mais esperados de 2024
  • Sweet Home | Filme que inspirou Resident Evil pode ser visto de graça
  • Vladmir Komarov: as últimas palavras do cosmonauta que caiu do céu
  • iPhone 16 Pro ainda pode estrear com novo design de câmera
  • 🚨 MUITO BARATO | Galaxy S23 de 256 GB em oferta imperdível com cupom
  • As 50 piadas mais engraçadas do Google Assistente
Adicionar aos favoritos o Link permanente.