Nvidia afirma que os racks Groq estarão online ainda este ano, após compra por US$ 20 bilhões

Nvidia anunciou nessa segunda feira que seu rack Groq 3 LPX está em plena produção, marcando a comercialização da tecnologia proveniente da maior aquisição da empresa até o momento.

´´O rack Groq será implantado juntamente com os processadores centrais Vera e os processadores gráficos Rubinna neocloud Nebius, e estará online ainda este ano´´, disse Dion Harris, diretor sênior da Nvidia, a jornalistas.

A corrida da Nvidia para fabricar o chip da Groq e disponibilizá-lo aos clientes, destaca a crescente importância da interferência de baixa latência, necessária para que os agentes de inteligência artificial se sintam responsivos sem longos atrasos para os usuário, especialmente para a programação. A Nvidia afirma que empresas da nuvem podem cobrar mais por esses tipos de tokens.

´´Para quem fornece tokens, isso possibilita oferecer níveis de serviço premium para os usuários e clientes que realmente exigem contratos de serviço com alta sensibildade à latência´´, disse Harris.

Em dezembro, a Nvidia adquiriu ativos da startup de chips Groq por US$ 20 bilhões, a maior compra da empresa.

A arquitetura Groq inclui 500 megabytes de SRAM de alta velocidade no próprio chip, afim de reduzir gargalos relacionados à memória. Os chips Groq são fabricados pela Samsung, enquanto o Taiwan Semiconductor Manufacturing Co. fabrica as GPUs da Nvidia.

A Nvidia acondiciona 256 chips Groq 3 individuais em seus racks LPX. A Nvidia afirmou que seu rack pode fornecer 3.400 tokens por segundo, citando um benchmark da Artificial Analysis.

Siga o Times | CNBC no Google e receba as principais notícias do Brasil e do Mundo.

Siga o Times | CNBC

É um mercado competitivo. A Advanced Micro Devices (AMD) . uma fabricante de GPUs menores, anunciou no ínicio deste ano que integraria seus sistemas em escala de rack com chips da Cerebras, que recentemente abriu seu capital, com foco em interferência de baixa latência. O modo Ultrafast, recém anunciados pela OpenAi, promete atualmente 750 tokens por segundo e é ´´alimentado pelas Cerebras´´.

Chips de baixa latência não substituem a GPU, o pilar dos chips de IA, que consegue realizar tanto treinamento quanto a interferência e é flexível o suficiente para se adaptar a novas tecnologias e modelos. Chips de baixa latência como o Groq focam principalmente em uma parte do processamento de modelos chamada fase de ´´decodificação´´.

´´Não se trata de substituir GPUs´´. disse Harris. ´´Trata-se de usar o processador certo, com o preço certo, para a parte certa da carga de trabalho.´´

A Nvidia está atualmente aumentando os envios de seus sistemas Vera Rubin, cuja produção começou no início desse ano. Na apresentação do Vera Rubin e do Groq 3 LPX em março, o CEO da Nvidia, Jensen Huang, projetou US$ 1 trilhão em vendas cumulativas entre os chips Blackwell da geração atual e os novos sistemas Vera Rubin, até 2027.

Na época, Huang afirmou que alocaria um quarto do espaço do data center destinado a aplicativos de codificação para os chips da Groq.

“O restante do meu data center é 100% Vera Rubin”, disse Huang.

A Nvidia deverá divulgar seus resultados financeiros na quarta-feira.

Siga o Times Brasil - Licenciado Exclusivo CNBC no