O chip Nvidia A100, de US$ 10.000, capaz de realizar muitos cálculos simples simultaneamente, tornou-se o “burro de carga” para profissionais de inteligência artificial (IA), diz Nathan Benaich, investidor de IA no State of AI Report. As estatísticas de uso em pesquisas de IA mostram que a NVIDIA está à frente em 20-100x.
A pesquisa destacou que a Nvidia detém 95% do mercado de processadores gráficos que podem ser usados para aprendizado de máquina. E o A100 é adequado para o tipo de modelos de aprendizado de máquina que alimentam ferramentas como ChatGPT, Bing AI ou Stable Diffusion.
Emad Mostaque, CEO da Stability AI, destacou que havia 32 A100 há um ano. A Stability AI, a empresa que ajudou a desenvolver o Stable Diffusion – um gerador de imagens, tem acesso a mais de 5.400 GPUs A100. Especialistas dizem que startups e grandes empresas estão trabalhando em softwares como chatbots e geradores de imagens que exigem milhares de chips da Nvidia. O relatório observou que a tecnologia por trás do A100 foi inicialmente usada para renderizar gráficos 3D sofisticados em jogos. “Os chips precisam ser poderosos o suficiente para processar terabytes de dados rapidamente e reconhecer padrões.”
Elogiado pela IA
Em uma ligação com analistas na quarta-feira, o CEO da Nvidia, Jensen Huang, ficou entusiasmado com a IA. “A atividade em torno da infraestrutura de IA que construímos e a atividade em torno da inferência usando Hopper e Ampere para influenciar grandes modelos de linguagem acabaram de disparar nos últimos 60 dias. Não há dúvida de que quaisquer que sejam as nossas opiniões sobre este ano, quando entramos no ano, mudou drasticamente como resultado dos últimos 60, 90 dias.” A crescente demanda também fez disparar os preços. O DGX A100 da Nvidia custa quase US$ 200.000. Na teleconferência, a Nvidia disse que venderia acesso à nuvem diretamente para sistemas DGX. Isso reduziria o custo de entrada.
De acordo com a New Street Research, o modelo ChatGPT dentro da pesquisa do Bing pode exigir 8 GPUs para responder a uma pergunta em menos de um segundo. Isto sugere que a Microsoft precisaria de mais 2.000 8-Servidores GPU apenas para implantar o modelo no Bing – um custo de $4 bilhões em infraestrutura.
Antoine Chkaiban, analista de tecnologia da New Street Research, explicou que se alguém quiser escalar na escala do Google, que atende 8 ou 9 bilhões de consultas todos os dias, é necessário gastar US$ 80 bilhões em DGXs. “Os números que chegamos são enormes. Mas eles são simplesmente o reflexo do fato de que cada usuário que adota um modelo de linguagem tão grande requer um supercomputador enorme enquanto o usa.”
Mas Huang, em entrevista à CNBC, disse que os produtos da NVIDIA são, na verdade, baratos para a quantidade de computação que esse tipo de modelo precisa. “Pegamos o que de outra forma seria um $1 bilhão de data centers rodando CPUs e nós o reduzimos a um data center de US$ 100 milhões. Agora, US$ 100 milhões, quando você coloca isso na nuvem e é compartilhado por 100 empresas, é quase nada.”