Nvidia rebate AMD e mostra que H100 é 47% mais rápida que MI300X

NVIDIA mostra benchmark do H100 com desempenho 47% superior que o AMD MI300X, contrariando os dados mostrados na apresentação da AMD

Por: Lucas Takashi Hagui

14 dez 2023 - 19h27

(atualizado em 15/12/2023 às 10h27)

Exibir comentários

Com o anúncio do AMD MI300X com foco em IA, a NVIDIA mostrou um benchmark comparando as tecnologias para servidores. Nos dados, o NVIDIA H100 teve 47% mais desempenho que a opção da AMD, com ainda mais diferença usando otimização de software.

Na apresentação da AMD, a companhia revelou que o MI300X possui latência 20% inferior do que o H100 da NVIDIA em configuração single-GPU e até 60% em configuração multi-GPU de 8 unidades. Em resposta, a NVIDIA divulgou um benchmark mostrando que o H100 é 2x mais rápido que os dados mostrados pela AMD, com servidores apresentando 47% mais desempenho que o MI300X em multi-GPU de 8 unidades.

Llama 2 de 70 bilhões em consultas por segundo e configurações de tempo de resposta fixo. (Imagem: Divulgação/NVIDIA)
Foto: Canaltech

A resposta da NVIDIA é para mostrar que o benchmark, se feito da forma correta, pode apresentar dados diferentes e superiores. Além disso, a parte do H100 com LLM ativado, como o vLLM v.02.2.2, mostra velocidades ainda maiores, ressaltando a importância de uma tecnologia de software para aproveitar o máximo do componente. Em seu site oficial, a NVIDIA mostra o processo e passo a passo para obter os resultados listados.

Enquanto o AMD MI300X tem previsão de lançamento para 2024, a NVIDIA já conta com o H100 no mercado e prepara o lançamento do H200 e do Blackwell B100 para algum momento de 2024.

🛒Compre a NVIDIA Quadro RTX A4500 no melhor preço!

🛒Compre a NVIDIA Quadro RTX A5000 no melhor preço!

Trending no Canaltech: