Benchmarks do MLPerf

A plataforma de IA da NVIDIA alcança desempenho e versatilidade de classe mundial em treinamento MLPerf , inferência e HPC para as cargas de trabalho de IA mais exigentes do mundo real.

Veja Nossos Resultados

O que é o MLPerf?

Os benchmarks MLPerf™, desenvolvidos pela MLCommons, um consórcio de líderes de IA da academia, laboratórios de pesquisa e indústria, são projetados para fornecer avaliações imparciais do desempenho de treinamento e inferência para hardware, software e serviços. Todos eles são conduzidos sob condições prescritas. Para se manter na vanguarda das tendências do setor, o MLPerf continua a evoluir, realizando novos testes em intervalos regulares e adicionando novas cargas de trabalho que representam o estado da arte em IA.

A Universidade de Chalmers é uma das principais instituições de pesquisa da Suécia, com especialização em diversas áreas, da nanotecnologia aos estudos climáticos. À medida que incorporamos a AI para impulsionar nossos esforços de pesquisa, fica evidente que o benchmark MLPerf fornece uma comparação transparente e justa entre múltiplas plataformas de AI para mostrar o verdadeiro desempenho em vários casos de uso reais.

— Universidade de Tecnologia de Chalmers, Suécia

A TSMC está na vanguarda da manufatura global de semicondutores, como nosso mais novo nó de 5nm, que lidera o mercado de tecnologia de processamento. Inovações como a litografia baseada em machine learning e modelagem de gravuras melhoram significativamente nossa correção óptica de proximidade (OPC - Optical Proximity Correction) e a precisão da simulação de gravuras. Para aproveitar todo o potencial do machine learning no treinamento e na inferência de modelos, colaboramos com a equipe de engenharia da NVIDIA para fazer a portabilidade do nosso mecanismo de simulação Maxwell e a tecnologia de litografia inversa (ILT - Inverse Lithography Technology) para GPUs, e acelerar consideravelmente as atividades. O benchmark MLPerf é um fator importante na nossa tomada de decisão.

— Dr. Danping Peng, Diretor, Departamento de OPC, TSMC, San Jose, CA, EUA

A visão computacional e os diagnósticos por imagens estão no centro da pesquisa de AI, contribuindo para descobertas científicas e representando componentes fundamentais do atendimento médico. Trabalhamos em estreita colaboração com a NVIDIA para disponibilizar inovações como a 3DUNet na área da saúde. Os benchmarks MLPerf padrão do setor disponibilizam dados de desempenho relevantes para as organizações de TI e para desenvolvedores, pois permitem adotar a solução ideal para acelerar projetos e aplicações específicos.

— Prof. Dr. Klaus Maier-Hein (Diretor de Computação para Diagnóstico por Imagem, Centro Alemão de Pesquisa sobre Câncer - DKFZ - Deutsches Krebsforschungszentrum)

Como grande líder na pesquisa e manufatura, a Samsung usa AI para aumentar significativamente o desempenho de produtos e a produtividade de manufatura. Para produtizar esses avanços em AI, precisamos da melhor plataforma de computação disponível. O benchmark MLPerf agiliza nosso processo de seleção, pois oferece um método direto e aberto de avaliação que analisa os fornecedores de plataformas de modo igualitário.

— Samsung Electronics

Por Dentro dos Benchmarks MLPerf

MLPerf Inference v4.0 mede o desempenho de inferência usando nove tipos diferentes de redes neurais, incluindo LLMs, geração de imagens, processamento de linguagem natural, visão computacional e segmentação de imagens médicas.

O MLPerf Training v4.0 mede o desempenho do treinamento em nove benchmarks diferentes, incluindo pré-treinamento de LLM, ajuste fino de LLM, texto para imagem, rede neural gráfica (GNN), visão computacional, segmentação de imagens médicas e recomendação.

O MLPerf HPC v3.0 mede o desempenho do treinamento em quatro casos de uso de computação científica diferentes, incluindo identificação climática atmosférica de rios, previsão de parâmetros cosmológicos, modelagem molecular quântica e previsão de estrutura de proteínas.

Large Language Model (LLM)

Grandes Modelos de Linguagem

O MLPerf Training usa o modelo de linguagem generativa GPT-3 com 175 bilhões de parâmetros e um comprimento de sequência de 2.048 no conjunto de dados C4.

O MLPerf Inference usa o modelo GPT-J (parâmetro de 6 bilhões) com o conjunto de dados CNN-DailyMail. detalhes.

Text-to-Image

Conversão de Texto em Imagem

O MLPerf Training usa o modelo de texto para imagem Stable Diffusion v2 treinado no conjunto de dados filtrado LAION-400M. detalhes.

Recommendation

Recomendação

O MLPerf Training and Inference usa o Deep Learning Recommendation Model v2 (DLRMv2) que emprega a camada cruzada DCNv2 e um conjunto de dados multi-hot sintetizado a partir do conjunto de dados Criteo. detalhes.

Object Detection (Lightweight)

Object Detecção de Objetos (Leve)

O MLPerf Training usa o Single-Shot Detector (SSD) com backbone ResNeXt50 em um subconjunto do conjunto de dados do Google OpenImages. detalhes.

MLPerf Submission Categories

Rede Neural de Grafos

Usa redes neurais projetadas para trabalhar com dados estruturados como gráficos.   detalhes.

Image Classification

Classificação de Imagens

O MLPerf Training and Inference usa o ResNet v1.5 com o conjunto de dados ImageNet. detalhes.

Natural Language Processing (NLP)

Processamento de Linguagem Natural (PLN)

O MLPerf Training usa Representações de Codificadores Bidirecionais de Transformadores (BERT) no conjunto de dados Wikipedia 2020/01/01.

MLPerf Inference usou BERT com o conjunto de dados SQuAD v.1.1. detalhes.

Biomedical Image Segmentation

Segmentação de Imagem Biomédica

O MLPerf Training and Inference usa 3D U-Net com o conjunto de dados KiTS19. detalhes.

Climate Atmospheric River Identification Category

Identificação Climática Atmosférica de Rios

Identificar furacões e rios atmosféricos em dados de simulação climática. detalhes.

Cosmology Parameter Prediction Category

Previsão de Parâmetros Cosmológicos

Resolva um problema de regressão de imagem 3D em dados cosmológicos. detalhes.

Quantum Molecular Modeling Category

Modelagem Molecular Quântica

Prever energias ou configurações moleculares. detalhes.

Protein Structure Prediction

Predição da Estrutura da Proteína

Prevê a estrutura tridimensional de proteínas com base na conectividade unidimensional de aminoácidos. detalhes.

Resultados de Benchmark do NVIDIA MLPerf

  • Treinamento

    Treinamento

  • Inferência

    Inferência

  • HPC

    HPC

A plataforma de computação acelerada da NVIDIA, impulsionada por GPUs NVIDIA HopperTM e  rede NVIDIA Quantum-2 InfiniBand, ofereceu o mais alto desempenho em todos os benchmarks no MLPerf Training v4.0. No benchmark LLM, a NVIDIA mais do que triplicou o desempenho em apenas um ano, por meio de uma escala recorde de envio de 11.616 GPUs H100 e otimizações de software. A NVIDIA também entregou 1,8 vezes mais desempenho no benchmark de texto para imagem em apenas sete meses. E, nos benchmarks de rede neural de gráficos e ajuste fino do LLM recém-adicionados, a NVIDIA definiu o padrão. A NVIDIA alcançou esses resultados excepcionais por meio de uma engenharia full-stack implacável em escala de data center.

NVIDIA Estabelece um Novo Recorde de Treinamento de Grandes Modelos de Linguagem com o Maior Envio de MLPerf de Todos os Tempos

NVIDIA Sets a New Large Language Model Training Record With Largest MLPerf Submission Ever

Resultados do MLPerf™ Training v3.1 e v4.0 recuperados do www.mlperf.org. em 12 de junho de 2024, das seguintes entradas: NVIDIA + CoreWeave 3.0-2003, NVIDIA 4.0-0007. O nome e o logotipo MLPerf™ são marcas registradas da MLCommons Association nos Estados Unidos e em outros países. Todos os direitos reservados. Uso não autorizado estritamente proibido. Consulte www.mlcommons.org para obter mais informações.

A NVIDIA Continua a Oferecer o Mais Alto Desempenho em Todos os Testes de Treinamento do MLPerf

A plataforma NVIDIA continuou a demonstrar desempenho e versatilidade incomparáveis no MLPerf Training v4.0. A NVIDIA apresentou o mais alto desempenho em todos os nove benchmarks e estabeleceu novos recordes nos seguintes benchmarks: LLM, ajuste fino de LLM, texto para imagem, rede neural gráfica e detecção de objetos (peso leve).

Max-Scale Performance

Benchmark Tempo de Treinamento
LLM (GPT-3 175B) 3,4 minutos
Ajuste Fino do LLM (Llama 2 70B-LoRA) 1,5 minutos
Conversão de Texto em Imagem (Stable Diffusion v2) 1,4 minutos
Rede Neural de Grafos (R-GAT) 1,1 minutos
Recomendação (DLRM-DCNv2) 1,0 minutos
Processamento de Linguagem Natural (BERT) 0,1 minutos
Classificação de Imagens (ResNet-50 v1.5) 0,2 minutos
Detecção de Objetos (RetinaNet) 0,8 minutos
Segmentação de Imagens Biomédicas (3D U-Net) 0,8 minutos

MLPerf™ Training v3.1. Resultados obtidos de www.mlperf.org em 8 de novembro de 2023 das entradas 3.1-2007, 3.1-2010, 3.1-2050, 3.1-2051, 3.1-2052, 3.1-2053, 3.1-2054, 3.1-2056  , 3.1-2064. O nome e o logotipo MLPerf™ são marcas comerciais da MLCommons Association nos Estados Unidos e em outros países. Todos os direitos reservados. Uso não autorizado estritamente proibido. Consulte www.mlcommons.org para obter mais informações.

A plataforma de computação acelerada da NVIDIA, impulsionada pela arquitetura NVIDIA Hopper, proporcionou desempenho excepcional em todas as cargas de trabalho na categoria de data center MLPerf Inference v4.0. O software NVIDIA TensorRTTM-LLM quase triplicou o desempenho do GPT-J LLM em GPUs Hopper em apenas seis meses. O NVIDIA HGX™ H200, equipado com GPUs NVIDIA H200 Tensor Core com 141GB de memória HBM3e, também fez sua estreia, estabelecendo novos recordes nos novos testes de IA generativa Llama 2 70B e Stable Diffusion XL. O Superchip NVIDIA GH200 Grace Hopper™ também demonstrou excelente desempenho, enquanto  o NVIDIA Jetson Orin permaneceu na vanguarda na categoria de edge, executando o mais diversificado conjunto de modelos, incluindo modelos de IA generativa como GPT-J e Stable Diffusion XL.

NVIDIA H200 Oferece um Impulso Gigante para Llama 2 70B

NVIDIA H200 Delivers Bost for LLama 2 70B
Benchmark Per-Accelerator Records
(NVIDIA H100 Tensor Core GPU)
Large Language Model (GPT-3 175B) 548 hours (23 days)
Natural Language Processing (BERT) 0.71 hours
Recommendation (DLRM-DCNv2) 0.56 hours
Speech Recognition (RNN-T) 2.2 hours
Image Classification (ResNet-50 v1.5) 1.8 hours
Object Detection, Heavyweight (Mask R-CNN) 2.6 hours
Object Detection, Lightweight (RetinaNet) 4.9 hours
Image Segmentation (3D U-Net) 1.6 hours

Resultados do data center MLPerf Inference v4.0 recuperados do www.mlperf.org em 27 de março de 2024 das entradas 4.0-0062 e 4.0-0068. O nome e o logotipo MLPerf são marcas registradas e não registradas da MLCommons Association nos Estados Unidos e em outros países. Todos os direitos reservados. Uso não autorizado estritamente proibido. Consulte www.mlcommons.org para obter mais informações.

O TensorRT-LLM Quase Triplica o Desempenho do Hopper LLM

TensorRT-LLM Triples H100 Performance
Benchmark Per-Accelerator Records
(NVIDIA H100 Tensor Core GPU)
Large Language Model (GPT-3 175B) 548 hours (23 days)
Natural Language Processing (BERT) 0.71 hours
Recommendation (DLRM-DCNv2) 0.56 hours
Speech Recognition (RNN-T) 2.2 hours
Image Classification (ResNet-50 v1.5) 1.8 hours
Object Detection, Heavyweight (Mask R-CNN) 2.6 hours
Object Detection, Lightweight (RetinaNet) 4.9 hours
Image Segmentation (3D U-Net) 1.6 hours

MLPerf Inference v3.1 and v4.0 data center results retrieved from www.mlperf.org on March 27, 2024 from entries 3.1-0107 and 4.0-0060, respectively. The MLPerf name and logo are registered and unregistered trademarks of MLCommons Association in the United States and other countries. All rights reserved. Unauthorized use strictly prohibited. See www.mlcommons.org for more information.

O NVIDIA H100 Tensor Core turbinou a plataforma NVIDIA para HPC e IA em sua estreia no MLPerf HPC v3.0, permitindo um tempo de treinamento até 16 vezes mais rápido em apenas três anos e oferecendo o mais alto desempenho em todas as cargas de trabalho em métricas de tempo de treinamento e taxa de transferência. A plataforma NVIDIA também foi a única a enviar resultados para cada carga de trabalho MLPerf HPC, que abrange segmentação climática, previsão de parâmetros cosmológicos, modelagem molecular quântica e, a mais recente adição, previsão de estrutura de proteínas. O desempenho e a versatilidade incomparáveis da plataforma NVIDIA a tornam o instrumento de escolha para impulsionar a próxima onda de descobertas científicas impulsionadas por IA.

Até 16 Vezes Mais Desempenho em Três Anos

A Inovação Full-Stack da NVIDIA Impulsiona Ganhos de Desempenhoo

Up to 16X More Performance in 3 Years

Resultados do MLPerf™ HPC v3.0 recuperados do www.mlperf.org em 8 de novembro de 2023. Resultados obtidos das entradas 0.7-406, 0.7-407, 1.0-1115, 1.0-1120, 1.0-1122, 2.0-8005, 2.0-8006, 3.0-8006, 3.0-8007, 3.0-8008. A pontuação do CosmoFlow na v1.0 é normalizada para novos RCPs introduzidos no MLPerf HPC v2.0. As pontuações para v0.7, v1.0 e v2.0 são ajustadas para remover o tempo de preparação de dados do benchmark, de acordo com as novas regras adotadas para v3.0 para permitir comparações justas entre as rodadas de envio. O nome e o logotipo MLPerf™ são marcas registradas da MLCommons Association nos Estados Unidos e em outros países. Todos os direitos reservados. Uso não autorizado estritamente proibido. Consulte www.mlcommons.org para obter mais informações.

Up to 16X More Performance in 3 Years

Resultados do MLPerf™ HPC v3.0 recuperados do www.mlperf.org em 8 de novembro de 2023. Resultados recuperados das entradas 3.0-8004, 3.0-8009 e 3.0-8010.  O nome e o logotipo MLPerf™ são marcas registradas da MLCommons Association nos Estados Unidos e em outros países. Todos os direitos reservados. Uso não autorizado estritamente proibido. Consulte www.mlcommons.org para obter mais informações.

A Tecnologia por Trás dos Resultados

A complexidade da AI exige uma forte integração entre todos os aspectos da plataforma. Como demonstrado pelos benchmarks MLPerf, a plataforma de AI da NVIDIA entrega o máximo desempenho com a GPU mais avançada do mundo, tecnologias de interconexão potentes e dimensionáveis e software revolucionário: uma solução completa que pode ser implantada no data center, no cloud ou no edge com resultados incríveis.

Modelos Pré-Treinados e Software Otimizado do NVIDIA NGC

Software Otimizado que Acelera Workflows de AI

Um componente essencial da plataforma NVIDIA e dos resultados de Treinamento e Inferência no MLPerf, o catálogo do NGC™ é um hub para AI otimizada por GPU, computação de alto desempenho (HPC) e software de análise de dados que simplifica e acelera workflows de ponta a ponta. Com mais de 150 contêineres de nível corporativo, incluindo cargas de trabalho para AI conversacional e sistemas de recomendação, centenas de modelos de AI e SDKs específicos para setores que podem ser implantados localmente, no cloud ou no edge, o NGC permite que cientistas de dados, pesquisadores e desenvolvedores criem as melhores soluções do mercado, coletem insights e garantam valor comercial mais rápido que nunca.

Acesse o Catálogo do NGC

Infraestrutura de IA de Classe de Liderança

Alcançar resultados líderes mundiais em treinamento e inferência requer infraestrutura desenvolvida especificamente para os desafios de IA mais complexos do mundo. A plataforma de IA da NVIDIA oferece desempenho líder com o Superchip NVIDIA GH200 Grace Hopper, GPUs NVIDIA H100 e H200 Tensor Core, a GPU NVIDIA L40S Tensor Core e a escalabilidade e flexibilidade das tecnologias de interconexão da NVIDIA, NVIDIA NVLink®, NVSwitch™ e InfiniBand Quantum-2. Eles estão no centro da plataforma de data center da NVIDIA, o mecanismo por trás do nosso desempenho de referência.

Além disso, os sistemas NVIDIA DGX™ oferecem escalabilidade, implantação rápida e incrível poder de computação que permitem que todas as empresas construam infraestrutura de IA de classe líder.

Saiba Mais
NVIDIA HGX H200

Saiba mais sobre o desempenho de nossos produto em treinamento e inferência de data center.

Exibir Desempenho
Predição da Estrutura Proteica

Predição da Estrutura Proteica

Usa o modelo OpenFold treinado no conjunto de dados OpenProteinSet.
Texto para Imagem

Text-to-Image

O Treinamento MLPerf usa o modelo de texto para imagem Stable Diffusion v2 treinado no conjunto de dados filtrado LAION-400M.
A Inferência MLPerf usa o modelo de texto para imagem Stable Diffusion XL (SDXL) com um subconjunto de 5.000 prompts do conjunto de dados coco-val-2014.
Modelagem Molecular Quântica

Modelagem Molecular Quântica

Usa o modelo DimeNet++ com o conjunto de dados Open Catalyst 2020 (OC20).
Previsão de Parâmetros de Cosmologia

Previsão de Parâmetros de Cosmologia

Usa o modelo CosmoFlow com o conjunto de dados de simulação de N-corpos CosmoFlow.
Identificação River Atmosférico Climático

Identificação River Atmosférico Climático

Usa o modelo DeepCAM com conjunto de dados de simulação CAM5 + TECA.
Classificação de Imagens

Classificação de Imagens

O Treinamento e a Inferência MLPerf usam ResNet v1.5 com o conjunto de dados ImageNet.
MLPerf Inference used ResNet-50 v. 1.5 and MobileNet-v1 with the ImageNet dataset.
Detecção de Objetos (Leve)

Detecção de Objetos (Leve)

O Treinamento MLPerf usa Single-Shot Detector (SSD) com backbone ResNeXt50 em um subconjunto do conjunto de dados Google OpenImages.
MLPerf Inference uses SSD-MobileNet-v1 (low-res, 0.09 MP), with the COCO 2017 dataset.
MLPerf Submission Categories

Rede Neural de Grafos

O treinamento MLPerf usa R-GAT com o Illinois Graph Benchmark (IGB) - conjunto de dados heterogêneo.
Translation (Recurrent)

Translation (Recurrent)

MLPerf used Google’s Machine Translation System (GNMT) on the WMT English-German dataset.
MLPerf Inference used the Google Neural Machine Translation (GNMT) RNN with the WMT16 dataset.
Translation (Non-recurrent)

Translation (Non-recurrent)

MLPerf used Transformer on the WMT English-German dataset.
MLPerf Inference measured speech recognition using the RNN-T network with the LibriSpeech dataset.
Processamento de Linguagem Natural (PNL)

Processamento de Linguagem Natural (PNL)

O Treinamento MLPerf usa representações de codificador bidirecional de transformadores (BERT) no conjunto de dados Wikipedia 2020/01/01.
A Inferência MLPerf usa BERT com o conjunto de dados SQuAD v.1.1.
Recomendação

Recomendação

O Treinamento e a Inferência MLPerf usam o Modelo de Recomendação de Deep Learning v2 (DLRMv2) que emprega camada cruzada DCNv2 e um conjunto de dados multi-hot sintetizado a partir do conjunto de dados Criteo.
Grandes Modelos de Linguagem

Grandes Modelos de Linguagem

O MLPerf Training usa o modelo de linguagem generativa GPT-3 com 175 bilhões de parâmetros e um comprimento de sequência de 2.048 no conjunto de dados C4 para a carga de trabalho de pré-treinamento do LLM. Para o teste de ajuste fino LLM, o modelo Llama 2 70B com o conjunto de dados GovReport com comprimentos de sequência de 8.192.
O MLPerf Inference usa o modelo Llama 2 70B com o conjunto de dados OpenORCA e o modelo GPT-J com o conjunto de dados CNN-DailyMail.
Reconhecimento Automático de Fala (ASR)

Reconhecimento Automático de Fala (ASR)

O Treinamento e a Inferência MLPerf usam RNN-T no conjunto de dados Librispeech.
Segmentação de Imagens Biomédicas

Segmentação de Imagens Biomédicas

O Treinamento e a Inferência MLPerf usam 3D U-Net com o conjunto de dados KiTS19.
Rede Neural de Grafos

Rede Neural de Grafos

O treinamento MLPerf usa R-GAT com o Illinois Graph Benchmark (IGB) - conjunto de dados heterogêneo.
Produtos
Tecnologias
Software
Recursos