Позвонить Запросить цену
Производительность и тесты

Производительность H200 NVL: как читать цифры NVIDIA

4 мин на чтение

Производительность H200 NVL: как читать цифры NVIDIA

Все показатели производительности H200 NVL, доступные сейчас, опубликованы NVIDIA. Независимых результатов мы здесь не приводим. Цифры NVIDIA предварительные и могут измениться, а часть из них относится не к NVL, а к версии H200 SXM.

Пиковые показатели NVL и SXM

Формат вычисленийH200 NVLH200 SXM
FP6430 TFLOPS34 TFLOPS
FP64 Tensor Core60 TFLOPS67 TFLOPS
FP3260 TFLOPS67 TFLOPS
TF32 Tensor Core835 TFLOPS989 TFLOPS
BF16 Tensor Core1671 TFLOPS1979 TFLOPS
FP16 Tensor Core1671 TFLOPS1979 TFLOPS
FP8 Tensor Core3341 TFLOPS3958 TFLOPS
INT8 Tensor Core3341 TOPS3958 TOPS

Сноска о разреженности

Значения для тензорных ядер (TF32, BF16, FP16, FP8, INT8) NVIDIA приводит с учетом разреженности (sparsity). Это пиковые цифры для моделей, веса которых подготовлены под разреженные вычисления. Для обычных плотных моделей достижимые значения ниже. Сравнивать карты разных производителей или поколений можно только при одинаковом условии: обе цифры с разреженностью или обе без нее.

Откуда разница между NVL и SXM

H200 NVL — карта PCIe с настраиваемой мощностью до 600 Вт. H200 SXM рассчитан на мощность до 700 Вт. Пиковые показатели SXM выше, поэтому результаты, полученные на SXM, нельзя напрямую переносить на NVL.

Сравнительные заявления NVIDIA

Данные, которые NVIDIA приводит именно для H200 NVL:

  • инференс LLM до 1,7 раза быстрее, чем на H100 NVL;
  • HPC до 1,3 раза быстрее, чем на H100 NVL;
  • HPC в 2,5 раза быстрее относительно поколения Ampere.

Данные, полученные на H200 SXM:

  • инференс Llama2 70B до 1,9 раза быстрее, чем на H100;
  • инференс GPT-3 175B в 1,6 раза быстрее, чем на H100;
  • до 110 раз быстрее в HPC-приложении MILC относительно сервера с двумя процессорами x86;
  • энергопотребление и совокупная стоимость владения при инференсе LLM на 50% ниже, чем у H100 (Llama2 70B).

Порядок проверки цифры

  1. Определите версию: NVL или SXM.
  2. Посмотрите формат вычислений и наличие разреженности.
  3. Найдите базу сравнения: H100 NVL, H100 SXM, Ampere или процессоры x86.
  4. Уточните модель и приложение: Llama2 70B, GPT-3 175B, MILC.
  5. Учтите пометку о предварительных данных.

Сравнительные множители NVIDIA получены на конкретных моделях и конфигурациях. Для решения о закупке лучше прогнать собственную нагрузку на тестовой системе с той же версией карты, тем же числом GPU и той же схемой NVLink, что планируются в работе.

Остались вопросы по статье?

Напишите нам — ответим и подскажем решение под вашу задачу.

Запросить цену