Все показатели производительности H200 NVL, доступные сейчас, опубликованы NVIDIA. Независимых результатов мы здесь не приводим. Цифры NVIDIA предварительные и могут измениться, а часть из них относится не к NVL, а к версии H200 SXM.
Пиковые показатели NVL и SXM
| Формат вычислений | H200 NVL | H200 SXM |
|---|---|---|
| FP64 | 30 TFLOPS | 34 TFLOPS |
| FP64 Tensor Core | 60 TFLOPS | 67 TFLOPS |
| FP32 | 60 TFLOPS | 67 TFLOPS |
| TF32 Tensor Core | 835 TFLOPS | 989 TFLOPS |
| BF16 Tensor Core | 1671 TFLOPS | 1979 TFLOPS |
| FP16 Tensor Core | 1671 TFLOPS | 1979 TFLOPS |
| FP8 Tensor Core | 3341 TFLOPS | 3958 TFLOPS |
| INT8 Tensor Core | 3341 TOPS | 3958 TOPS |
Сноска о разреженности
Значения для тензорных ядер (TF32, BF16, FP16, FP8, INT8) NVIDIA приводит с учетом разреженности (sparsity). Это пиковые цифры для моделей, веса которых подготовлены под разреженные вычисления. Для обычных плотных моделей достижимые значения ниже. Сравнивать карты разных производителей или поколений можно только при одинаковом условии: обе цифры с разреженностью или обе без нее.
Откуда разница между NVL и SXM
H200 NVL — карта PCIe с настраиваемой мощностью до 600 Вт. H200 SXM рассчитан на мощность до 700 Вт. Пиковые показатели SXM выше, поэтому результаты, полученные на SXM, нельзя напрямую переносить на NVL.
Сравнительные заявления NVIDIA
Данные, которые NVIDIA приводит именно для H200 NVL:
- инференс LLM до 1,7 раза быстрее, чем на H100 NVL;
- HPC до 1,3 раза быстрее, чем на H100 NVL;
- HPC в 2,5 раза быстрее относительно поколения Ampere.
Данные, полученные на H200 SXM:
- инференс Llama2 70B до 1,9 раза быстрее, чем на H100;
- инференс GPT-3 175B в 1,6 раза быстрее, чем на H100;
- до 110 раз быстрее в HPC-приложении MILC относительно сервера с двумя процессорами x86;
- энергопотребление и совокупная стоимость владения при инференсе LLM на 50% ниже, чем у H100 (Llama2 70B).
Порядок проверки цифры
- Определите версию: NVL или SXM.
- Посмотрите формат вычислений и наличие разреженности.
- Найдите базу сравнения: H100 NVL, H100 SXM, Ampere или процессоры x86.
- Уточните модель и приложение: Llama2 70B, GPT-3 175B, MILC.
- Учтите пометку о предварительных данных.
Сравнительные множители NVIDIA получены на конкретных моделях и конфигурациях. Для решения о закупке лучше прогнать собственную нагрузку на тестовой системе с той же версией карты, тем же числом GPU и той же схемой NVLink, что планируются в работе.
