Сравнение построено только на опубликованных данных NVIDIA. Цифры производительности предварительные.
H200 NVL и H200 SXM
Обе версии построены на архитектуре Hopper. Различаются они конструкцией, мощностью и условиями поставки ПО.
| Параметр | H200 NVL | H200 SXM |
|---|---|---|
| Исполнение | карта PCIe Gen5, два слота, FHFL | модуль SXM |
| Максимальная мощность | настраивается, до 600 Вт | настраивается, до 700 Вт |
| FP64 / FP64 Tensor | 30 / 60 TFLOPS | 34 / 67 TFLOPS |
| BF16 / FP16 Tensor* | 1671 TFLOPS | 1979 TFLOPS |
| FP8 Tensor* | 3341 TFLOPS | 3958 TFLOPS |
| Экземпляры MIG | до 7 по 16,5 ГБ | до 7 по 18 ГБ |
| NVIDIA AI Enterprise | подписка на 5 лет в комплекте | приобретается отдельно |
* Значения для тензорных ядер указаны с учетом разреженности.
SXM дает более высокие пиковые показатели. NVL устанавливается в серверы с обычными слотами PCIe и воздушным охлаждением, и подписка на ПО у него уже включена.
H200 NVL и H100 NVL
Обе карты выполнены в формате PCIe. По данным NVIDIA, у H200 NVL:
- в 1,5 раза больше памяти (141 ГБ HBM3e);
- в 1,2 раза выше пропускная способность памяти (4,8 ТБ/с);
- до 1,7 раза быстрее инференс LLM;
- до 1,3 раза выше производительность в HPC.
Для моделей, которые не помещались в память H100 NVL целиком, увеличение объема может сократить число карт на одну копию модели. Это проверяется расчетом под конкретную модель.
Критерии выбора
Инфраструктура стоек
По оценке NVIDIA, около 70% корпоративных стоек рассчитаны на мощность до 20 кВт и охлаждаются воздухом. Для таких стоек NVIDIA предлагает карты PCIe: в узле можно установить 1, 2, 4 или 8 GPU. Если площадка уже рассчитана на системы SXM повышенной мощности, стоит сравнивать оба варианта.
Размер связки GPU
Карты H200 NVL объединяются мостами NVLink максимум по 4 штуки, 900 ГБ/с на GPU. Если задаче нужно больше 4 GPU в одной связке NVLink, H200 NVL этого не обеспечивает: обмен с остальными картами пойдет через PCIe или сеть.
Программное обеспечение
При покупке H200 NVL пятилетняя подписка NVIDIA AI Enterprise с микросервисами NIM уже включена. Для SXM ее стоимость нужно закладывать отдельно.
Энергопотребление
Мощность H200 NVL можно ограничить вплоть до 200 Вт, если стойка не выдерживает 600 Вт на карту. Производительность при этом снижается, ее нужно проверить на своей нагрузке.
Порядок выбора
- Оцените объем памяти на одну копию модели и число копий.
- Определите, сколько GPU должны работать в одной связке.
- Сверьте мощность и охлаждение стойки с 600 Вт на карту плюс сервер.
- Учтите стоимость ПО: включена для NVL, отдельно для SXM.
- Проверьте, есть ли подходящие серверы у вашего производителя.
