Позвонить Запросить цену
Сравнения и выбор

H200 NVL, H200 SXM или H100 NVL: различия и выбор

4 мин на чтение

H200 NVL, H200 SXM или H100 NVL: различия и выбор

Сравнение построено только на опубликованных данных NVIDIA. Цифры производительности предварительные.

H200 NVL и H200 SXM

Обе версии построены на архитектуре Hopper. Различаются они конструкцией, мощностью и условиями поставки ПО.

ПараметрH200 NVLH200 SXM
Исполнениекарта PCIe Gen5, два слота, FHFLмодуль SXM
Максимальная мощностьнастраивается, до 600 Втнастраивается, до 700 Вт
FP64 / FP64 Tensor30 / 60 TFLOPS34 / 67 TFLOPS
BF16 / FP16 Tensor*1671 TFLOPS1979 TFLOPS
FP8 Tensor*3341 TFLOPS3958 TFLOPS
Экземпляры MIGдо 7 по 16,5 ГБдо 7 по 18 ГБ
NVIDIA AI Enterpriseподписка на 5 лет в комплектеприобретается отдельно

* Значения для тензорных ядер указаны с учетом разреженности.

SXM дает более высокие пиковые показатели. NVL устанавливается в серверы с обычными слотами PCIe и воздушным охлаждением, и подписка на ПО у него уже включена.

H200 NVL и H100 NVL

Обе карты выполнены в формате PCIe. По данным NVIDIA, у H200 NVL:

  • в 1,5 раза больше памяти (141 ГБ HBM3e);
  • в 1,2 раза выше пропускная способность памяти (4,8 ТБ/с);
  • до 1,7 раза быстрее инференс LLM;
  • до 1,3 раза выше производительность в HPC.

Для моделей, которые не помещались в память H100 NVL целиком, увеличение объема может сократить число карт на одну копию модели. Это проверяется расчетом под конкретную модель.

Критерии выбора

Инфраструктура стоек

По оценке NVIDIA, около 70% корпоративных стоек рассчитаны на мощность до 20 кВт и охлаждаются воздухом. Для таких стоек NVIDIA предлагает карты PCIe: в узле можно установить 1, 2, 4 или 8 GPU. Если площадка уже рассчитана на системы SXM повышенной мощности, стоит сравнивать оба варианта.

Размер связки GPU

Карты H200 NVL объединяются мостами NVLink максимум по 4 штуки, 900 ГБ/с на GPU. Если задаче нужно больше 4 GPU в одной связке NVLink, H200 NVL этого не обеспечивает: обмен с остальными картами пойдет через PCIe или сеть.

Программное обеспечение

При покупке H200 NVL пятилетняя подписка NVIDIA AI Enterprise с микросервисами NIM уже включена. Для SXM ее стоимость нужно закладывать отдельно.

Энергопотребление

Мощность H200 NVL можно ограничить вплоть до 200 Вт, если стойка не выдерживает 600 Вт на карту. Производительность при этом снижается, ее нужно проверить на своей нагрузке.

Порядок выбора

  1. Оцените объем памяти на одну копию модели и число копий.
  2. Определите, сколько GPU должны работать в одной связке.
  3. Сверьте мощность и охлаждение стойки с 600 Вт на карту плюс сервер.
  4. Учтите стоимость ПО: включена для NVL, отдельно для SXM.
  5. Проверьте, есть ли подходящие серверы у вашего производителя.

Остались вопросы по статье?

Напишите нам — ответим и подскажем решение под вашу задачу.

Запросить цену