Позвонить Запросить цену
Настройка и оптимизация

Настройка H200 NVL: MIG, ограничение мощности и NVLink

4 мин на чтение

Настройка H200 NVL: MIG, ограничение мощности и NVLink

Ниже описаны основные настройки H200 NVL: разделение карты, ограничение мощности, работа нескольких карт и распределение памяти.

MIG: разделение карты

Технология MIG делит H200 NVL на аппаратно изолированные экземпляры, максимум 7 по 16,5 ГБ памяти. Каждый экземпляр получает свою память и вычислительные ресурсы, поэтому задачи разных пользователей не влияют друг на друга.

MIG подходит, когда:

  • на сервере работают несколько небольших моделей;
  • карту делят между командами или виртуальными машинами;
  • нужна гарантированная доля ресурсов для каждой задачи.

Для одной большой модели, которой нужна вся память карты, MIG не используют. Профили и команды включения описаны в руководстве NVIDIA: MIG User Guide, https://docs.nvidia.com/datacenter/tesla/mig-user-guide/index.html.

Ограничение мощности

По умолчанию мощность карты — 600 Вт, допустимый минимум — 200 Вт. Ограничение нужно, если стойка не выдерживает полную нагрузку или требуется снизить энергопотребление. Производительность при этом падает, величину падения проверяйте на своей задаче.

Через nvidia-smi

Включите режим постоянной работы драйвера и задайте предел, например 310 Вт:

  • nvidia-smi -pm 1
  • nvidia-smi -pl 310

Вернуть стандартное значение:

  • nvidia-smi -pl 600

Предел, заданный через nvidia-smi, сбрасывается при перезагрузке драйвера. Команду нужно выполнять после каждой загрузки драйвера, например из службы при старте системы.

Через SMBPBI

Ограничение по внешнему каналу управления (out-of-band, SMBPBI) задается через систему управления сервером и сохраняется между загрузками драйвера. Поддержку этого способа уточняйте у производителя сервера.

Программное ограничение не отменяет требование к кабелю питания: блок питания должен сообщать уровень 451–600 Вт, иначе карта не запустится.

Несколько карт и NVLink

Мост NVLink объединяет 2 или 4 карты и дает 900 ГБ/с на GPU в обе стороны. По данным NVIDIA, это в 7 раз быстрее PCIe Gen5. При распределении модели по картам обмен через NVLink сокращает задержки по сравнению с PCIe.

Рекомендации по настройке:

  • соединяйте мостом карты под одним процессором или одним коммутатором PCIe;
  • используйте 2 или 4 карты в связке и мосты одного размера;
  • после установки мостов и после обновления драйвера проверяйте, что приложение видит все карты связки.

Распределение памяти

На карте 141 ГБ HBM3e. При инференсе память делится между весами модели и кэшем контекста. Чем больше одновременных запросов и длиннее контекст, тем больше места занимает кэш.

Объем весов зависит от формата вычислений. H200 NVL поддерживает FP8 на тензорных ядрах: по предварительным данным NVIDIA, 3341 TFLOPS против 1671 TFLOPS в BF16 и FP16 (значения с разреженностью). Переход на FP8 уменьшает объем весов, но точность модели после перевода нужно проверить на своих данных.

Память ECC на карте включена. Счетчики ошибок ECC видны в отчете nvidia-smi -q.

Остались вопросы по статье?

Напишите нам — ответим и подскажем решение под вашу задачу.

Запросить цену