Ниже описаны основные настройки H200 NVL: разделение карты, ограничение мощности, работа нескольких карт и распределение памяти.
MIG: разделение карты
Технология MIG делит H200 NVL на аппаратно изолированные экземпляры, максимум 7 по 16,5 ГБ памяти. Каждый экземпляр получает свою память и вычислительные ресурсы, поэтому задачи разных пользователей не влияют друг на друга.
MIG подходит, когда:
- на сервере работают несколько небольших моделей;
- карту делят между командами или виртуальными машинами;
- нужна гарантированная доля ресурсов для каждой задачи.
Для одной большой модели, которой нужна вся память карты, MIG не используют. Профили и команды включения описаны в руководстве NVIDIA: MIG User Guide, https://docs.nvidia.com/datacenter/tesla/mig-user-guide/index.html.
Ограничение мощности
По умолчанию мощность карты — 600 Вт, допустимый минимум — 200 Вт. Ограничение нужно, если стойка не выдерживает полную нагрузку или требуется снизить энергопотребление. Производительность при этом падает, величину падения проверяйте на своей задаче.
Через nvidia-smi
Включите режим постоянной работы драйвера и задайте предел, например 310 Вт:
nvidia-smi -pm 1nvidia-smi -pl 310
Вернуть стандартное значение:
nvidia-smi -pl 600
Предел, заданный через nvidia-smi, сбрасывается при перезагрузке драйвера. Команду нужно выполнять после каждой загрузки драйвера, например из службы при старте системы.
Через SMBPBI
Ограничение по внешнему каналу управления (out-of-band, SMBPBI) задается через систему управления сервером и сохраняется между загрузками драйвера. Поддержку этого способа уточняйте у производителя сервера.
Программное ограничение не отменяет требование к кабелю питания: блок питания должен сообщать уровень 451–600 Вт, иначе карта не запустится.
Несколько карт и NVLink
Мост NVLink объединяет 2 или 4 карты и дает 900 ГБ/с на GPU в обе стороны. По данным NVIDIA, это в 7 раз быстрее PCIe Gen5. При распределении модели по картам обмен через NVLink сокращает задержки по сравнению с PCIe.
Рекомендации по настройке:
- соединяйте мостом карты под одним процессором или одним коммутатором PCIe;
- используйте 2 или 4 карты в связке и мосты одного размера;
- после установки мостов и после обновления драйвера проверяйте, что приложение видит все карты связки.
Распределение памяти
На карте 141 ГБ HBM3e. При инференсе память делится между весами модели и кэшем контекста. Чем больше одновременных запросов и длиннее контекст, тем больше места занимает кэш.
Объем весов зависит от формата вычислений. H200 NVL поддерживает FP8 на тензорных ядрах: по предварительным данным NVIDIA, 3341 TFLOPS против 1671 TFLOPS в BF16 и FP16 (значения с разреженностью). Переход на FP8 уменьшает объем весов, но точность модели после перевода нужно проверить на своих данных.
Память ECC на карте включена. Счетчики ошибок ECC видны в отчете nvidia-smi -q.
