NVIDIA H200 NVL — ускоритель на архитектуре Hopper в исполнении карты PCIe Gen5. Он предназначен для серверов с воздушным охлаждением: карта двухслотовая, полной высоты и полной длины (FHFL, 10,5 дюйма), с пассивным радиатором. Собственных вентиляторов у карты нет, воздух через радиатор прогоняют вентиляторы сервера.
Сводная таблица характеристик
| Параметр | Значение |
|---|---|
| Архитектура | NVIDIA Hopper |
| Форм-фактор | FHFL, два слота, 10,5 дюйма, пассивное охлаждение |
| Интерфейс хоста | PCIe Gen5 x16, также Gen5 x8 или Gen4 x16 |
| Память | 141 ГБ HBM3e, шина 6016 бит, частота 3201 МГц |
| Пропускная способность памяти | до 4,8 ТБ/с (4813 ГБ/с) |
| Частоты GPU | базовая 1230 МГц, Boost 1785 МГц |
| Мощность платы | до 600 Вт (по умолчанию), минимум 200 Вт |
| Разъем питания | один PCIe 16-pin (12VHPWR) |
| NVLink | мосты на 2 или 4 карты, 900 ГБ/с на GPU в обе стороны |
| MIG | до 7 изолированных экземпляров по 16,5 ГБ |
| Декодеры | 7 NVDEC, 7 JPEG |
| Масса платы | 1217 г |
NVIDIA публикует эти характеристики как предварительные, производитель может их изменить.
Память
Карта несет 141 ГБ HBM3e с пиковой пропускной способностью 4,8 ТБ/с. По данным NVIDIA, объем памяти в 1,5 раза больше, а пропускная способность в 1,2 раза выше, чем у H100 NVL. Для больших языковых моделей это означает, что на одной карте помещаются более крупные веса и длинный контекст, а на нескольких картах уменьшается число разбиений модели.
Питание
Полная мощность платы по умолчанию — 600 Вт, ее можно снизить до 200 Вт. Предел соответствия по питанию (power compliance limit) составляет 350 Вт. Питание подается через один разъем PCIe 16-pin (12VHPWR). Карта читает сигнальные контакты кабеля: если блок питания не сообщает уровень 451–600 Вт, карта не запускается, даже когда мощность программно ограничена ниже.
Охлаждение
Радиатор двунаправленный: воздух может проходить через карту слева направо или справа налево. Поток обеспечивает сервер, поэтому карту устанавливают только в платформы, рассчитанные на пассивные ускорители такой мощности.
NVLink и PCIe
Каждая карта подключается к соседним одним широким мостом NVLink. Мосты бывают на 2 и на 4 карты, максимум в связке — 4 карты. Через NVLink карта обменивается данными со скоростью 900 ГБ/с в обе стороны. Когда мост не установлен, разъем NVLink закрыт съемной защитной крышкой.
Со стороны PCIe поддерживаются реверс линий и полярности, SR-IOV с 32 виртуальными функциями и только прерывания MSI-X (MSI не поддерживается). Окно BAR2 физической функции занимает 256 ГиБ, это нужно учитывать в настройках BIOS сервера.
Безопасность
На плате установлен аппаратный корень доверия CEC1736 (Secure Boot). Он проверяет подлинность прошивки, защищает от отката на старые версии, поддерживает отзыв ключей, безопасное обновление прошивки по внешнему каналу и удаленную аттестацию. Карта поддерживает режим конфиденциальных вычислений (Confidential Computing).
Сертификаты
Для H200 NVL заявлены WHQL, ISO 9241, EU RoHS, REACH, Halogen Free и WEEE, а также регистрации RCM, BSMI, CE, FCC, ICES, KCC, cUL/UL и VCCI.
