Инструкция составлена по данным продуктовой документации NVIDIA. Порядок разборки корпуса и расположение слотов зависят от сервера, сверяйтесь с руководством его производителя.
Подготовка
- Убедитесь, что сервер поддерживает H200 NVL: модель входит в партнерские системы NVIDIA MGX или в программу NVIDIA-Certified Systems 2.8 и выше.
- Определите слоты: PCIe Gen5 x16, Gen5 x8 или Gen4 x16, место под карту в два слота, полной высоты и длины (10,5 дюйма).
- Проверьте блок питания. Нужен отдельный кабель PCIe 16-pin (12VHPWR) на каждую карту, сигнальные контакты которого сообщают уровень 451–600 Вт.
- Если карт несколько, заранее спланируйте схему NVLink: какие карты соединяются и какими мостами.
- Выключите сервер, отключите кабели питания и соблюдайте антистатические меры.
Установка карты
- Если конструкция сервера требует удлинителя для крепления длинной карты, установите удлинитель NVPN 151-0398-000. Длина карты с ним — 312 мм.
- Вставьте карту в слот до упора и закрепите кронштейн. Масса платы — 1217 г, карту нужно поддерживать за край при установке.
- Подключите кабель 16-pin. Разъем должен войти полностью, без перекоса.
- Убедитесь, что поток воздуха сервера проходит через радиатор карты. Радиатор допускает направление воздуха слева направо и справа налево, но перекрывать его кабелями нельзя.
Установка мостов NVLink
- Снимите защитные крышки с разъемов NVLink на картах, которые будут соединены. На картах без моста крышки оставьте.
- Используйте один широкий мост на карту: на 2 карты (900-23945-xx00-xxx) или на 4 карты (900-23946-xx00-xxx).
- Соединяйте карты, подключенные к одному процессору или одному коммутатору PCIe.
- Используйте мосты одного размера во всем сервере.
- Проверьте зазоры: не меньше 2,5 мм над верхней кромкой карты и не меньше 2,67 мм за обратной стороной платы. Крышка корпуса не должна давить на мост.
Проверки перед первым включением
- Карта закреплена, разъем PCIe вставлен полностью.
- Кабель 16-pin подключен от блока питания, рассчитанного на уровень 451–600 Вт.
- Мосты NVLink сидят на разъемах ровно, зазоры соблюдены.
- Посторонние предметы и кабели не мешают потоку воздуха.
- В BIOS разрешены большие окна BAR: карте нужно 256 ГиБ для BAR2. Если планируется виртуализация, включите SR-IOV.
После включения
Установите драйвер NVIDIA версии R565 TRD1 или новее. Запустите nvidia-smi: в списке должны появиться все установленные карты. Сохраните вывод nvidia-smi -q с серийными номерами и версиями прошивки как исходное состояние сервера. Если карта не определяется, проверьте кабель питания и его уровень, посадку в слоте и настройки BAR в BIOS.
