В статье нет цен: стоимость карт, серверов и электроэнергии зависит от поставщика, региона и условий договора. Ниже перечислены статьи расходов и порядок, в котором их удобно считать.
Статьи расходов
Сервер
H200 NVL устанавливается в серверы NVIDIA MGX и системы из программы NVIDIA-Certified Systems, рассчитанные на 1–8 GPU. Стоимость сервера зависит от процессоров, памяти, накопителей, сетевых адаптеров и блоков питания. Блоки питания должны иметь кабели 16-pin с сигнальными линиями, сообщающими уровень 451–600 Вт.
Карты и мосты NVLink
Число карт определяется задачей. Мосты NVLink заказываются отдельно: на 2 карты (900-23945-xx00-xxx) или на 4 карты (900-23946-xx00-xxx). Их количество зависит от схемы соединения.
Электропитание
Максимальная мощность карты — 600 Вт, она настраивается и может быть снижена до 200 Вт. Для расчета берут не максимум, а среднюю мощность под вашей нагрузкой, плюс потребление остальных компонентов сервера.
Охлаждение и стойка
Карта охлаждается потоком воздуха сервера. По оценке NVIDIA, около 70% корпоративных стоек рассчитаны на мощность до 20 кВт и охлаждаются воздухом. Расчет начинают с проверки, сколько серверов с выбранным числом карт помещается в бюджет мощности и охлаждения стойки. Если бюджета не хватает, можно ограничить мощность карт или распределить серверы по нескольким стойкам.
Программное обеспечение
С H200 NVL поставляется подписка NVIDIA AI Enterprise на 5 лет, включая микросервисы NVIDIA NIM. Для H200 SXM эта подписка приобретается отдельно, что нужно учитывать при сравнении вариантов. В расчет добавьте лицензии на системное ПО, если оно требуется, например на платформу виртуализации.
Сеть
NVIDIA публикует эталонную архитектуру Enterprise Reference Architecture для H200 NVL с сетью Spectrum-X Ethernet. Если узлов несколько, в расчет входят коммутаторы и сетевые адаптеры.
Эксплуатация
Сюда относятся размещение, обслуживание, персонал и резерв на замену. Справочное время наработки на отказ карты (MTBF) — 294 332 часа в неконтролируемой среде и 316 369 часов в контролируемой при 35 °C.
Как построить расчет
- Определите нагрузку: модели, число пользователей или задач, требования ко времени ответа.
- Рассчитайте число карт и схему NVLink.
- Подберите сервер и посчитайте, сколько серверов нужно.
- Проверьте мощность и охлаждение стоек.
- Рассчитайте энергию за срок владения: средняя мощность узла × часы работы × тариф.
- Добавьте сеть, ПО сверх включенной подписки и эксплуатацию.
- Разделите итог на объем полезной работы: запросы, токены или расчеты за период.
Данные NVIDIA об экономии
NVIDIA заявляет снижение энергопотребления и совокупной стоимости владения при инференсе LLM на 50% относительно H100. Эти данные получены на H200 SXM на модели Llama2 70B и являются предварительными. Для H200 NVL и вашей нагрузки результат нужно проверять отдельно.
Коммерческое предложение с ценами на карты, мосты и серверы подготовит менеджер по вашему запросу.
