Позвонить Запросить цену
Экономика и расчеты

Стоимость владения H200 NVL: из чего складывается расчет

4 мин на чтение

Стоимость владения H200 NVL: из чего складывается расчет

В статье нет цен: стоимость карт, серверов и электроэнергии зависит от поставщика, региона и условий договора. Ниже перечислены статьи расходов и порядок, в котором их удобно считать.

Статьи расходов

Сервер

H200 NVL устанавливается в серверы NVIDIA MGX и системы из программы NVIDIA-Certified Systems, рассчитанные на 1–8 GPU. Стоимость сервера зависит от процессоров, памяти, накопителей, сетевых адаптеров и блоков питания. Блоки питания должны иметь кабели 16-pin с сигнальными линиями, сообщающими уровень 451–600 Вт.

Карты и мосты NVLink

Число карт определяется задачей. Мосты NVLink заказываются отдельно: на 2 карты (900-23945-xx00-xxx) или на 4 карты (900-23946-xx00-xxx). Их количество зависит от схемы соединения.

Электропитание

Максимальная мощность карты — 600 Вт, она настраивается и может быть снижена до 200 Вт. Для расчета берут не максимум, а среднюю мощность под вашей нагрузкой, плюс потребление остальных компонентов сервера.

Охлаждение и стойка

Карта охлаждается потоком воздуха сервера. По оценке NVIDIA, около 70% корпоративных стоек рассчитаны на мощность до 20 кВт и охлаждаются воздухом. Расчет начинают с проверки, сколько серверов с выбранным числом карт помещается в бюджет мощности и охлаждения стойки. Если бюджета не хватает, можно ограничить мощность карт или распределить серверы по нескольким стойкам.

Программное обеспечение

С H200 NVL поставляется подписка NVIDIA AI Enterprise на 5 лет, включая микросервисы NVIDIA NIM. Для H200 SXM эта подписка приобретается отдельно, что нужно учитывать при сравнении вариантов. В расчет добавьте лицензии на системное ПО, если оно требуется, например на платформу виртуализации.

Сеть

NVIDIA публикует эталонную архитектуру Enterprise Reference Architecture для H200 NVL с сетью Spectrum-X Ethernet. Если узлов несколько, в расчет входят коммутаторы и сетевые адаптеры.

Эксплуатация

Сюда относятся размещение, обслуживание, персонал и резерв на замену. Справочное время наработки на отказ карты (MTBF) — 294 332 часа в неконтролируемой среде и 316 369 часов в контролируемой при 35 °C.

Как построить расчет

  1. Определите нагрузку: модели, число пользователей или задач, требования ко времени ответа.
  2. Рассчитайте число карт и схему NVLink.
  3. Подберите сервер и посчитайте, сколько серверов нужно.
  4. Проверьте мощность и охлаждение стоек.
  5. Рассчитайте энергию за срок владения: средняя мощность узла × часы работы × тариф.
  6. Добавьте сеть, ПО сверх включенной подписки и эксплуатацию.
  7. Разделите итог на объем полезной работы: запросы, токены или расчеты за период.

Данные NVIDIA об экономии

NVIDIA заявляет снижение энергопотребления и совокупной стоимости владения при инференсе LLM на 50% относительно H100. Эти данные получены на H200 SXM на модели Llama2 70B и являются предварительными. Для H200 NVL и вашей нагрузки результат нужно проверять отдельно.

Коммерческое предложение с ценами на карты, мосты и серверы подготовит менеджер по вашему запросу.

Остались вопросы по статье?

Напишите нам — ответим и подскажем решение под вашу задачу.

Запросить цену