NVIDIA позиционирует H200 NVL для корпоративных серверов с воздушным охлаждением, где нужны инференс и дообучение языковых моделей, а также научные расчеты. Ниже — основные сценарии и условия, от которых зависит конфигурация.
Инференс больших языковых моделей
Для инференса главное ограничение — память. В нее должны поместиться веса модели и кэш контекста для всех одновременных запросов. Одна карта дает 141 ГБ HBM3e с пропускной способностью 4,8 ТБ/с. По предварительным данным NVIDIA, H200 NVL выполняет инференс LLM до 1,7 раза быстрее, чем H100 NVL.
Если модель не помещается на одну карту, ее делят между несколькими GPU. Для этого карты соединяют мостами NVLink: до 4 карт в связке, 900 ГБ/с на GPU. Без моста обмен идет через PCIe, который, по оценке NVIDIA, медленнее NVLink в 7 раз.
Если нужно обслуживать несколько небольших моделей, карту делят технологией MIG на изолированные экземпляры: до 7 штук по 16,5 ГБ.
Дообучение моделей
При дообучении память занимают веса, градиенты и состояния оптимизатора, поэтому требования выше, чем при инференсе той же модели. NVIDIA указывает, что на H200 NVL дообучение LLM занимает несколько часов, но не приводит размер модели и набора данных для этой оценки. Для дообучения крупных моделей обычно берут 2 или 4 карты, соединенные NVLink, и проверяют расчет памяти до закупки.
RAG: поиск по корпоративным данным
Система RAG включает модель для построения эмбеддингов, векторный поиск и генерирующую модель. Компоненты можно разнести по разным картам или по экземплярам MIG одной карты. В подписку NVIDIA AI Enterprise, которая поставляется с H200 NVL на 5 лет, входят микросервисы NVIDIA NIM для развертывания моделей.
Научные и инженерные расчеты
Для HPC важна производительность в двойной точности: у H200 NVL 30 TFLOPS FP64 и 60 TFLOPS FP64 на тензорных ядрах (предварительные данные NVIDIA). NVIDIA оценивает прирост в HPC до 1,3 раза относительно H100 NVL и в 2,5 раза относительно поколения Ampere. Среди примеров NVIDIA называет сейсмическую обработку и моделирование климата.
Условия по сценариям
| Сценарий | Что определяет конфигурацию | NVLink | Число карт |
|---|---|---|---|
| Инференс LLM | веса модели и кэш контекста | нужен, если модель делится между картами | 1, 2 или 4 в связке |
| Несколько малых моделей | до 16,5 ГБ на экземпляр MIG | не обязателен | 1 и больше |
| Дообучение | веса, градиенты, оптимизатор | рекомендуется | 2 или 4 в связке |
| RAG | сумма памяти всех моделей конвейера | по размеру генерирующей модели | 1 и больше |
| HPC | FP64 и обмен между GPU | зависит от приложения | до 8 в сервере |
NVIDIA рекомендует ставить в сервер 1, 2, 4 или 8 карт. В сертифицированных системах их может быть до 8, мостом NVLink объединяются до 4 карт.
