Позвонить Запросить цену
Сценарии использования

Задачи для H200 NVL: инференс LLM, дообучение, RAG и HPC

4 мин на чтение

Задачи для H200 NVL: инференс LLM, дообучение, RAG и HPC

NVIDIA позиционирует H200 NVL для корпоративных серверов с воздушным охлаждением, где нужны инференс и дообучение языковых моделей, а также научные расчеты. Ниже — основные сценарии и условия, от которых зависит конфигурация.

Инференс больших языковых моделей

Для инференса главное ограничение — память. В нее должны поместиться веса модели и кэш контекста для всех одновременных запросов. Одна карта дает 141 ГБ HBM3e с пропускной способностью 4,8 ТБ/с. По предварительным данным NVIDIA, H200 NVL выполняет инференс LLM до 1,7 раза быстрее, чем H100 NVL.

Если модель не помещается на одну карту, ее делят между несколькими GPU. Для этого карты соединяют мостами NVLink: до 4 карт в связке, 900 ГБ/с на GPU. Без моста обмен идет через PCIe, который, по оценке NVIDIA, медленнее NVLink в 7 раз.

Если нужно обслуживать несколько небольших моделей, карту делят технологией MIG на изолированные экземпляры: до 7 штук по 16,5 ГБ.

Дообучение моделей

При дообучении память занимают веса, градиенты и состояния оптимизатора, поэтому требования выше, чем при инференсе той же модели. NVIDIA указывает, что на H200 NVL дообучение LLM занимает несколько часов, но не приводит размер модели и набора данных для этой оценки. Для дообучения крупных моделей обычно берут 2 или 4 карты, соединенные NVLink, и проверяют расчет памяти до закупки.

RAG: поиск по корпоративным данным

Система RAG включает модель для построения эмбеддингов, векторный поиск и генерирующую модель. Компоненты можно разнести по разным картам или по экземплярам MIG одной карты. В подписку NVIDIA AI Enterprise, которая поставляется с H200 NVL на 5 лет, входят микросервисы NVIDIA NIM для развертывания моделей.

Научные и инженерные расчеты

Для HPC важна производительность в двойной точности: у H200 NVL 30 TFLOPS FP64 и 60 TFLOPS FP64 на тензорных ядрах (предварительные данные NVIDIA). NVIDIA оценивает прирост в HPC до 1,3 раза относительно H100 NVL и в 2,5 раза относительно поколения Ampere. Среди примеров NVIDIA называет сейсмическую обработку и моделирование климата.

Условия по сценариям

СценарийЧто определяет конфигурациюNVLinkЧисло карт
Инференс LLMвеса модели и кэш контекстанужен, если модель делится между картами1, 2 или 4 в связке
Несколько малых моделейдо 16,5 ГБ на экземпляр MIGне обязателен1 и больше
Дообучениевеса, градиенты, оптимизаторрекомендуется2 или 4 в связке
RAGсумма памяти всех моделей конвейерапо размеру генерирующей модели1 и больше
HPCFP64 и обмен между GPUзависит от приложениядо 8 в сервере

NVIDIA рекомендует ставить в сервер 1, 2, 4 или 8 карт. В сертифицированных системах их может быть до 8, мостом NVLink объединяются до 4 карт.

Остались вопросы по статье?

Напишите нам — ответим и подскажем решение под вашу задачу.

Запросить цену