В этой статье собраны примеры применения H200 NVL, которые опубликовала NVIDIA при анонсе карты в ноябре 2024 года. Это не наши проекты: мы пересказываем данные производителя и заявления его клиентов. Результаты внедрений в этих публикациях не приводятся.
Типовые задачи из материалов NVIDIA
Обслуживание клиентов
NVIDIA называет визуальных ИИ-агентов и чат-ботов для службы поддержки. Для таких систем нужен инференс языковых моделей с быстрым ответом, а иногда и обработка изображений. На карте есть 7 декодеров NVDEC и 7 декодеров JPEG.
Финансы
В финансовом секторе NVIDIA упоминает алгоритмы для торговли. Подробности о моделях и конфигурациях в анонсе не раскрыты.
Медицина
Пример из этой отрасли — поиск аномалий на медицинских изображениях. Для работы с персональными данными пациентов может пригодиться поддержка конфиденциальных вычислений (Confidential Computing), которая есть у H200 NVL.
Производство
NVIDIA приводит распознавание образов на производстве. Отраслевые детали и конфигурации в анонсе не раскрыты.
Сейсмика
Сейсмическая обработка относится к научным расчетам. Для таких задач важна производительность FP64: у H200 NVL 30 TFLOPS FP64 и 60 TFLOPS FP64 Tensor по предварительным данным NVIDIA.
Публичные заявления клиентов
Dropbox
В анонсе NVIDIA компания Dropbox сообщила, что изучает H200 NVL для своих сервисов искусственного интеллекта и машинного обучения. Речь идет об оценке, а не о завершенном внедрении.
Университет Нью-Мексико
Университет Нью-Мексико (University of New Mexico) заявил о переходе на H200 NVL. Университет планирует использовать карты в анализе данных, биоинформатике и геномике, для моделирования в физике и астрономии и для климатических моделей.
Что общего у этих примеров
NVIDIA продвигает H200 NVL для организаций, которые размещают оборудование в существующих стойках с воздушным охлаждением. По оценке NVIDIA, около 70% корпоративных стоек рассчитаны на мощность до 20 кВт. Карты PCIe позволяют ставить в узел 1, 2, 4 или 8 GPU без перестройки стойки.
Как применить пример к своей задаче
- Опишите задачу: модель, объем данных, требуемое время ответа или расчета.
- Оцените, сколько памяти нужно на одну копию модели и сколько копий будет работать одновременно.
- Определите, нужен ли обмен данными между картами через NVLink.
- Проверьте, что выбранный сервер входит в число систем NVIDIA MGX или NVIDIA-Certified Systems.
- Проведите пилотный запуск на своих данных, прежде чем масштабировать конфигурацию.
Если вам нужна помощь с подбором конфигурации под конкретную задачу, отправьте ее описание менеджеру. Подбор выполняется по документации NVIDIA и производителей серверов.
