Позвонить Запросить цену
NVIDIA Hopper · PCIe

NVIDIA H200 NVL

Видеокарта для генеративного ИИ и HPC в серверных стойках с воздушным охлаждением.

141 ГБ памяти HBM3e с пропускной способностью 4,8 ТБ/с. До четырех карт объединяются мостами NVLink, подписка NVIDIA AI Enterprise на пять лет — в комплекте.

NVIDIA H200 NVL
Производительность

Быстрее H100 NVL в тех же стойках

Быстрее H100 NVL в тех же стойках
—БылоH200 NVL
Инференс LLM против H100 NVL1×1,7×
HPC против H100 NVL1×1,3×
HPC против поколения Ampere1×2,5×

По данным NVIDIA (ноябрь 2024): сравнение с H100 NVL и с поколением Ampere. Предварительные данные, могут измениться.

Память

Больше памяти — больше модели на одной карте

H200 — первый GPU с памятью HBM3e: 141 ГБ с пропускной способностью 4,8 ТБ/с. Модель целиком помещается в память одной карты, а задачи HPC, которые упираются в скорость памяти, быстрее приходят к результату.

Память работает на частоте 3 201 МГц по шине 6 016 бит. По MIG карту можно разделить на 7 изолированных экземпляров по 16,5 ГБ.

Больше памяти — больше модели на одной карте
—H100 NVLH200 NVL
Объем памяти1×1,5×
Пропускная способность1×1,2×

H200 NVL относительно H100 NVL, H100 NVL = 1: 141 ГБ HBM3e и 4,8 ТБ/с. Данные NVIDIA, ноябрь 2024.

Характеристики

H200 NVL и H200 SXM

ПараметрH200 NVLH200 SXM
Производительность
FP6430 TFLOPS34 TFLOPS
FP64 Tensor Core60 TFLOPS67 TFLOPS
FP3260 TFLOPS67 TFLOPS
TF32 Tensor Core*835 TFLOPS989 TFLOPS
BFLOAT16 Tensor Core*1 671 TFLOPS1 979 TFLOPS
FP16 Tensor Core*1 671 TFLOPS1 979 TFLOPS
FP8 Tensor Core*3 341 TFLOPS3 958 TFLOPS
INT8 Tensor Core*3 341 TOPS3 958 TOPS
Память
Память GPU141 ГБ HBM3e141 ГБ HBM3e
Пропускная способность памяти4,8 ТБ/с4,8 ТБ/с
Конструктив
Артикул производителяTCSH200NVLPCIE-PB—
Форм-факторPCIe, 2 слота, воздушное охлаждениеSXM
Максимальный TDPдо 600 Вт (настраивается)до 700 Вт (настраивается)
Связь GPUМост NVLink на 2 или 4 GPU: 900 ГБ/с на GPU; PCIe Gen5: 128 ГБ/сNVLink: 900 ГБ/с; PCIe Gen5: 128 ГБ/с
Multi-Instance GPUдо 7 MIG по 16,5 ГБдо 7 MIG по 18 ГБ
Декодеры7 NVDEC, 7 JPEG7 NVDEC, 7 JPEG
Конфиденциальные вычисленияПоддерживаютсяПоддерживаются
Платформа
СерверыNVIDIA MGX H200 NVL и NVIDIA-Certified Systems до 8 GPUNVIDIA HGX H200, 4 или 8 GPU
NVIDIA AI EnterpriseВходит, подписка на 5 летПриобретается отдельно

* С разреженностью. Предварительные характеристики NVIDIA, могут измениться. Источник — даташит NVIDIA H200.

Плата

Параметры карты из Product Brief NVIDIA

Данные, которые нужны при подборе сервера: питание, размеры, интерфейс и режимы работы.

  • до 600 ВтМощность платы
  • 1 785 МГцЧастота Boost
  • PCIe Gen5 ×16Интерфейс
  • 1 217 гВес платы
Мощность: режимы
600 Вт максимум (по умолчанию), 350 Вт — предел соответствия, 200 Вт минимум
Охлаждение
Пассивный радиатор, поток воздуха в обе стороны
Форм-фактор
Полная высота, полная длина (FHFL) 10,5″, 2 слота
PCI Express
Gen5 ×16, Gen5 ×8 или Gen4 ×16; реверс линий и полярности
Разъем питания
Один PCIe 16-pin (12VHPWR)
Базовая частота GPU
1 230 МГц
Частота памяти
3 201 МГц
Шина памяти
6 016 бит
Multi-Instance GPU
До 7 изолированных экземпляров
Безопасная загрузка
Аппаратный корень доверия CEC1736
SR-IOV
32 виртуальные функции
Прерывания
Только MSI-X
Удлинитель
NVPN 151-0398-000, карта с удлинителем — 312 мм

Источник — NVIDIA H200 NVL GPU Product Brief, PB-12128-001_v01, апрель 2025.

Где работает

Для обычных стоек с воздушным охлаждением

По оценке NVIDIA, около 70% корпоративных стоек рассчитаны на 20 кВт и меньше и охлаждаются воздухом. PCIe-карты позволяют поставить в узел столько GPU, сколько нужно задаче, — в уже работающие стойки.

Подходит для чат-ботов и визуальных ИИ-агентов, финансовых алгоритмов, медицинских изображений, распознавания в производстве и сейсмических расчетов.

≈70%
корпоративных стоек — до 20 кВт
1–8
GPU в узле
Для обычных стоек с воздушным охлаждением
Топология

Как соединять карты мостами

Рекомендации NVIDIA из Product Brief: карты одного моста должны быть в одном домене CPU.

Рекомендуется
  • Мост между GPU под одним CPU или одним PCIe-коммутатором.
  • Число GPU в системе — степень двойки: 1, 2, 4, 8.
  • Одинаковое четное число GPU под каждым сокетом CPU.
  • Одинаковое соотношение CPU:GPU:NIC в каждой группе.
  • Одинаковая ширина мостов во всех доменах CPU.
Допустимо
  • Мост между GPU под разными PCIe-коммутаторами, но одним CPU.
  • Одинаковое число GPU и сетевых карт под каждым сокетом, но не степень двойки.
  • Одинаковая ширина мостов во всех доменах CPU.
Не рекомендуется
  • Мост между GPU под разными CPU.
  • Нечетное число GPU под CPU.
  • Разное соотношение CPU:GPU:NIC в группах.

Исключение — система с двумя CPU и одной картой под каждым: эти две карты можно соединить.

Мосты и номера

Мост на две карты — 900-23945-xx00-xxx, 900 ГБ/с. Мост на четыре карты — 900-23946-xx00-xxx, 1 800 ГБ/с. Вес: 49 и 128 г.

H200 против H100

Инференс LLM по данным NVIDIA

Производительность H200 относительно H100 на задачах инференса. Замеры NVIDIA на версиях SXM.

Инференс LLM по данным NVIDIA
—H100H200
Llama2 70B1×1,9×
GPT-3 175B1×1,6×
Llama2 13B1×1,4×

Llama2 70B: ISL 2K, OSL 128, 1 GPU, BS 8 и 32. GPT-3 175B: ISL 80, OSL 200, 8 GPU, BS 64 и 128. Llama2 13B: ISL 128, OSL 2K, 1 GPU, BS 64 и 128. Источник — даташит NVIDIA H200, предварительные данные.

Энергия и стоимость владения

Вдвое меньше энергии на ту же работу

На инференсе Llama2 70B H200 тратит вдвое меньше энергии и стоимости владения, чем H100, в том же профиле мощности. В приложениях HPC — до 2× быстрее A100.

Вдвое меньше энергии на ту же работу
—A100H100H200
Стоимость владения100%50%
Энергопотребление100%50%
Производительность HPC100%170%200%

Стоимость владения и энергопотребление: Llama2 70B, ISL 2K, OSL 128, H100 = 100%. HPC: среднее геометрическое по CP2K, GROMACS, ICON, MILC, Chroma, Quantum Espresso, A100 = 100%. Источник — даташит NVIDIA H200, версии SXM, предварительные данные.

Установка

Перед первым включением

Порядок по Product Brief NVIDIA H200 NVL.

  1. Слот

    PCIe Gen5 ×16, Gen5 ×8 или Gen4 ×16. Карта двухслотовая, полной высоты и длины.

  2. Питание

    Кабель PCIe 16-pin от блока питания, который по сигнальным контактам сообщает уровень 451–600 Вт. С кабелем меньшего уровня карта не загрузится, даже если мощность ограничена ниже.

  3. Место под мост

    Не меньше 2,5 мм над верхней кромкой карты и 2,67 мм за обратной стороной платы.

  4. Мост NVLink

    Соединяйте соседние карты под одним CPU. На карте без моста оставьте защитную крышку разъема.

  5. Охлаждение

    Радиатор пассивный: нужен поток воздуха сервера. Направление — в любую сторону вдоль карты.

  6. Драйвер и проверка

    Драйвер R565 TRD1 или новее, CUDA 12.7 или новее. Мощность настраивается командой nvidia-smi -pl, по умолчанию — 600 Вт.

ПО и совместимость

Драйверы, CUDA и виртуализация

Драйверы

Linux
R565 TRD1 или новее
Windows
R565 TRD1 или новее; WHQL для Windows 10, 11, Server 2019, 2022

Вычисления

NVIDIA CUDA
12.7 или новее (x86)
NVIDIA AI Enterprise
Подписка на 5 лет в комплекте, NIM; поддерживается с VMware
ECC
Включена

Виртуализация

vGPU
18.1 или новее, NVIDIA Virtual Compute Server
SR-IOV
32 виртуальные функции
Multi-Instance GPU
До 7 экземпляров

Серверы

NVIDIA-Certified Systems
2.8 или новее
Прошивка CEC
2.0185 или новее; NVFlash 5.842 или новее
Эксплуатация

Условия работы и надежность

Температура

При работе
От 10 до 45 °C
При хранении
От −40 до 75 °C

Влажность

При работе
5–85% относительной влажности
Кратковременно
5–93%: не дольше 96 часов подряд и 15 дней в год
При хранении
5–95%

Надежность

Наработка на отказ, обычные условия
294 332 часа при 35 °C
Наработка на отказ, контролируемые условия
316 369 часов при 35 °C

Значения действуют на высоте до 6 000 футов (около 1 830 м). Источник — NVIDIA H200 NVL GPU Product Brief.

Как купить

От заявки до поставки

  1. Заявка

    Опишите задачу и нужное число карт.

  2. Подбор конфигурации

    Проверим совместимость с сервером, питанием и охлаждением.

  3. Счет и договор

    Фиксируем состав, сроки и условия поставки.

  4. Поставка

    Передаем оборудование с документами.

Совместимость

Серверы с H200 NVL выпускают

Платформы NVIDIA MGX H200 NVL и NVIDIA-Certified Systems до 8 GPU. Также QCT, Aivres, Ingrasys, Inventec, Pegatron, Wistron.

Соответствие

Сертификаты и стандарты

Перечень из Product Brief NVIDIA H200 NVL.

  • Windows 10, 11, Server 2019, Server 2022

  • Ограничение опасных веществ

  • Регистрация и оценка химических веществ

  • Без галогенов

  • Утилизация электронного оборудования

  • Эргономика

  • Европа, США, Канада

  • США, Австралия и Новая Зеландия, Корея, Япония, Тайвань

Условия

Гарантия, оплата и доставка

Гарантия

Срок и порядок гарантийного обслуживания указываются в договоре поставки. Для обращения нужны счет, товарная накладная и серийный номер карты.

Оплата

Безналичная оплата по счету для юридических лиц.

Доставка

Доставка по России, сроки — в договоре. При получении проверьте упаковку, серийный номер и комплектность: мосты NVLink и удлинитель заказываются отдельно.

Документы

Счет-фактура, товарная накладная, гарантийный талон.

Вопросы

Частые вопросы о H200 NVL

Чем H200 NVL отличается от H200 SXM?

H200 NVL — карта PCIe на два слота с воздушным охлаждением и TDP до 600 Вт; карты соединяются мостами NVLink на 2 или 4 GPU. H200 SXM ставится в платформы HGX и потребляет до 700 Вт. Память у обеих — 141 ГБ HBM3e с пропускной способностью 4,8 ТБ/с.

Сколько памяти у H200 NVL?

141 ГБ HBM3e с пропускной способностью 4,8 ТБ/с — в 1,5 раза больше памяти, чем у H100 NVL.

Сколько карт можно объединить?

Мосты NVLink объединяют 2 или 4 GPU, 900 ГБ/с на GPU. Серверы NVIDIA MGX и NVIDIA-Certified Systems вмещают до 8 карт.

Какой блок питания нужен?

Кабель PCIe 16-pin, который сообщает карте уровень 451–600 Вт. Карта потребляет до 600 Вт; ограничение снижается командой nvidia-smi до 200 Вт, но с кабелем меньшего уровня карта не загрузится.

Нужно ли водяное охлаждение?

Нет. У карты пассивный радиатор, ее охлаждает поток воздуха сервера в любом направлении вдоль карты.

Что входит в NVIDIA AI Enterprise?

С H200 NVL идет подписка на NVIDIA AI Enterprise на пять лет. В нее входят микросервисы NVIDIA NIM для развертывания моделей.

Документы

Файлы для скачивания

  • Даташит NVIDIA H200

    Характеристики H200 SXM и H200 NVL, производительность, NVIDIA AI Enterprise. 4 страницы, англ.

    PDF · 628 КБ
  • Product Brief NVIDIA H200 NVL

    Подробное описание H200 NVL от NVIDIA: характеристики, NVLink, питание и охлаждение, установка в сервер. Англ., открывается на сайте NVIDIA.

    PDF · 20 стр. · сайт NVIDIA
  • Линейка GPU NVIDIA для дата-центров

    Сравнение ускорителей NVIDIA для серверов. Англ.

    PDF · 205 КБ
  • Характеристики H200 NVL и SXM

    Сравнение H200 NVL и H200 SXM: память, пропускная способность, TDP, форм-фактор. 1 страница, рус.

    PDF · 57 КБ

Нужна H200 NVL под ваш проект?

Подберем сервер, мосты NVLink и питание, рассчитаем поставку.

Запрос коммерческого предложения
Отправьте запрос — подготовим предложение за 15 минут с учетом персональных скидок
Вы можете добавить файлы с реквизитами компании, спецификацией или ТЗ
Поставщик NVIDIA H200 в России

Гибкая ценовая политика

Специальные предложения

Доставка в регионы

Быстрая логистика по РФ

Поддержка и сервис

Полное гарантийное покрытие

Технические специалисты

Профессиональная поддержка