AuthorsFplus 11 дек 2024 в 15:38

Чем серверные GPU-ускорители отличаются от потребительских видеокарт

Средний

16 мин

5.3K

Блог компании Fplus TechВидеокартыIT-инфраструктура*Искусственный интеллектКомпьютерное железо

Обзор

Комментарии 23

kenoma 11 дек 2024 в 16:26

Откуда информация, что ценники у Модуля не космические?

Можно позвонить по номеру +7 (499) 152-96-98 или написать на rusales@module.ru

AuthorsFplus 11 дек 2024 в 16:32

А если есть ещё какие-то вопросы, то смело пишите в комментарии или в личные сообщения 🙂

Anastasia1e21gqmQMHixc 11 дек 2024 в 16:31

Интересная статья, есть над чем подумать

AuthorsFplus 11 дек 2024 в 16:32

Рады, что вам понравилась наша статья 🙂 Скоро выйдет продолжение, не пропустите 😉

IZh 11 дек 2024 в 17:57

Ещё один фактор — шум. Охладить такую мощь воздухом едва ли получится тихо. А в серверах о тишине никто не задумывается.

MikhailShpak 17 дек 2024 в 13:54

Есть разные кейсы, кто-то в ЦОДах с фрикулингом строит ии-кластера)

А вообще есть тенденция к "теплым" ЦОДам, тк количество шпинделей уменьшается, а остальные элементы уже более толерантны к повышению температуры в ЦОД

Zikfrid3000 11 дек 2024 в 20:13

Интересно: сколько фпсов можно выжать на ускорителе б200 в 4к и 8к в игре укон: блэк миф?

Ktator 12 дек 2024 в 00:34

Нисколько. Там даже видеовыхода нет.

Zikfrid3000 17 дек 2024 в 14:30

И что что нет? Выход может идти в файл, либо в null. Производительность-то все равно будет выводится в отладчике в фпсах, или в гигапикселях в секунду те-же попугаеметры типа 3дмарк могут мерять и без картинки.

MikhailShpak 17 дек 2024 в 14:03

По модели Cloud Gaming - есть отдельная линейка. B200 - это прямой путь к AI Journey для B2B2G. Учитывая бум закупок суперкластеров на спец картах, то пользователям будут оставаться "домашние" видеокарты, а не как во времена майнинга.

TitovVN1974 11 дек 2024 в 20:30

Про баланс производительности fp32/fp64 тоже не забываем. Для HPC это важно.

MikhailShpak 17 дек 2024 в 13:51

вы прямо мне напомнили проектную историю, для AI/HPC - у Huawei не было на Ascend310/910 - fp64. И приходилось использовать - определенные допущения. FP64 на 4 сокетном Kunpeng, а fp16 для ии переносить в NPU слой

Dynasaur 11 дек 2024 в 23:04

Интересно, а как эти карты работают без куды? Нвидия без куды не заводится, а остальные что-то своё взамен требуют ставить?

AuthorsFplus 12 дек 2024 в 11:38

Вы правы, не CUDA, а видеовыход. Поправили в статье!

Ktator 12 дек 2024 в 00:47

Такое ощущение, что текст нейросеть написала. Местами такая забористая чушь написана.

Вот, например:

Ее единственным минусом можно с натяжкой назвать невозможность подключения к мониторам ввиду отсутствия CUDA.

При чём тут CUDA и мониторы??

Хорошим примером являются приложения САПР: большинство из них используют OpenGL (API, для которого профессиональные видеокарты в высокой степени оптимизированы)

Такое комментировать только портить.

AuthorsFplus 12 дек 2024 в 11:38

Спасибо, что заметили!

Вы правы, не CUDA, а видеовыход. Поправили в статье!

SlavikF 12 дек 2024 в 02:23

Автор не в теме, но пишет много букф...

только RTX 4090 имеет больше — 24 Гб

RTX 3090 тоже имеет 24 ГБ (большая буква "Б" означает "байт", маленькая "б" - "бит")

Чем серверные GPU-ускорители отличаются от потребительских видеокарт

В статье с таким названием умудрились так и не написать про одно из основных отличий: серверные карты от NVIDIA поддерживают технологию VGPU, а потребительские - нет. VGPU позволяет использовать одну карточку нескольким виртуальным машинам или программам одновременно. Несколько программ могут работать и на потребительских моделях (но не виртуалок), но в серверных моделях для каждой программы можно назначить "профиль", в котором прописать кому сколько ресурсов достанется.

AuthorsFplus 12 дек 2024 в 11:37

Тут стоит уточнить, RTX 3090 – это прошлое поколение, в то время как в статье уточняется, что речь идет о текущем поколении видеокарт

MikhailShpak 13 дек 2024 в 09:35

Если официально, vGPU - нет на домашней серии RTX)

Если уйти в серую зону, те не официально - то умельцы уже научились нарезать домашние карты на vGPU. О чем достаточно хорошо написано в определенных статьях.

Плюс в проф картах в технологии vGPU есть ощутимый нюанс. Проблема лицензирования в нашем регионе сейчас находится в сильно серой зоне(

SlavikF 13 дек 2024 в 17:32

научились нарезать домашние карты

Когда я смотрел детали, то там умельцы это делали для серий 1xxx и 20xx, а вот для 30xx и 40xx вроде бы никто так и не сумел запустить vGPU. Или уже сумели?

Я использовал вот этот guide: https://gitlab.com/polloloco/vgpu-proxmox