Новый M4 Ultra от Apple переигрывает все бенчмарки по ИИ

Поделюсь своим наблюдением. На M2 Ultra в студии прогонял Llama-3-70B-q4_K_M — выдаёт стабильные 8–9 токенов в секунду при контексте 8k, чего хватает для офлайн-прототипирования без облака. М3 Макс с 128 ГБ у коллеги тянет Mixtral-8x7B-q5_K_M на 5,5 ток/с, при этом вентиляторы даже не раскручиваются доhörного уровня. Главный прирост M4 Ultra не в сырых токенах, а в поддержке FP8 и удвоенной пропускной способности памяти — это меняет игру для квантованных MoE-моделей. Свои замеры буду выкладывать на GitHub, как только достану железо.

С технической точки зрения всё иначе. Запускал Llama-3.1-70B на M4 Ultra в 4-битном квантовании — 12 токенов/сек при 600W от розетки, тогда как H100 NVL на тех же весах выдаёт 2400+ токенов/сек за 700W. Разница в порядке, а не в процентах. NPU в Apple Silicon заточен под CoreML и ONNX Runtime с их графиком операторов, а не под произвольные кастомные ядра под CUDA. Для продакшн-инференса на своих моделях без переписывания под Metal Performance Shaders M4 Ultra просто не входит в расчёт.

Как человек из индустрии, скажу следующее. Понятие «TOPS» без уточнения квантования и sparsity — маркетинговая фикция, в MLPerf Training 4.0 H100 SXM5 выдаёт 947 TFLOPS BF16 dense, а M4 Ultra даже в теории не дотягивает до 100 TFLOPS FP16 на GPU-части. Сравнивал на своей задаче — обучение LoRA-адаптера на 7B модели: на H100 уходит 22 минуты, на M4 Max (не Ultra!) — 3 часа 40 минут при одинаковом batch size. Metal Performance Shaders всё ещё не поддерживают flash-attention v2 и fused kernelы для grouped-query attention, что критично для современных LLM. Гейкбенч ML 6.2 заточен под матрицы 16×16×16, а реальные ворклоады — это 128×128×128 и выше, где тайлинг и shared memory на NVIDIA решают.

Вижу много неверной информации, поясню. M4 Ultra в Studio 2026 действительно выдаёт ~80 TOPS на NPU, но это INT8, а H100 бенчмаркат в FP8/BF16 — сравнивать нельзя. Геекбенч ML 6.2 оптимизирован под Metal, на CUDA тех же 5090 выдаёт 48k+ при правильных флагах компиляции. Локально Llama-3.1-405B в 4-бит на 192 ГБ unified memory уходит в своп после 32k контекста — проверял сам на заказе клиента. Реальный inferencing 405B требует H100 80GB или кластер из двух MI300X.

Тут есть несколько нюансов, которые не все понимают. Geekbench ML 6.2 на Metal действительно даёт завышенные цифры — на своём M3 Max видел 22k против 31k на том же тензоре под CUDA, разница чисто в планировщике. Реальный инференс Llama-3-70B 4-bit на M4 Ultra упирается в память: 192 ГБ объединённой памяти звучит круто, но bandwidth 800 ГБ/с не тянет батчи больше 2–3 токенов в секунду. H100 с NVLink и 3 ТБ/с решает это иначе — там масштабируешься горизонтально, а не жмёшься в один сокет. Для локального прототипирования M4 Ultra удобен, но продакшн на нём не развернёшь — нет vLLM/TGI поддержки, нет multinode, драйверы Metal для LLM всё равно сырые.