gpu_memory_utilization теперь 1,0. Вернуть прежнюю разметку, по заметкам к релизу, можно флагом --gpu-memory-utilization 0.9, а сам кэш отключает --no-enable-extensible-kv-cache.У MiniMax-M3 на H200 кэш вырос с 433 до 672 тыс. токенов, что поднимает пропускную способность при высокой нагрузке. Но задержка на токен у части моделей выросла на 6–18%.
Размер блока по умолчанию вырос с 16 до 64, Model Runner V1 удалён, и
VLLM_USE_V2_MODEL_RUNNER=0 теперь роняет запуск. Нужен huggingface_hub 2.0 и новее. Что ещё может сломаться при обновлении, коллеги расписали.@neuro_channel