Anton Alekseev | Инфраструктура для AI и ML

Что именно ускоряют в cold start LLM-сервера?

На CNCF вышел обзор подходов к быстрому запуску vLLM, SGLang и llm-d. В статье - кеши весов и компиляции, weight daemon с переиспользованием GPU-памяти через CUDA IPC, sleep/wake и snapshots инициализированного движка. Плюс разбор того, что уже реализовано, а что пока остаётся предложениями в Kubernetes и OCI.

Полезный нюанс: snapshot не обязательно избавляет от загрузки весов. Например, экспериментальный snapshot vLLM сохраняет инициализацию, но веса загружает заново; пока работает на той же машине, с одной NVIDIA GPU и TP=1.

Хорошая карта темы для тех, кто занимается serving и автоскейлингом: что сохраняем между запусками и за какие этапы старта всё ещё платим.

Читать статью

Роадмап MLOps: уровни и свой трек

Всем привет!
Недавно на консультации расписывали с менти интерактивный роадмап для MLOps-инженера. Понял, что он получился достаточно громоздким и не очень понятно в какой последовательности изучать материал)

Теперь там можно не только отметить, что уже знаешь, но и собрать свой трек изучения:

- у каждого навыка появился уровень Junior, Middle или Senior (лычки в углу кружка). Фильтром оставляешь нужный уровень, с Shift - сразу два
- двойной клик по кружку ставит навык в очередь его уровня. На «Все» очереди склеиваются в один трек Junior → Middle → Senior с номерами и стрелками
- «только трек» приглушает остальную карту, чтобы не рябило)
- порядок изучения уезжает в выгрузку JSON и Markdown вместе с проектом, который закроет больше всего пробелов

Ещё добавил два сеньорных навыка - Distributed LLM inference и LLM gateway.

Как это выглядит - в видео.

Соберите свой трек и пишите в комментах, каких навыков или проектов не хватает на карте🔥

NVIDIA выложила Run:ai в open source

Хей всем привет! NVIDIA открыла исходники всей платформы Run:ai. Раньше в open source был только скедулер KAI, теперь доступна вся платформа под Apache 2.0.

Из чего состоит:
- control plane - управление ворклоудами, квотами, политиками и доступами, одна точка входа на несколько кластеров;
- cluster-сервисы - контроллеры и admission-вебхуки в каждом кластере;
- KAI Scheduler - gang scheduling, fair-share, bin-packing, топология и DRA, уже в CNCF Sandbox;
- инсталлер, CLI, web UI и REST API.

Всё, кроме KAI, лежит в монорепе.

Что выложили впервые и стоит глянуть:

📌 GPU Fractioning - дробные GPU на нативных фракциях CUDA 13.4 с жёсткой изоляцией памяти. Раньше фракции в KAI были по сути time slicing, интересно посмотреть что сейчас предлагают.
📌 KAI Resource Management - проекты и департаменты с иерархией квот, node pools под разное железо
📌 Workload Map - одна абстракция над разными CRD: PyTorchJob, RayCluster, JobSet и KServe InferenceService
📌 MCP-сервер - операции Run:ai как инструменты для AI-ассистентов
📌 Нагрузочные тесты платформы и локальный стенд на Kind одной командой - в той же монорепе

Рядом в анонсе - Model Streamer для быстрой загрузки весов (уже встроен в vLLM и SGLang) и Grove из NVIDIA Dynamo для оркестрации многокомпонентного инференса.

По сути, у связки Kueue + HAMi появилась открытая альтернатива «в одной коробке»: квоты, фракции GPU и мультикластер, что не может не радовать. Пойду смотреть глубже что внутри ☺️