В прошлом посте агент разбирал статистику канала и ролики конкурентов. Ролик он тогда понимал по транскрипту.
Ещё агент мог сделать скриншоты кадров. Меня бесило, что видео он понимал только по тексту и скриншотам, а это дольше, чем отдать видео модели.
Я подключил к агенту модель Marlin-2B. Она работает локально, у меня RTX 3060 Ti. Marlin описывает сцены и события в кадре с таймкодами и по описанию находит события, где в видео оно происходит.
Теперь агент получает описание того, что происходит в кадре, и может подсказать, подходят ли кадры, хорош ли визуал, что добавить и что убрать.
Сразу запустить Marlin на Windows не получилось.
1) С PyPI по умолчанию ставится torch без CUDA и модель на нём не запускается. Нужна сборка с pytorch.org под версию драйвера
2) torchcodec это библиотека для чтения видео, на Windows грузит DLL от FFmpeg. У меня стоял статический ffmpeg для v_editor, моего редактора видео, а в нём этих DLL нет
3) shared сборка FFmpeg из master тоже не подошла: библиотеки в ней указаны под версию новее релиза, и torchcodec их не находит. Заработало на версии 7.1
4) Не было torchvision. Marlin сделана на основе Qwen, и этот пакет нужен классу Qwen3VL из transformers, который готовит кадры для модели
5) Не было accelerate, без него модель не работает на видеокарте
FFmpeg теперь стоит в двух сборках: статическая для v_editor и shared для модели. Если shared сборка лежит в
C:\ffmpeg-shared, скрипт сам добавляет папку с DLL в пути поиска, другое место задаётся переменной FFMPEG_SHARED_DIR.Веса модели лежат в закрытом репозитории на Hugging Face, скачать их можно после запроса доступа и входа в аккаунт. Я их скачал, а позже скрипт стал падать с ошибкой 401.
Оказалось, transformers во время работы запрашивает из этого репозитория файл chat_template.json. Без входа в Hugging Face сервер отвечает 401, хотя веса лежат на диске.
Поэтому скрипт сам включает офлайн-режим Hugging Face и transformers переменными
HF_HUB_OFFLINE и TRANSFORMERS_OFFLINE. Если переменная уже выставлена руками, скрипт её не меняет. Так на новой машине первую загрузку весов можно запустить с токеном и выключенным офлайн-режимом.Порядок установки агент записал в инструкцию, а ошибку 401 ещё и в справочник ошибок проекта.
В июле в журнале агента стояла запись "Marlin-2B не установлен", хотя модель была установлена. Как агент помнит задачи между сессиями и откуда взялась эта запись, расскажу в одном из следующих постов.
#ytagent