Scrum Mastery Club

Стратегическую сессию провели. Цели определили, гипотезы записали, задачи распределили. А кто дальше следит, чтобы ежедневная работа действительно приближала к цели?

В технологии Карты гипотез для этого есть владелец карты — человек, который поддерживает целостность стратегии и организует работу по её реализации.

Сейчас я сам вошёл в эту роль в проекте «Литейный интенсив 2027». Раньше помогал команде как фасилитатор. Теперь отвечаю за актуальность карты, связь с операционным планом и сопровождение реализации стратегии.
И это заметно меняет фокус внимания.

Владелец карты постоянно связывает решения, ресурсы и результат. Какие гипотезы сейчас проверяем? Почему именно они? На что тратим время команды? Что изменилось в метриках? Какие данные говорят, что пора пересмотреть подход?

Например, после интервью с представителями отрасли мы возвращаемся к болям участников. Проверяем, действительно ли описали значимую потерю или только её внешний симптом. Уточняем, как человек решает проблему сейчас. И уже затем обсуждаем, что должно измениться в программе конференции или партнёрском предложении.

Помогает регулярный ритм — стратегические каденции. На этих встречах команда сопоставляет выполненную работу с изменением метрик и принимает решения: продолжать, остановить проверку, изменить гипотезу. Закрытая задача сама по себе ещё не означает, что стратегия работает.

Чтобы эта роль имела смысл, нужны полномочия: влиять на приоритеты и использование ресурсов либо иметь понятный способ согласовать такие решения с владельцем бюджета. Одного поручения «обновляй карту» недостаточно.
В нашем проекте хорошо помогает связка Sociotech и ChatGPT. Мы можем разбирать интервью в контексте карты, проверять формулировки, находить логические разрывы и готовить изменения. ИИ ускоряет эту работу; решения о приоритетах и ресурсах остаются за людьми.

Для меня здесь и проявляется ценность сопровождения: стратегия получает продолжение в ежедневной работе и меняется по мере появления новых данных.

Если у вас уже есть стратегия, но задачи живут отдельно, — напишите мне. Можем разобрать вашу карту, проверить связь с операционным планом и настроить регулярную работу со стратегией. Если карты пока нет — начнём с целей и стратегической сессии.

А если хотите освоить технологию самостоятельно или помогать командам, у нас есть путь обучения: Практик 1 → Практик 2 → Фасилитатор. Ближайшие даты и условия участия — в календаре обучения Scrum-Mastery.

Подробнее о самой роли можно прочитать в описании реализации стратегии через Карту гипотез.

Метрики эффективности ИИ. Часть 3. Как измерить эффективность ИИ-агента?

В предыдущих выпусках мы разобрали исследования DORA и выяснили, почему привычные метрики - Lead Time, Throughput и показатели качества - остаются актуальными после внедрения ИИ.

Разберем, как измерять эффективность самого ИИ-агента, который не просто отвечает на вопросы, а самостоятельно выполняет последовательность действий?

📚 1. Google Cloud: результат, процесс и безопасность. В статье A methodical approach to agent evaluation Google предлагает оценивать агента по трем направлениям:

🔹 Успешность и качество результата - достиг ли агент поставленной цели?
🔹 Качество процесса - правильно ли выбирал инструменты, насколько эффективно выполнял последовательность действий?
🔹 Надежность и безопасность - как агент справляется с ошибками, нестандартными ситуациями и попытками манипуляции?

Это принципиальное отличие от оценки обычного программного инструмента: у агента может быть несколько способов решения одной задачи, и не каждый из них одинаково безопасен.
🔗 Источник: Google Cloud

📚 2. Microsoft: измерять не только результат, но и действия агента. В Microsoft Foundry предлагается целый набор показателей:

• Task Completion - успешно ли завершена задача.
• Task Adherence - соблюдал ли агент инструкции и ограничения.
• Tool Call Accuracy - правильно ли использовал инструменты.
• Task Navigation Efficiency - насколько эффективно прошёл путь к результату.
• Groundedness - подтверждаются ли утверждения доступными источниками.

Особенно интересна метрика Task Adherence. Агент может выполнить задачу, но нарушить установленную процедуру или выйти за пределы полномочий. 

🔗 Источник: Microsoft Foundry — Agent Evaluators

📚 3. Anthropic: успешность и стабильность - разные показатели. В исследовательском материале Demystifying evals for AI agents Anthropic обращает внимание на важную особенность ИИ: один и тот же агент может по-разному выполнить одну и ту же задачу при повторных попытках. Поэтому недостаточно проверить, справился ли он один раз. Предлагается различать:

🔹 pass@k - вероятность получить хотя бы одно успешное решение за несколько попыток.
🔹 pass^k - вероятность успешного выполнения во всех нескольких попытках.

Для исследовательского агента возможность получить правильный результат после нескольких попыток может быть приемлемой. А вот для агента, который самостоятельно меняет данные в корпоративной системе, гораздо важнее стабильность и предсказуемость.

🔗 Источник: Anthropic — Demystifying evals for AI agents

Какие метрики стоит взять в работу?

На основе этих подходов я бы выделил шесть показателей для оценки ИИ-агентов в организации:
1. Task Success Rate - доля успешно завершенных задач.
2. First-Pass Success Rate — доля задач, выполненных правильно с первой попытки.
3. Human Intervention Rate - как часто человеку приходится вмешиваться в работу агента.
4. Rework Rate - какая доля результатов требует исправлений.
5. Cost per Successful Task - сколько стоит одна успешно выполненная задача с учётом работы ИИ и человеческих проверок.
6. Policy Compliance Rate - насколько часто агент соблюдает установленные правила и ограничения.

А какие показатели вы бы включили в оценку ИИ-агента в первую очередь?
#ScrumMastery #ИИ #Метрики #AIAgents #Оргдизайн

Метрики эффективности ИИ. Часть 2. Нужны ли нам новые метрики, если работу выполняют ИИ-агенты?

Продолжаем разбираться, как измерять эффективность внедрения ИИ. Сегодня хочу обратить внимание на интересный результат исследований Google DORA.

В 2024 году исследователи обнаружили неожиданный эффект. Рост использования ИИ на 25% был статистически связан со следующими изменениями:

📈 Качество документации:  +7,5%

📈 Качество кода:  +3,4%

📈 Скорость код-ревью:  +3,1%

Но одновременно:

📉 Пропускная способность поставки (Delivery Throughput):  −1,5%

📉 Стабильность поставки (Delivery Stability):  −7,2%

Это результаты статистической модели (источник: Google DORA — Accelerate State of DevOps Report 2024)

Получается, что улучшение отдельных показателей разработки может сопровождаться ухудшением характеристик всей системы поставки. Так какие же метрики действительно позволяют оценить эффективность внедрения ИИ?

Что предлагает DORA?

В актуальной модели DORA выделяет пять метрик эффективности поставки программного обеспечения.

Пропускная способность и скорость поставки:

1. Change Lead Time - время от коммита изменения до его развертывания в production.
2. Deployment Frequency - частота вывода в прод.
3. Failed Deployment Recovery Time - время восстановления после неудачного развертывания.

Нестабильность поставки:
1. Change Fail Rate - доля развертываний, потребовавших немедленного исправления.
2. Deployment Rework Rate - доля незапланированных развертываний для исправления проблем.

Вместе эти показатели позволяют увидеть не только скорость, но и последствия ускорения (источник: DORA — Software Delivery Performance Metrics)

А что изменилось с появлением ИИ?

В исследовании DORA 2025 - State of AI-assisted Software Development ИИ выступает усилителем существующей организационной системы.

Если в компании хорошо выстроены процессы поставки, обратной связи и контроля качества, ИИ помогает использовать эти возможности.

Если же существуют проблемы с координацией, качеством или организацией работы, внедрение ИИ само по себе их не устраняет (источник: DORA — State of AI-assisted Software Development 2025).

Нужно ли теперь отказываться от Lead Time, Cycle Time и Throughput?

В отдельной публикации DORA 2025, посвященной системам измерения, исследователи рекомендуют сохранять существующие метрики как основу для сравнения результатов и дополнять их новыми показателями.

Например, долей принятых предложений ИИ, качеством модели, доверием к результатам и временем проверки.

Получается, что нет необходимости создавать совершенно новую систему KPI только потому, что в организации появились ИИ-агенты. Нужно понимать, на каком уровне мы измеряем эффективность:

🔹 Операция - насколько быстрее выполняется конкретная работа.
🔹 Поток - насколько быстрее и стабильнее организация поставляет результат.
🔹 Бизнес - какую ценность получает клиент и компания.

И если мы измеряем только первый уровень, то рискуем принять локальную оптимизацию за повышение эффективности всей организации.

Привычные метрики потока не устарели. Они остаются необходимыми для оценки результата внедрения ИИ. Но теперь их нужно дополнять метриками качества, надёжности и взаимодействия человека с агентами.

#ScrumMastery #ИИ #Метрики #DORA #Оргдизайн