🎈 Как AI помогает избежать когнитивных искажений в работе
Привет, меня зовут Никита Дубко, я старший руководитель продуктов в Яндекс Контесте. Сегодня я хочу предложить решение с AI, которое поможет вам отловить когнитивные искажения в своей работе.
➰ Начнём с проблематики. Договоримся, что когнитивное искажение — это повторяемый способ ошибаться в похожих условиях. Думаю, вы уже слышали или знаете о различных когнитивных искажениях, но давайте представим конкретные ситуации, в которых они негативно влияют на работу менеджера в IT:
🟣 Яркий сигнал кажется нам частым. Негативный фидбэк от самого важного заказчика или от пользователя, который громче всех кричит «Караул!», заслоняет собой более частотные проблемы
🟣 Авторитет подменяет доказательство. Если уважаемый эксперт или ваш начальник предлагает решение, оно по умолчанию кажется подтверждённым
🟣 Уже вложенные ресурсы требуют новых трат. Типичная ситуация, при которой жалко закрывать проект, над которым все уже долго и упорно работают
🟣 Короткий тест и удобная метрика подменяют эффект. Мы склонны верить даже некорректно проведённым тестам, если они подтверждают наше мнение
AI может помочь бороться с подобными казусами. Но здесь нужно быть аккуратным, потому что «железный» мозг подвержен искажениям не меньше нашего.
LLM склонна следовать за позицией пользователя и одобрять её. Для этого есть специальный термин — sycophancy. Он означает изменение содержательной позиции в сторону мнения пользователя, иногда вопреки фактам или первоначальному правильному ответу.
Есть и несколько других особенностей. Например, модель привносит в анализ статистические ассоциации из данных. Причём это не галлюцинации (о которых мы тоже помним), а следствие выборки, на которой модель обучена. По этой же причине LLM чаще дают ответы исходя из европейских или американских реалий. А нам зачастую нужен анализ именно российского рынка.
К сожалению, знание о существовании когнитивных искажений не гарантирует защиту от них. Но AI может помочь, если правильно с ним работать.
🔸 Моё решение — это два скила для LLM. Вы можете внедрить их в свои процессы как есть или адаптировать под свои нужды. Что они умеют:
🎊 Первый скил objective-prompt-rewriter читает черновой промпт и убирает места, где автор уже подсказал вывод. Он не «прожаривает» гипотезу, но уже требует от модели быть более объективной и не опираться на непроверенные допущения
🎊 Второй скил audit-product-biases помогает валидировать гипотезы, PRD и прочие продуктовые артефакты. По сути, скил — это четыре субагента: Пруфер, Шаблонизатор, Душнила и Летописец. Я назвал их Гуси-доколебуси. У каждого из них своя зона ответственности. Они будут находить в ваших гипотезах когнитивные искажения, логические ошибки, недостаток данных и так далее. А потом передавать вам это в форме, удобной для чтения
После этого PRD, скорее всего, придётся дорабатывать. Но вы примете гораздо более взвешенные решения и сохраните много времени команде.
📺 Смотрите мой доклад с ProductSense’26 на ютубе или в VK Видео. Там я на примере вымышленного рабочего кейса разобрал когнитивные искажения, о которых писал в этом посте, и рассказал подробности про свои скилы для AI-агента.
Подписывайтесь: 💬 @Yandex4Products📹 @YandexforProducts