Николай Хлебинский | фишки и лайфхаки по найму и управлению
tg23 тыс. подписчиков
Открыть пост ↗
Вчера Anthropic выпустила модель Claude Fable 5.2 (я уже потестировал, огонь 🔥️️️️️️), как водится, много разных бенчмарков с красивыми цифрами показали при релизе. Для меня один из самых показательных тест, про который почему-то официально не рассказывают.
В нем исследователи дают нейронкам настоящие заказы с биржи фриланса, а результат сравнивают с работой человека, который этот заказ уже выполнил. Всего в замере 240 заказов (например, рекламный ролик, 3D-модель, планировка квартиры, выгрузка данных из PDF в таблицу), и у каждого есть ТЗ, исходные файлы и готовая работа человека, которая ранее была успешно принята заказчиком.
Нейронка получает то же ТЗ и те же файлы, что и люди, дополнительные вопросы заказчику задать не может. Оценку ставят люди, и заказ считается сданным, если они решили, что результат не хуже работы живого фрилансера и заказчик бы его принял.
Fable 5.2 успешно сдала 41% заказов, а у прежнего лидера (месяц назад) был 21%. Заказы для всех моделей одни и те же, а значит, часть тех, что тогда не сдал прежний лидер, сегодня уже сдана (какие именно, авторы замера не раскрыли).
Если нейронка не справилась с вашей рабочей задачей, вывод "ИИ это не умеет" очень быстро перестает что-то значить. Поэтому перед тем как отдать подрядчику ТЗ, сначала попробуйте новой моделью – дайте ей это же ТЗ и те же файлы. Если модель не сдала, заказ уходит подрядчику, а ТЗ вместе с готовой работой остается у вас как проверка для следующей сильной модели, ведь сам замер собран так же.
Скольких ваших ТЗ для фрилансеров проверяется ИИшкой перед передачей заказа?
Таблица замера Remote Labor Index: https://labs.scale.com/leaderboard/rli
Статья авторов замера о том, как собирали и оценивают заказы: https://arxiv.org/abs/2510.26787
Николай Хлебинский | Я в MAХ
В нем исследователи дают нейронкам настоящие заказы с биржи фриланса, а результат сравнивают с работой человека, который этот заказ уже выполнил. Всего в замере 240 заказов (например, рекламный ролик, 3D-модель, планировка квартиры, выгрузка данных из PDF в таблицу), и у каждого есть ТЗ, исходные файлы и готовая работа человека, которая ранее была успешно принята заказчиком.
Нейронка получает то же ТЗ и те же файлы, что и люди, дополнительные вопросы заказчику задать не может. Оценку ставят люди, и заказ считается сданным, если они решили, что результат не хуже работы живого фрилансера и заказчик бы его принял.
Fable 5.2 успешно сдала 41% заказов, а у прежнего лидера (месяц назад) был 21%. Заказы для всех моделей одни и те же, а значит, часть тех, что тогда не сдал прежний лидер, сегодня уже сдана (какие именно, авторы замера не раскрыли).
Если нейронка не справилась с вашей рабочей задачей, вывод "ИИ это не умеет" очень быстро перестает что-то значить. Поэтому перед тем как отдать подрядчику ТЗ, сначала попробуйте новой моделью – дайте ей это же ТЗ и те же файлы. Если модель не сдала, заказ уходит подрядчику, а ТЗ вместе с готовой работой остается у вас как проверка для следующей сильной модели, ведь сам замер собран так же.
Скольких ваших ТЗ для фрилансеров проверяется ИИшкой перед передачей заказа?
Таблица замера Remote Labor Index: https://labs.scale.com/leaderboard/rli
Статья авторов замера о том, как собирали и оценивают заказы: https://arxiv.org/abs/2510.26787
Николай Хлебинский | Я в MAХ
1 картинка
Новый список