DevFM
tg3.2 тыс. подписчиков
Открыть пост ↗
Так харнесс решает или нет?
Посмотрел классный доклад инженера, который работал над харнессом Cursor, о том, куда всё это движется.
Совсем недавно мы слышали: харнесс – половина успеха. Модель можешь использовать самую лучшую, но вот без хорошего харнесса никуда. И вот прошло немного времени, и мы можем наблюдать, что фронтирные модели уже отлично справляются даже с минимальной обвязкой. То, чему раньше учили модель инструкциями и костылями, она теперь умеет сама.
Отсюда и частый совет: после обновления моделей попробовать задачи без накопленных скиллов и AGENTS.md, чтобы посмотреть, что из этого добра уже можно выкинуть.
В докладе приводятся исследования на эту тему. В Berkeley запускали семь моделей в Codex, Claude Code и Pi: на SWE-bench Lite выбор харнесса мало влиял на результат, особенно у более сильных моделей. В работе Apple и EPFL похожий вывод получили на задачах ML-инженерии. Что тут ещё интересно: стоимость токенов различалась. В исследовании Berkeley на SWE-bench Lite одна и та же Claude Fable 5 в Claude Code обходилась в среднем в $1,33 за попытку, а в Pi – в $0,67, при почти одинаковой доле решённых задач.
Так получается, всё? Автор прямо задаёт вопрос: «Is the harness dead?» И выделяет две причины, почему харнесс всё ещё важен.
Новые задачи, которые модели пока не освоили.
Харнесс нужен, чтобы открывать для моделей новые горизонты. Раньше они плохо справлялись с кодом, и харнесс помогал решать эти проблемы. Теперь модели лучше пишут код, наши аппетиты растут, и мы хотим поручать им более сложные задачи: работать в браузере, координировать других агентов. Здесь снова есть проблемы, которые должен решать харнесс. По мере развития моделей часть этой обвязки тоже можно будет выкинуть.
Инфраструктура, безопасность и эффективность.
Нам всё ещё не хочется давать агенту ключи от прода, где он может всё удалить. Хочется, чтобы он мог работать несколько дней, не терять сделанное и обходиться подешевле. И вот тут харнесс может помочь: ограничить доступы, сохранить состояние и снизить стоимость решения задач.
И закончу важным - не забывайте чикать то, что вы нагородили некоторое время назад. Возможно, новая модель уже всё умеет.
#ai #agents
Посмотрел классный доклад инженера, который работал над харнессом Cursor, о том, куда всё это движется.
Совсем недавно мы слышали: харнесс – половина успеха. Модель можешь использовать самую лучшую, но вот без хорошего харнесса никуда. И вот прошло немного времени, и мы можем наблюдать, что фронтирные модели уже отлично справляются даже с минимальной обвязкой. То, чему раньше учили модель инструкциями и костылями, она теперь умеет сама.
Отсюда и частый совет: после обновления моделей попробовать задачи без накопленных скиллов и AGENTS.md, чтобы посмотреть, что из этого добра уже можно выкинуть.
В докладе приводятся исследования на эту тему. В Berkeley запускали семь моделей в Codex, Claude Code и Pi: на SWE-bench Lite выбор харнесса мало влиял на результат, особенно у более сильных моделей. В работе Apple и EPFL похожий вывод получили на задачах ML-инженерии. Что тут ещё интересно: стоимость токенов различалась. В исследовании Berkeley на SWE-bench Lite одна и та же Claude Fable 5 в Claude Code обходилась в среднем в $1,33 за попытку, а в Pi – в $0,67, при почти одинаковой доле решённых задач.
Так получается, всё? Автор прямо задаёт вопрос: «Is the harness dead?» И выделяет две причины, почему харнесс всё ещё важен.
Новые задачи, которые модели пока не освоили.
Харнесс нужен, чтобы открывать для моделей новые горизонты. Раньше они плохо справлялись с кодом, и харнесс помогал решать эти проблемы. Теперь модели лучше пишут код, наши аппетиты растут, и мы хотим поручать им более сложные задачи: работать в браузере, координировать других агентов. Здесь снова есть проблемы, которые должен решать харнесс. По мере развития моделей часть этой обвязки тоже можно будет выкинуть.
Инфраструктура, безопасность и эффективность.
Нам всё ещё не хочется давать агенту ключи от прода, где он может всё удалить. Хочется, чтобы он мог работать несколько дней, не терять сделанное и обходиться подешевле. И вот тут харнесс может помочь: ограничить доступы, сохранить состояние и снизить стоимость решения задач.
И закончу важным - не забывайте чикать то, что вы нагородили некоторое время назад. Возможно, новая модель уже всё умеет.
#ai #agents
Новый список