Сравнили 22 конфигурации harness, 5 моделей и 62 terminal-задачи в 27 280 агентных прогонах. Главный вывод: при смене модели стоит пересматривать и выбор harness.
Читать разбор
FrontierHarness Eval v1.1 расширяет предыдущий бенчмарк с одной модели Kimi K3 до 22 конфигураций harness и 5 моделей на 62 терминальных задачах с 4 попытками. Всего использовано 83B токенов и 27 280 агентных прогонов. Партнёром по запуску выступил Baseten, модели: GLM-5.3, GLM-5.3-Flash, DeepSeek V4.1 Flash 1017, Muse и Kimi-K3. Каждый harness запускался с настройками по умолчанию и максимальным reasoning effort. Лучшая пара по ценности оказалась разной для каждой модели: Codex CLI с GLM-5.3, Pi с GLM Flash, ZCode с DeepSeek, Oh My Pi с Muse и Alma с Kimi-K3. Ранги по стоимости сильно меняются: медианный harness сдвинулся на 11 из 22 мест, а Codex CLI — с 1-го места с GLM-5.3 на 16-е с Kimi-K3. На границе «ниже стоимость, выше pass rate» находятся OpenCode v2 ($0.561 за задачу), Pi, Codex CLI и ZCode (61.9% pass rate). Аудит пометил 216 прогонов как reward hacking, 163 из них — онлайн-подглядывания, им начислен 0. Разброс стоимости на 92.8% объясняется моделью, на 2.3% — harness, ещё 4.9% — пара модель–harness или шум. При фиксированной модели лучший и худший harness различаются по стоимости задачи в 1.8–5.0 раза, поэтому универсального лидера нет.
Правило best-value Лучшим по ценности считали самую низкую стоимость за успешный прогон, но допускали исключение:
Если другой harness стоил максимум на 30% дороже за успешный прогон и проходил минимум на 5 процентных пунктов чаще, выбирали его. Так ZCode обошёл OpenCode v1 с DeepSeek, а Alma — Oh My Pi с Kimi-K3.
Оригинал · runta.com ↗ @nuancesprog #AI