AI[ex]Time
tg2.9 тыс. подписчиков
Открыть пост ↗
Мы решили поменять домен, в котором изучаем подготовку RL сред, обучение/инференсов агентов, но все еще доделываем запланированные с SWE релизы. Сегодня выложили LongTail-SWE (это пока не последний релиз) – бенчмарк для 13 языков, которых обделили эвалами, но теперь они все включены в этот: Clojure, Dart, Elixir, Erlang, F#, Haskell, Julia, Kotlin, Lua, OCaml, R, Scala, Swift. Есть датасет (harbor формат тоже), репорт, траектории, код – в общем должно быть легко использовать. Но я хотел сказать про другое
Во-первых, задачи становится делать все сложнее и сложнее: модели настолько умные, что приходится постоянно поднимать сложность задач. Поднимая сложность задач, возрастает вероятность, что вы где-то сломаете верификацию, не проконтролируете читинг, сделаете задачу нерешаемой в принципе (а будете думать, что сделали хороший сложный энв). Наталкиваясь на это, приходится придумывать методы/инструменты мониторинга траекторий и контроля качества, и так по кругу. LongTailSWE – попытка сделать сложные, но все еще качественные энвы. Для этого мы проверяем problem_statemet и fail2pass tests сериями judges (их пришлось отдельно покалибровать), которые выносят вердикты, а отдельные модели на основе этой информации правят тесты и вносят информацию про задачу
Во-вторых, как говорится, coding seems to be solved. Если у задачи адекватный скоуп, gpt6 astra xhigh с включенным сжатием контекста решает большинство задач, и уж тем более swe-bench-like. Есть условно ProgramBench, но и там за последние 2 месяца произошел скачок от 10% almost solved до 70% от opus 5.5 xhigh
В связи с этим мы доделываем то, что запланировано с SWE и планируем перейти на более сложный домен, где все еще есть строгая верификация, но а) намного выше базовая сложность, b) намного больше пространство решений c) небинарный сигнал от среды (в SWE зачастую это pass/fail от тестов), попробуете угадать?
Ну и безусловно всем бенчам (начиная с года так 25-ого) полезно быть live, иначе они будут валидны на протяжении 2 месяцев
Во-первых, задачи становится делать все сложнее и сложнее: модели настолько умные, что приходится постоянно поднимать сложность задач. Поднимая сложность задач, возрастает вероятность, что вы где-то сломаете верификацию, не проконтролируете читинг, сделаете задачу нерешаемой в принципе (а будете думать, что сделали хороший сложный энв). Наталкиваясь на это, приходится придумывать методы/инструменты мониторинга траекторий и контроля качества, и так по кругу. LongTailSWE – попытка сделать сложные, но все еще качественные энвы. Для этого мы проверяем problem_statemet и fail2pass tests сериями judges (их пришлось отдельно покалибровать), которые выносят вердикты, а отдельные модели на основе этой информации правят тесты и вносят информацию про задачу
Во-вторых, как говорится, coding seems to be solved. Если у задачи адекватный скоуп, gpt6 astra xhigh с включенным сжатием контекста решает большинство задач, и уж тем более swe-bench-like. Есть условно ProgramBench, но и там за последние 2 месяца произошел скачок от 10% almost solved до 70% от opus 5.5 xhigh
В связи с этим мы доделываем то, что запланировано с SWE и планируем перейти на более сложный домен, где все еще есть строгая верификация, но а) намного выше базовая сложность, b) намного больше пространство решений c) небинарный сигнал от среды (в SWE зачастую это pass/fail от тестов), попробуете угадать?
Ну и безусловно всем бенчам (начиная с года так 25-ого) полезно быть live, иначе они будут валидны на протяжении 2 месяцев
1 картинка
Новый список