Наконец доделал свой бенчмарк и протестировал некоторые российские сервисы по обозначенным на графике категориям. Чтобы вы понимали, на какие жертвы я пошел: у меня со вчерашнего дня лежит доступ к ГТА 6, а я ее так ни разу и не запустил (через неделю, кстати, будет пост-отзыв и по игре).
Зачем вообще нужен бенчмарк?
Чтобы быстро сравнивать модели. Появилась новая – ты сделал прогон, оценил ответы и сравнил ее с остальными. Для этого нужны контрольные задания, максимально объективные критерии и слепой метод, когда оценщики не знают, чей ответ проверяют. Всю внутрянку и методологию с критериями оценки я распишу позже отдельным постом. Главное, что бенч готов и добавлять новые сервисы и модели теперь не составит никакого труда.
Теперь о том, почему российские сервисы идут отдельно. Не буду лукавить, в общем зачете у них пока мало шансов, какой бы эффективный RAG ни стоял под капотом.
У фронтирных моделей колоссальные вычислительные мощности, харнессы, над которыми работают лучшие инженеры, и инструменты, которые шлифовались годами. Но в узких нишах, например в поиске судебной практики, российские сервисы могут справляться на уровне топовых LLM.
Отдельно хочу поблагодарить участников, которые дали доступы к своим сервисам для оценки и приняли на себя риски открытого тестирования. Я пробовал почти все инструменты на своих рабочих задачах и раньше, поэтому могу сказать уверенно: за год почти у всех виден заметный прогресс.
Кстати, коллеги из Рунетлекс тоже доделали свой бенчмарк и завтра выкатят результаты. Будем смотреть.