Время Валеры
tg32 тыс. подписчиков
Открыть пост ↗
Учить студентов воспроизводить результаты научных статей - абсолютно правильная идея. Более того, удивительно, что такие курсы не стали обязательной частью ML-образования много лет назад.
Посмотрел новый подкаст, где руководитель ШАДа Яндекса обсуждает программу: Воспроизведение экспериментов из лучших современных статей. В ней могут поучаствовать студенты из любых ВУЗов. Вместе с менторами они в течение двух недель пытаются повторить результаты опубликованных исследований. И обнаруживают, что далеко не всегда это получается.
Проблема, на самом деле, фундаментальная.
Ещё в 2019 году вышла замечательная статья Are We Really Making Much Progress?, авторы которой исследовали прогресс в рекомендательных системах. Оказалось, что многие опубликованные результаты трудно воспроизвести, а некоторые современные нейросетевые подходы проигрывают гораздо более простым, но правильно настроенным алгоритмам.
Сейчас мы наблюдаем похожую историю с LLM. Новая модель выходит, разрывает существующие бенчмарки, объявляется очередным прорывом. Проходит несколько месяцев, появляются новые бенчи - и расстановка сил существенно (и каждый раз неожиданно!) меняется.
Игорь как раз выступал на Higgsfield Data Day с докладом. Похожие оценки - разные истории, как раз на близкую тему, о бенчмарках и интерпретации результатов.
Я в рамках собственного курса постоянно повторяю одну мысль: если ты умеешь измерять, изменять и откатываться обратно, ты можешь построить монотонно улучшаемую систему.
Результаты измерений должны быть воспроизводимыми. Иначе ты просто не знаешь, действительно ли твоя система стала лучше или тебе повезло с экспериментом.
И это касается далеко не только научных публикаций. Это один из краеугольных камней проектирования любых ML-систем: корректные метрики, честные бейзлайны, воспроизводимые эксперименты и возможность проверить каждое улучшение.
Воспроизводимости нужно учить студентов с самого начала. Причём не как отдельной академической дисциплине, а как фундаментальному инженерному навыку.
Самое интересное, что идея кажется совершенно очевидной. Но это как раз тот случай, когда смотришь на чужое решение и думаешь: почему мы сами не сделали этого десять лет назад?
Посмотрел новый подкаст, где руководитель ШАДа Яндекса обсуждает программу: Воспроизведение экспериментов из лучших современных статей. В ней могут поучаствовать студенты из любых ВУЗов. Вместе с менторами они в течение двух недель пытаются повторить результаты опубликованных исследований. И обнаруживают, что далеко не всегда это получается.
Проблема, на самом деле, фундаментальная.
Ещё в 2019 году вышла замечательная статья Are We Really Making Much Progress?, авторы которой исследовали прогресс в рекомендательных системах. Оказалось, что многие опубликованные результаты трудно воспроизвести, а некоторые современные нейросетевые подходы проигрывают гораздо более простым, но правильно настроенным алгоритмам.
Сейчас мы наблюдаем похожую историю с LLM. Новая модель выходит, разрывает существующие бенчмарки, объявляется очередным прорывом. Проходит несколько месяцев, появляются новые бенчи - и расстановка сил существенно (и каждый раз неожиданно!) меняется.
Игорь как раз выступал на Higgsfield Data Day с докладом. Похожие оценки - разные истории, как раз на близкую тему, о бенчмарках и интерпретации результатов.
Я в рамках собственного курса постоянно повторяю одну мысль: если ты умеешь измерять, изменять и откатываться обратно, ты можешь построить монотонно улучшаемую систему.
Результаты измерений должны быть воспроизводимыми. Иначе ты просто не знаешь, действительно ли твоя система стала лучше или тебе повезло с экспериментом.
И это касается далеко не только научных публикаций. Это один из краеугольных камней проектирования любых ML-систем: корректные метрики, честные бейзлайны, воспроизводимые эксперименты и возможность проверить каждое улучшение.
Воспроизводимости нужно учить студентов с самого начала. Причём не как отдельной академической дисциплине, а как фундаментальному инженерному навыку.
Самое интересное, что идея кажется совершенно очевидной. Но это как раз тот случай, когда смотришь на чужое решение и думаешь: почему мы сами не сделали этого десять лет назад?
1 видео
Новый список