Ээээксперименты
Решил в этом семестре немного поэкспериментировать, очень попросил отдать мне на растерзание на Вышкинском Экономе всех, кто уже слушал машинное обучение и им не хочется проходить курс классического анализа данных, и устроил им спец-курс по эээээкспериментам.
Вроде даже вышло неплохо. Рассказывал впервые в таком сеттинге, поэтому есть прям кусочки, которые проседают. Например, вывод распределения квантилей.
Но в целом, вышло даже неплохо.
Вот плейлист с контентом и конспект, который в итоге вышел.
1. Что такое АБ-тест: ATE, SUTVA
[youtube]2. ITT, гиперпараметры АБ-теста
[youtube]3. Рисуем для АБ Roc-кривые, проклятье победителя
[youtube]4. Древо метрик, ломаем Z-тест: NPS, конечная генеральная совокупность
[youtube]5. Дельта-метод, асимптотическое распределение квантилей
[youtube]6. Метрики отношения
[youtube]7. АБ-тест в виде линейной регрессии, FWL-теорема
[youtube]8. CUPED и CUPAC
[youtube]9. Стратификация, propnsity score и мэтчинг
[youtube]10. Uplift-моделирование
[youtube]Очень хотел сделать под каждую лекцию практику, но контест и я сейчас не тянем нагрузку. Придется отложить до следующего раза :)
Я целенаправленно не уходил в методы и оставался в асимптотике, так как была только половинка семестра.
По методам есть прям
лекции вот тут. Я поленился привязать ко всем видосам конспекты, надо натравить на это Клода, но все видео должны быть доступны по ссылкам.
В Causal Inference тоже особо не залезал, потому что всё эндогенно и я в него не верю :3