Библиотека дата-сайентиста | Data Science, Machine learning, анализ данных, машинное обучение

🗂 Откуда повторы в IterableDataset

Увеличили num_workers, а в обучении появились повторяющиеся записи? У каждого worker в DataLoader своя копия IterableDataset. Если все копии читают один поток с начала, записи дублируются.

Разделите источник между worker. В PyTorch для этого есть get_worker_info(): он сообщает ID текущего worker и их общее число. Эти данные можно использовать в __iter__ или worker_init_fn, чтобы назначить каждой копии отдельную часть потока.

Проверьте ID записей: части не должны пересекаться, а вместе должны покрывать нужные данные. Отдельно проверьте возобновление чтения после сбоя. Для реального источника недостаточно просто поделить конечный диапазон из учебного примера.

drop_last отбрасывает неполный последний батч у каждой копии IterableDataset. Суммарно DataLoader может потерять больше одного батча. Разделение потока само по себе ускорения не гарантирует.

🔗 Документация и два способа разделения

📍 Навигация: Вакансии • Задачи • Собесы

🐸 Библиотека дата-сайентиста

🤖 Два курса по AI по цене одного — только до 15.11!

Наигрались с нейросетями, и хотите применять их в реальных проектах?

Обращаем ваше внимание на ИИ-связку Proglib Academy:

➡️ «ИИ для разработчиков» — соберите собственный рабочий процесс с AI: от планирования и написания кода до тестирования и code review.

➡️ «Разработка ИИ-агентов» — научитесь создавать агентов, которые умеют работать с API, базами знаний и внешними инструментами, выполнять последовательность действий и решать прикладные задачи.

⏬ Вы получите два взаимодополняющих навыка: эффективную AI-разработку и инженерное создание AI-агентов за 59 000 ₽.

📍 Покупаете один курс, второй - в подарок. Не упустите свой шанс прокачаться - только до 15 ноября 😏

🛡️ Монотонность в XGBoost: задаём направление

Параметр monotone_constraints задаёт правило при фиксированных остальных признаках: +1 — предсказание не убывает, −1 — не возрастает, 0 — ограничения нет. Плоские участки допустимы.

На графике из документации XGBoost чёрные линии показывают модель с ограничениями на синтетических данных. Остальной признак зафиксирован на среднем значении. Колебания, нарушающие заданное направление, исчезают.

Ограничение выражает предположение о задаче. Причинную связь или рост точности оно не доказывает. Сравните качество на отложенных данных.

При hist и approx деревья могут стать слишком неглубокими: ограничения исключают кандидатов разбиения. Документация предлагает попробовать увеличить max_bin.

🔗 Параметры и пример

📍 Навигация: Вакансии • Задачи • Собесы

🐸 Библиотека дата-сайентиста