Телеграм

Data Fusion

@Data_fusion IT и нейросети
РКН: проверяем Не иноагент
Официальный канал проекта Data Fusion и comDS — Data Science-сообщества ВТБ 💙

Статистика обновлена 20.11.2026 в 07:49 · 6 просмотров страницы · Хотите больше просмотров?

Подписчики5 311 -5 за 3 дня
Охват поста841 16% от подписчиков
ERR за месяц15,84%
ERR за 24 часа9,89%

Динамика за 30 дней

Рекламные публикации

Рекламных публикаций не найденоЗа последнее время мы не нашли на площадке ни одного рекламного поста.

Последние публикации

Все посты канала →
Data Fusion tg5.3 тыс. подписчиков
Открыть пост ↗
Как данные о местоположении превращаются в основу для ML-моделей?

Алексей Пустынников, лидер GeoML команды в ВТБ, собрал 6 полезных ресурсов, которые помогут разобраться в геоаналитике, освоить инструменты для работы с геоданными и узнать больше о пространственном ML.

🔹Выкачать и подготовить данные

Pyrosm и OSMnx — работа с OpenStreetMap без боли
Проверенная связка для работы с OSM. Pyrosm быстро парсит сырые дампы .osm.pbf напрямую в GeoPandas, что спасает, когда нужно вытащить все здания или POI целого региона для генерации фичей (к слову, после почти трехлетней паузы проект в 2026 году снова начал активно обновляться). OSMnx остаётся золотым стандартом для построения графов дорожной сети, расчёта изохрон и центральности.

Overture Maps Foundation — карта мира корпоративного уровня
Глобальная инициатива Meta*, Microsoft, AWS и TomTom по созданию открытой альтернативы OSM. Проект вышел в General Availability в июне 2025 года и выпускает регулярные релизы (март, сентябрь 2026). Внутри — система стабильных идентификаторов объектов GERS, удобная таксономия POI и облачные форматы хранения. Отличный пример того, как корпорации делают инфраструктурные геоданные.

🔹Освоить стек и ускорить вычисления

Automating GIS Processes (AutoGIS) — курс от Университета Хельсинки
Открытый практический курс по геоаналитике на Python, который регулярно обновляется (актуальная версия 2026 года). Покрывает работу с GeoPandas, Rasterio, пространственными индексами и автоматизацию ETL-пайплайнов. Идеально подходит для онбординга новых аналитиков в команду, которым нужно быстро освоить современный geospatial Python-стек.

DuckDB Spatial Extension — геопространственный SQL без сложной инфраструктуры
Не зря в 2025 году вышла статья «DuckDB is Probably the Most Important Geospatial Software in a Decade». Расширение позволяет делать сложные пространственные соединения (spatial joins) и читать GeoParquet прямо в SQL — без поднятия PostGIS или развёртывания Spark-кластера. Идеальный инструмент для быстрого EDA, прототипирования и локальной аналитики на одной машине.

🔹Разобраться в SOTA и фундаментальных моделях

AlphaEarth Foundations — непрерывные эмбеддинги всей планеты
Фундаментальная модель от Google DeepMind (июль 2025), которая превращает мультимодальные спутниковые снимки и временные ряды в единое глобальное векторное поле. Модель генерирует компактные численные представления для любой точки на карте, решая проблему картирования при сильной нехватке размеченных данных.

«No One Knows the State of the Art in Geospatial Foundation Models» — обзор ландшафта 2026 года
Статья о том, как стремительно эволюционирует область: от ранних SatMAE и SSL4EO до современных мультимодальных моделей вроде OlmoEarth и TerraMind. Авторы показывают, что в индустрии всё ещё нет единых бенчмарков и метрик для честного сравнения моделей, что делает направление одновременно сложным и интересным для R&D. Обязательное чтение, если хотите понимать актуальный SOTA в geo foundation models.

*Meta признана экстремистской организацией и запрещена в РФ.
👁 525 🔥 9❤ 6 ↻ 6 13 ноября
Data Fusion tg5.3 тыс. подписчиков
Открыть пост ↗
Что если поручить агенту не отдельный запрос, а весь цикл исследования: от формулировки гипотезы до проверки результата и поиска следующего улучшения?

Вместе с Максимом Лунициным, Data Scientist-ом ВТБ, разбираемся с Autoresearch:

«автономным исследованием, в котором LLM-агент самостоятельно в цикле работает с исходным кодом для оптимизации определённого функционала.»

Первая реализация Autoresearch была предложена Андреем Карпаты в марте 2026 года. Изначально проект был создан для экспериментов с обучением nanochat на одной GPU и впоследствии стал отправной точкой для других похожих проектов.

———

Как это работает?

Простота и гибкость подхода позволяют с помощью агентов решать широкий класс задач, где:

• есть объективная метрика, которую можно измерить и оптимизировать (например, точность модели, время выполнения или расход памяти);

• изменения можно сохранить или откатить;

• один эксперимент занимает относительно мало времени — минуты, а не дни;

• пространство поиска ограничено конкретным проектом или репозиторием.

———

Из чего состоит Autoresearch?

Классическая схема такая:

• program.md — главный файл, написанный человеком. Обычно содержит цель и ограничения эксперимента, а также инструкции и правила для агента.

• train.py — файл, изменяемый агентом. Содержит код, который выполняет поставленную задачу. В отличие от hyperparameter tuning или neural architecture search, меняться может что угодно в исходном коде, а не только гиперпараметры и архитектура.

• prepare.py — файл, который агенту запрещено менять. Содержит вспомогательные функции вроде чтения/загрузки данных, а также алгоритм валидации эксперимента.

Агент самостоятельно формулирует и тестирует гипотезы, анализирует результаты и планирует дальнейшие шаги.

Дальше начинается автономный цикл:

модификация кода → верификация результата → сохранение/откат назад → повтор.

Git хранит только успешные изменения: при улучшении метрики ветка продвигается вперёд, неудачные изменения откатываются. Журнал всех попыток агент ведёт в results.tsv

Цикл продолжается, пока его не прервёт человек. Для этого в program.md существует отдельная инструкция NEVER STOP.

———

pi-autoresearch

Autoresearch Карпаты во многом похож на агентский скилл, а саму идею можно легко расширить и на другие задачи помимо обучения LLM. Поэтому инженеры из Shopify выложили в открытый доступ расширение pi-autoresearch, которое способно работать с любой оптимизационной задачей:

«The extension is domain-agnostic infrastructure. The skill encodes domain knowledge. This separation means one extension serves unlimited domains»

В pi-autoresearch за это отвечают:

• .auto/prompt.md — инструкции для агента;

• .auto/measure.sh — скрипт измерения результата;

• .auto/log.jsonl — журнал экспериментов.

Дополнительно используется Confidence score на основе MAD (Median Absolute Deviation): он помогает оценить, насколько найденное улучшение превышает обычный шум измерений. Это дополнительный ориентир для агента при принятии решения о сохранении изменений.

Подробнее о подходе и примерах его применения за пределами ML — в этом разборе.

———

Awesome-autoresearch

После публикации оригинального проекта сообщество разработчиков начало активно экспериментировать с подходом и создавать собственные реализации.

Появились даже специальные подборки проектов и сценариев использования:

• Awesome Autoresearch от yibie

• Awesome Autoresearch от WecoAI

В них можно найти разные варианты применения идеи — от оптимизации ML-пайплайнов до совершенно других инженерных задач.

В одном из следующих постов поговорим про риски и ограничения Autoresearch.
👁 916 💬 1 ↻ 18 5 ноября
Data Fusion tg5.3 тыс. подписчиков
Открыть пост ↗
💡Книжная подборка о самом важном (о математике)

Математика — фундамент Data Science. Она помогает не просто применять готовые алгоритмы, но и понимать, как они устроены и почему работают.

Вместе с Алексеем Пустынниковым, DS Team Lead ВТБ, собрали подборку книг по статистике, линейной алгебре, теории вероятностей и сложности алгоритмов — для тех, кто хочет освежить знания или углубиться в теорию.

Какие книги добавили бы в подборку? Пишите в комментариях
👁 891 ❤ 5 💬 1 ↻ 26 30 октября