Телеграм

Находки в опенсорсе

@opensource_findings Программирование и разработка
✓ В реестре РКН ↗ Не иноагент
Привет!

Меня зовут Никита Соболев. Я занимаюсь опенсорс разработкой полный рабочий день.

Тут я рассказываю про #python, #c, #opensource и тд.
Поддержать: https://boosty.to/sobolevn
РКН: https://vk.cc/cOzn36

Связь: @sobolev_nikita

Статистика обновлена 19.11.2026 в 00:37 · 3 просмотра страницы · Хотите больше просмотров?

Подписчики12 874 +1 за 1 день
Охват поста7 257 56% от подписчиков
ERR за месяц56,37%
ERR за 24 часа25,14%

Динамика за 30 дней

Рекламные публикации

Рекламных публикаций не найденоЗа последнее время мы не нашли на площадке ни одного рекламного поста.

Последние публикации

Все посты канала →
Находки в опенсорсе tg12 тыс. подписчиков
Открыть пост ↗
Как устроены словари в Python? Часть 1

Один из самых популярных вопросов на собесах. Так много статей в интернете, так мало правильных ответов!
Сегодня будем разбирать.

Базовое устройство

Если вы не смотрели классический доклад Реймонда Хеттингера про устройство словарей в Python3.6+, то нужно срочно посмотреть. Там он рассказывает про устройство хеш-таблицы, проблему хеш конфликтов, сохранение порядка вставки и даже про кеш линии процессора.

Давайте попробуем для начала понять, что за хеш-таблица, и где она.


typedef struct {
PyObject ob_base;
Py_ssize_t ma_used; // number of keys
uint64_t _ma_watcher_tag; // dict watchers
PyDictKeysObject *ma_keys;
PyDictValues *ma_values;
} PyDictObject;


Пока вроде бы все ожидаемо: структура словаря хранит в себе базовый класс, количество ключей, "watchers" (обсудим позже), ключи, значения.

Как выглядят сами ключи?


struct _dictkeysobject {
Py_ssize_t dk_refcnt; // own refcount
uint8_t dk_log2_size; // key size
uint8_t dk_kind;

#ifdef Py_GIL_DISABLED
PyMutex dk_mutex; // protect shared keys
#endif

uint32_t dk_version; // version number
Py_ssize_t dk_usable; // number of usable entries in dk_entries
Py_ssize_t dk_nentries; // number of used entries
char dk_indices[]; // actual hashtable
};


А вот теперь посмотрим на возможные инварианты словарей:
- ma_keys->dk_kind может быть одним из трех значений: general (как мы все привыкли), unicode (оптимизация для словарей только с str ключами), split (оптимизация для `instance.__dict__`)
- Если ma_keys->dk_kind != DICT_KEYS_SPLIT, то ma_values == NULL
- Если ma_keys->dk_kind == DICT_KEYS_SPLIT, то ma_values != NULL

Ну и сами split значения:


struct _dictvalues {
uint8_t capacity;
uint8_t size;
uint8_t embedded;
uint8_t valid;
PyObject *values[1];
};


Важные оптимизации

- Ключи могут быть оптимизированы под str (`DICT_KEYS_UNICODE`), тогда происходит важное: мы начинаем использовать PyDictUnicodeEntry вместо PyDictEntry, у первого нет хранения hash. Что делает его меньше в размере:


sys.getsizeof({'a': 1}) # 184
sys.getsizeof({1: 1}) # 224


- Словарь может быть "разделен" с DICT_KEYS_SPLIT, тогда ключи и значения хранятся отдельно. Зачем? Обычно все объекты одного класса имеют одинаковый набор ключей CACHED_KEYS(Py_TYPE(obj)). Что позволяет нам переиспользовать один "shared" объект ключей для всех инстансов. Данная оптимизация использует str ключи внутри в том числе

- Еще одна оптимизация рядом для instance.__dict__ (работает по-умолчанию, для всех типов с Py_TPFLAGS_INLINE_VALUES и Py_TPFLAGS_MANAGED_DICT): ma_values->embedded. Такие "словари" хранятся прямо в памяти самого объекта (не более 16 объектов): PyObject header | object fields | PyDictValues header | values[0..capacity-1]

На чем я вчера и погорел, когда дизайнил свою C-API функцию PyDict_AsFrozenDictAndClear.

Такие словари можно "материализовать" в обычные: instance.__dict__ как раз вызовет такую машинерию при обращении. Словарь и instance.__dict__ - отличаются примерно всем внутри до материализации.

Важные детали реализации

- У ключей есть свой refcount. Потому что ключи могут переиспользоваться в разных словарях, но они не PyObject *. В CPython есть много отдельных refcount штук. Если интересно, могу подробнее рассказать.
- А Py_EMPTY_KEYS вообще бесмертный объект
- DictWatcher'ы и _ma_watcher_tag нужны, чтобы управлять Tier 1 speciailizing оптимизациями. Изменился объект или тип? Watcher скинет статистику для данного объекта в интерпретаторе. Аналогично и dk_version - для использования в качестве ключа для кеша в JIT
- PyFrozenDict устроен точно так же, только сразу хранит в себе ma_hash, для быстрого хеширования

Что мы не успели обсудить в 1 части? Саму хештаблицу, логику увеличения памяти под ключи, поиск по хешу и логику сравнения значений с одинаковым хешом, какие бывают слоты, локи для FT.

Обсуждение: Узнали ли вы что-то новое о словарях? Были ли у вас такие вопросы на собесе?
👁 3.7 тыс. 🔥 46❤ 14👍 12 💬 32 ↻ 120 17 ноября
Находки в опенсорсе tg12 тыс. подписчиков
Открыть пост ↗
Виртуальная машина regex в Python

Мы уже говорили про дополнительные виртуальные машины в CPython. Посмотрели на pickle, сегодня настала очередь re. Немного не в формате канала, что мы смотрим джуновские штуки, но все равно интересно, может быть какие-то детали будут незнакомы и сениор специалистам.

Документация: https://docs.python.org/3/library/re.html
Исходник: https://github.com/python/cpython/blob/main/Modules/_sre/sre.c

Допустим у нас есть такой паттерн: re.compile(r'@[a-z\d]\d{2,}').
Начинается с @, далее буква латиницей в нижнем регистре или цифра, далее как минимум две цифры.

И мы можем посмотреть opcod'ы для данного выражения:


LITERAL 64
IN
RANGE (97, 122)
CATEGORY CATEGORY_DIGIT
MAX_REPEAT 2 MAXREPEAT
CATEGORY CATEGORY_DIGIT

0. INFO 8 0b1 4 MAXREPEAT (to 9)
prefix_skip 1
prefix [0x40] ('@')
overlap [0]
9: LITERAL 0x40 ('@')
11. IN 7 (to 19)
13. RANGE 0x61 0x7a ('a'-'z')
16. CATEGORY UNI_DIGIT
18. FAILURE
19: REPEAT_ONE 6 2 MAXREPEAT (to 26)
23. CATEGORY UNI_DIGIT
25. SUCCESS
26: SUCCESS
re.compile('@[a-z\\d]\\d{2,}', re.DEBUG)


Все опкоды можно посмотреть тут: https://github.com/python/cpython/blob/main/Modules/_sre/sre_constants.h

Процесс компиляции

Сам процесс компиляции написан на Python, он довольно понятный: https://github.com/python/cpython/blob/e9c9a339035c9b96a5ebca8337a13140725ecf2a/Lib/re/_compiler.py#L34

Есть куча оптимизаций, кешей, утилит для дебага. Тот же dis, вывод которого мы видим при использовании re.DEBUG выше. Данная часть довольно чувствительна к перформансу. Буквально сегодня видел свежий баг, когда ВДРУГ становится медленнее.

Выполнение опкодов

Раз мы можем скомпилировать инструкции для VM, то мы можем их и выполнить.
Исходники самой VM: https://github.com/python/cpython/blob/main/Modules/_sre/sre_lib.h

Сначала немного интересных фактов:
- Для данной VM в некоторых местах тоже используются COMPUTED_GOTO, если они поддерживаются (пост о них)
- Почему-то нет поддержки _Py_TAIL_CALL_INTERP, хотя возможно оно тоже дало бы неплохой буст. Очень интересная задачка на подумать. Может кто-то хочет взять и попробовать? (пост о нем)
- В Python3.15 произошел глобальный рефакторинг re модуля: удалили модули sre_compile, sre_constants, sre_parse

А вот так выглядят обработчик LITERAL опкодов:


TARGET(SRE_OP_LITERAL):
/* match literal string */
/* <LITERAL> <code> */
TRACE(("|%p|%p|LITERAL %d\n", pattern,
ptr, *pattern));
if (ptr >= end || (SRE_CODE) ptr[0] != pattern[0])
RETURN_FAILURE;
pattern++;
ptr++;
DISPATCH;


Про DSL с TARGET и DISPATCH я уже рассказывал в посте про основную VM в питоне.
Остальная логика очень простая: если встречаем другой символ, то просто возвращаем 0, если встречаем нужный - продолжаем. ptr++ и pattern++ берут следующий указатель на строку и следующий pattern для матча. Таким образом в DISPATCH попадет уже следующий опкод. Классика.

Еще интересно глянуть REPEAT_ONE, который нам нужен в самом конце. Он довольно большой, я спрятал его под ссылку. Из интересного там могу выделить оптимизацию под повторение опкода LITERAL. Остальное - довольно стандартно. Проверяем размер строки, ее символы внутри.

Оказывается, что регулярные выражения - довольно простые и понятные, если смотреть на них как на инструкции для выполнения. А не как на текст. И помните:

> Если у вас есть проблема, и вы решили использовать регулярные выражения, чтобы её решить... Теперь у вас две проблемы

Обсуждение: Любите ли вы писать regex? Поможет ли вам данный пост в дебаге сложных выражений? Есть ли у вас какие-то хитрые оптимизации на уме, которые можно было бы добавить в CPython?

| Поддержать | YouTube | GitHub | Чат |
👁 6.1 тыс. ❤ 38👍 19🔥 3 💬 122 ↻ 35 3 ноября
Находки в опенсорсе tg12 тыс. подписчиков
Открыть пост ↗
Что происходит с ИИ в опенсорсе?

Пост можно было бы назвать "Not so OpenSource anymore". Массовое использование ИИ моделей в опенсорсе привело к масштабным изменениям. Мне почему-то очень грустно от таких новостей. Пусть и вам будет!

Мой доклад про то же самое: https://www.youtube.com/watch?v=oHIgRZNpS00

- CPython ограничил количество PRов от внешних контрибьюторов тремя открытыми
- OpenJDK запретил PRы с использованием ИИ в любом виде
- Litestar закрыл PRы для всех внешних контрибьюторов, поток слопа был настолько большой, что я в какой-то момент просто бросил открывать уведомления в проекте. Максим написал большой пост про данный случай
- JazzBand после 10 лет открытой коллаборации для десятков проектов закрылся по их формулировке из-за "слопаппокалипсиса", новые участники больше не принимаются
- Sindre Sorhus (один из самых популярных опенсорс разработчик в мире) закрыл все свои проекты для внешних контрибьюторов
- JS фреймворк hono закрывает внешние PRы
- Браузер LadyBird закрывает внешние PRы
- Godot запретил использование ИИ
- Платформа Codeberg объявила себя свободной от LLM-сгенерированного контента
- Zig запретил использование ИИ у себя (читайте полную историю про переписывание Zig -> Rust и при чем тут bun)
- Node.js будет молча закрывать PRы с ИИ-слопом
- Linux прекращает поддержку старых сетевых драйверов, чтобы справиться с количеством ИИ-багрепортов

Есть только один вопрос: как проекты, которые "запретили" ИИ будут такое контролировать?

GitHub

Сама платформа тоже меняется. Местами развивается, местами работает с каждым днем все хуже и хуже: от UI до CI.

- GitHub все время падает под нагрузкой (с их слов)
- GitHub ввел функцию количественного ограничения количества PRов от внешних контрибьюторов для всех репозиториев, потому что проблема массовая
- У GitHub больше нет CEO, теперь они часть Microsoft AI
- Массовая миграция проектов с GitHub: Gentoo, Zig, Ghostty, BookStack, Flathub, Tenacity

BugBounty умирает

Ну и конечно же проекты и компании закрывают программы BugBounty для внешних участников.

- curl как самый известный пример
- Google OSS VPR закрыт в октябре, Intel закрыл свою программу в сентябре
- HackerOne закрылся

Продвижение и сообщество

Я больше не знаю, как продвигать новый опенсорс (кроме постов в нашем чате с тегом #opensource конечно же) . Большинство старых площадок вводят суровые правила против постов со ссылками на свои проекты:

- r/Python запретил публикацию своих проектов, мой пост с анонсом django-modern-rest был удален автоматически
- r/opensource запретил публиковать AI-slop проекты, формулировки у них вышли очень странные и размытые
- Hacktoberfest больше не считает PRы, теперь только митапы
- Культура "Good first issue" мертва. Теперь на такой тег приходят только боты

Польза

Но! После всех новостей важно не впадать в думерство. Польза от ИИ в опенсорсе тоже есть.
Недавние находки критических уязвимостей в PHP, Node, GitLab - доказывают пользу грамотного использования ИИ.
Многие проекты созданы только благодаря ИИ. Оптимизации, помощь в объяснении исходников, поиск багов, мертвого кода и несоответствий документации и кода. А сколько полезных маленьких проектов люди навайбкодили для себя?

Давайте держаться здравого баланса. Искать технические ответы на возникающие сложности и вопросы.

Опенсорс - каким мы его знали - мертв.

Вывод: необходимо перестраивать систему. Как? Предлагайте в комментариях, обсудим.
👁 11 тыс. ❤ 85😢 32👍 15 💬 909 ↻ 322 27 октября