Здесь показано как использовать свободную многопоточность Python 3.14 и библиотеку
fastsimdjson для экстремально быстрой обработки JSON.В эксперименте обработали 7,6 ГБ данных и 2,2 млн событий GitHub.
Результаты на сервере с 64 ядрами Intel Xeon:
| Парсер | Скорость |
|---|---:|
| Python `json` | 3,17 ГБ/с |
| `msgspec` | 24,6 ГБ/с |
| `fastsimdjson` | 29,8 ГБ/с |
| `fastsimdjson` Lazy | **65,7 ГБ/с** |На одном ядре Lazy-режим показал 2,13 ГБ/с против 0,18 ГБ/с у стандартного
json.В чём секрет?
fastsimdjson использует SIMD-оптимизации и многопоточность. А режим lazy=True создаёт Python-объекты только для тех полей JSON, которые действительно нужны программе.В результате обработка 7,6 ГБ данных заняла около 0,12 секунды.
Установка:
pip install fastsimdjson
Для эксперимента использовался Python 3.14.6 в free-threaded-сборке без GIL.
Бенчмарк: https://github.com/lemire/fastsimdjson
Исследование: https://lemire.me/blog/2026/10/12/parsing-json-at-tens-of-gigabytes-per-second-in-python/