Телеграм

SQL Portal | Базы Данных

@SQLPortal Программирование и разработка
РКН: проверяем Не иноагент
Присоединяйтесь к нашему каналу и погрузитесь в мир баз данных

Связь: @devmangx

РКН: https://clck.ru/3H4Wo3

Статистика обновлена 19.11.2026 в 07:10 · 4 просмотра страницы · Хотите больше просмотров?

Подписчики14 129 -8 за 2 дня
Охват поста1 199 8% от подписчиков
ERR за месяц8,49%
ERR за 24 часа4,30%

Динамика за 30 дней

Рекламные публикации

Рекламных публикаций не найденоЗа последнее время мы не нашли на площадке ни одного рекламного поста.

Последние публикации

Все посты канала →
SQL Portal | Базы Данных tg14 тыс. подписчиков
Открыть пост ↗
10 минут на Python могут сэкономить всего 1 секунду в SQL.

Так происходит, когда оптимизируешь не тот уровень системы. У вас задача на работу с наборами данных, а вы решаете её построчно.

Пример: Нужно получить все возможные комбинации товаров и регионов.

Большинство разработчиков используют вложенные циклы. Решение кажется простым, но может серьёзно ударить по производительности.

Почему? Потому что вы переносите работу из базы данных в код приложения. Для таких задач существует CROSS JOIN.

Он позволяет получить все возможные комбинации одной операцией:

• Товары × регионы.
• Пользователи × даты.
• Счета × месяцы.

Без циклов. Без дополнительных обращений к базе. Без лишнего связующего кода. Только работа с наборами данных.

Если ваша задача звучит как:

• «Для каждого X выполнить для каждого Y».
• «Сгенерировать все возможные комбинации».
• «Заполнить отсутствующие данные».

Возможно, решение стоит искать именно в SQL. Минуты против секунд. Та же логика. Но правильный инструмент.

👉 @SQLPortal
👁 489 ❤ 2👍 1💊 1 ↻ 5 вчера в 16:07
SQL Portal | Базы Данных tg14 тыс. подписчиков
Открыть пост ↗
Если можете, выполняйте работу заранее — ещё на этапе записи данных.

Низкая задержка любит предварительные вычисления (precomputation). Рассмотрим ситуацию, с которой столкнулась Maya

В её таблице пользовательских профилей были необязательные поля: display_name, timezone и bio. В половине записей эти поля содержали NULL. При этом время чтения данных должно было оставаться ниже 20 мс при нагрузке 10 000 запросов в секунду.

Нужно было гарантировать, что каждый сервис получает одинаковое итоговое значение для каждого поля. Никаких NULL.

Вот какие варианты она рассматривала:

A → COALESCE во время чтения

Оставить столбцы допускающими NULL и использовать COALESCE(column, default) в каждом запросе.

Просто и удобно. Но каждый запрос теперь выполняет дополнительные вычисления на критическом пути. Логика может различаться между сервисами. Индексирование усложняется, а производительность падает.

B → Материализация итоговых значений во время записи

Вычислять значения один раз при записи или через CDC (Change Data Capture).

Хранить их в отдельных столбцах: effective_display_name, effective_timezone и так далее.

Чтение остаётся быстрым, значения по умолчанию единообразны. Запись становится немного сложнее, зато результат предсказуем, доступен для кэширования и мониторинга.

C → DEFAULT в БД + миграция на NOT NULL

Выглядит чисто и декларативно. Но изменение работающей таблицы с миллионами записей может обернуться серьёзными проблемами.

Значения DEFAULT применяются только к новым записям, но не исправляют существующие. Кроме того, сложные правила определения значений по умолчанию лучше не переносить в SQL.

D → Пусть каждый потребитель обрабатывает значения самостоятельно

Никаких изменений схемы. Но каждый сервис самостоятельно определяет, что считать значением по умолчанию. В итоге появляются пять разных версий истины, и ни одна из них не совпадает с остальными.

Maya выбрала вариант B.

Потому что при масштабировании операции чтения обычно преобладают над операциями записи. Каждая сэкономленная миллисекунда накапливается при большом количестве запросов. Вычислить значение один раз во время записи эффективнее, чем пересчитывать его 10 000 раз в секунду.

Компромиссы, на которые пришлось пойти:

Немного увеличилась задержка при записи.
Потребовались идемпотентность и контроль конкурентного доступа.
При асинхронном обновлении через CDC появилась задержка синхронизации.
Понадобилась фоновая задача (backfill) для исправления существующих данных.

Гнаться за производительностью может каждый. Но немногие умеют делать это без ущерба для надёжности. Запомните: низкая задержка любит предварительные вычисления.

👉 @SQLPortal
👁 513 ❤ 1 ↻ 3 вчера в 06:07
SQL Portal | Базы Данных tg14 тыс. подписчиков
Открыть пост ↗
Большинство разработчиков знают, как пользоваться базой данных. Но лишь немногие понимают, как она устроена изнутри.

Разберём, что происходит за кулисами при работе с базой данных.

1. Обработчик запросов (Query Processor)

• Parser: проверяет SQL-запрос и строит синтаксическое дерево.
• Optimizer: выбирает оптимальный план выполнения на основе статистики данных.
• DDL Interpreter и DML Compiler: обрабатывают команды определения и изменения данных.

2. Исполнитель запросов (Query Executor)

• Transaction Manager: гарантирует атомарность транзакций — либо изменения фиксируются полностью, либо выполняется откат.
• Concurrency Manager: управляет блокировками, уровнями изоляции и разрешением взаимных блокировок (deadlocks).

3. Менеджер безопасности (Security Manager)

• Authentication: проверяет личность пользователя.
• Authorization: определяет, какие действия ему разрешено выполнять.

4. Движок хранения данных (Storage Engine)

• Buffer Manager: кэширует страницы данных в оперативной памяти, сокращая количество обращений к диску.
• Cache Manager: ускоряет повторный доступ к часто используемым данным на более высоких уровнях.
• Recovery Manager: ведёт журналы предварительной записи (WAL), чтобы обеспечить восстановление после сбоев.
• Catalog: хранит метаданные о таблицах, столбцах и индексах.

5. Структуры хранения (Storage Structures)

На диске располагаются файлы индексов, данных и журналов.

• Файлы индексов ускоряют чтение.
• Файлы данных хранят строки и страницы.
• Файлы журналов обеспечивают надёжность хранения и восстановление после сбоев.

За каждым медленным запросом, простоем или ошибкой повреждения данных стоят процессы, происходящие внутри этих слоёв.

Понимание внутренней архитектуры баз данных помогает:

Быстрее находить и устранять проблемы.
Проектировать более надёжные системы.
Создавать приложения, способные масштабироваться.

Знание внутреннего устройства баз данных — серьёзное преимущество для разработчика.

👉 @SQLPortal
👁 721 ❤ 2👍 1 ↻ 7 17 ноября