Если можете, выполняйте работу заранее — ещё на этапе записи данных.
Низкая задержка любит предварительные вычисления (precomputation). Рассмотрим ситуацию, с которой столкнулась Maya
В её таблице пользовательских профилей были необязательные поля:
display_name,
timezone и
bio. В половине записей эти поля содержали
NULL. При этом время чтения данных должно было оставаться ниже 20 мс при нагрузке 10 000 запросов в секунду.
Нужно было гарантировать, что каждый сервис получает одинаковое итоговое значение для каждого поля. Никаких
NULL.
Вот какие варианты она рассматривала:
A → COALESCE во время чтенияОставить столбцы допускающими
NULL и использовать
COALESCE(column, default) в каждом запросе.
Просто и удобно. Но каждый запрос теперь выполняет дополнительные вычисления на критическом пути. Логика может различаться между сервисами. Индексирование усложняется, а производительность падает.
B → Материализация итоговых значений во время записиВычислять значения один раз при записи или через CDC (Change Data Capture).
Хранить их в отдельных столбцах:
effective_display_name,
effective_timezone и так далее.
Чтение остаётся быстрым, значения по умолчанию единообразны. Запись становится немного сложнее, зато результат предсказуем, доступен для кэширования и мониторинга.
C → DEFAULT в БД + миграция на NOT NULLВыглядит чисто и декларативно. Но изменение работающей таблицы с миллионами записей может обернуться серьёзными проблемами.
Значения DEFAULT применяются только к новым записям, но не исправляют существующие. Кроме того, сложные правила определения значений по умолчанию лучше не переносить в SQL.
D → Пусть каждый потребитель обрабатывает значения самостоятельноНикаких изменений схемы. Но каждый сервис самостоятельно определяет, что считать значением по умолчанию. В итоге появляются пять разных версий истины, и ни одна из них не совпадает с остальными.
Maya выбрала вариант B.Потому что при масштабировании операции чтения обычно преобладают над операциями записи. Каждая сэкономленная миллисекунда накапливается при большом количестве запросов. Вычислить значение один раз во время записи эффективнее, чем пересчитывать его 10 000 раз в секунду.
Компромиссы, на которые пришлось пойти:Немного увеличилась задержка при записи.
Потребовались идемпотентность и контроль конкурентного доступа.
При асинхронном обновлении через CDC появилась задержка синхронизации.
Понадобилась фоновая задача (backfill) для исправления существующих данных.
Гнаться за производительностью может каждый. Но немногие умеют делать это без ущерба для надёжности. Запомните:
низкая задержка любит предварительные вычисления.👉 @SQLPortal