🔄 Паттерны Outbox и InboxTransactional Outbox и Transactional Inbox — парные паттерны надёжной доставки сообщений между сервисами через
брокер➡️ Outbox работает на стороне отправителя: событие уходит в брокер тогда и только тогда, когда зафиксировалась бизнес-транзакция
⬅️ Inbox — на стороне получателя: одно и то же сообщение не обрабатывается дважды
Зачем нужны❎ Типовая ошибка при интеграции через брокер — «двойная запись»: сервис в рамках одной операции сохраняет данные в БД и публикует событие в брокер
❎ Это две независимые системы без общей транзакции, любая может дать сбой
❎ Общей
ACID-транзакции — атомарной («всё или ничего») — у БД и брокера нет, а распределённые транзакции
2PC в микросервисах приживаются плохо
✔️ Паттерны Outbox и Inbox решают задачу без них — локальными транзакциями каждой БД
Когда применять⚪ микросервисы обмениваются событиями через брокер, и потеря сообщения недопустима: заказы, платежи, склад, уведомления
⚪ источник событий — транзакционная БД, а интеграция асинхронная
⚪ нужен аудит отправленных событий: что, когда и кому было доставлено
❎Не нужен, если сообщение можно потерять без последствий: метрики, логи, телеметрия — там достаточно семантики
at-most-onceКак работает Transactional Outbox🔵Идея — убрать вторую запись
Пока событие не отправлено, оно живёт не «в сети», а строкой в той же БД, что и бизнес-данные. Таблица
outbox — очередь неотправленных событий, которую сервис ведёт у себя
Работает так:1⃣Сервис фиксирует бизнес-данные и событие одной транзакциейВнутри транзакции два
INSERT:
- строка в бизнес-таблицу (сам заказ)
- и строка события в
outbox — идентификатор, тип события, полезная нагрузка
COMMIT фиксирует обе записи атомарно: либо обе, либо ни одной
Упавший сервис не оставит после себя «заказ без события» или «событие без заказа»
2⃣Ретранслятор доставляет события в брокерСобытие из
outbox отправляет не сам сервис в ходе бизнес-операции, а отдельный фоновый процесс — ретранслятор (message relay)
Два типовых способа:
🔵 Polling publisher — периодически опрашивает таблицу
outbox, публикует новые записи в брокер и помечает их отправленными;
🔵 CDC (Change Data Capture, захват изменений данных)
— процесс читает журнал транзакций БД и публикует события напрямую из него
➡️ например, Debezium с трансформацией Outbox Event Router
3⃣ Отправленное фиксируетсяПри поллинге запись помечается отправленной после публикации в брокер;
При CDC таблицу чистит отдельная фоновая задача — трансформация Debezium реагирует только на
INSERT❕ доставка получается at-least-once — брокер доставит сообщение минимум один раз, но возможны повторы.
Ретранслятор может отправить событие в брокер и упасть до того, как пометит запись, — после перезапуска он отправит событие повторно.
Дубли неизбежны, и их гасит вторая половина связки
Как работает Transactional Inbox➡️ Зеркальный паттерн на стороне консьюмера
🟢Брокер доставляет
at-least-once — одно и то же сообщение может прийти и второй раз (после сбоя сети, перезапуска консьюмера или таймаута подтверждения)
🟢Повторы нужно распознавать
«Памятью» консьюмера служит таблица
inbox в его БД — там лежат идентификаторы уже обработанных сообщени
Дедупликация выполняется в той же транзакции, что и бизнес-обработка:
1. Консьюмер (получатель сообщений из брокера) забирает сообщение и открывает транзакцию.
2. Сверяет
message_id сообщения с таблицей
inbox: не обрабатывалось ли оно раньше.
3. Сообщение новое: в одной транзакции выполняется бизнес-операция и вставляется отметка в
inbox.
4. Сообщение уже есть в
inbox — это дубль: обработка пропускается, брокеру уходит подтверждение (иначе брокер будет доставлять его снова).
5.
COMMIT фиксирует бизнес-операцию и отметку «обработано» атомарно.
✳️ Если сбой случился после коммита, но до подтверждения брокеру, — брокер доставит сообщение повторно, консьюмер найдёт
message_id в
inbox и не повторит операцию.
Это применение идемпотентности: повторная обработка безопасна по построению, а не по договорённости
Связка Outbox и InboxНи брокер, ни один из паттернов по отдельности не дают честного exactly-once — следствие базовых
гарантий доставки в
Kafka и других брокеров. Связка работает так:
🔵 Outbox + подтверждения брокера
➡️ сообщения доставляются at-least-once, без потерь
🟢 Inbox
➡️ дубликаты отбрасываются, бизнес-эффект применяется ровно один раз
ПримерИнтернет-магазин, заказ и резервирование товара на складе:
⚪ покупатель оформляет заказ — сервис заказов в одной транзакции пишет строку заказа и событие
OrderCreated в
outbox⚪ CDC-процесс читает журнал БД и публикует событие в топик
orders⚪ Сервис склада получает событие, в одной транзакции вставляет
message_id в
inbox и резервирует товар
⚪ Ретранслятор не дождался подтверждения и доставил событие повторно —
message_id уже в
inbox, повторного бронирования нет
✔️ Сервис заказов упал сразу после оформления — события никуда не ушли:
после восстановления ретранслятор дочитает
outbox и доставит всё накопленное
📎 Материалы1.
Паттерн Outbox: как не растерять сообщения в микросервисной архитектуре2.
Паттерн Transactional Outbox: от теории до продакшена3.
Transactional Outbox: от идеи до open-source4.
Как мы четыре раза переписали Outbox5.
Реализация Transactional outbox pattern и немного DDD6.
Outbox pattern для System Design Интервью📚
Книги1.
Высоконагруженные приложения. Программирование, масштабирование, поддержка — Мартин Клеппман2.
Создание микросервисов — Сэм Ньюман3.
Apache Kafka. Потоковая обработка и анализ данных — Гвен Шапира и др#проектирование #архитектура ➿➿➿➿➿➿➿➿➿➿🧑🎓 Более поробное сравнение в базе знаний по системному анализу