Резерв включился. Почему сервис всё ещё недоступен?12 ноября инженеры Microsoft возвращали серверы в работу, но те снова переставали отвечать. Пока пользователи не могли открыть почту, запросы накапливались. При запуске на сервер сразу поступал трафик, с которым он не справлялся. Перебои в Microsoft 365 продолжались около суток.
По предварительным данным Microsoft, сбой вызвало сочетание нескольких условий. Один из двух сетевых шлюзов перестал обслуживать Teams, и нагрузка перешла на второй. Из-за другого инцидента часть серверных мощностей уже была недоступна. В часы пик на оставшихся ресурсах проявилась ошибка, которая находилась в коде с июля. Серверы перестали обрабатывать запросы, а накопившаяся очередь осложнила восстановление.
Что происходит в первую минуту после переключенияПлановая проверка резерва может выглядеть убедительно: инженеры отключили основной канал, за минуту переключились на запасной и убедились, что сервис доступен. Но если проверка прошла ночью, что произойдёт за ту же минуту в разгар рабочего дня?
«Технический сбой возможен в любой стране, в том числе в системах, от которых зависит работа целой отрасли. Поэтому ещё на этапе проектирования важно понимать, что произойдёт при отказе конкретного узла. Например, у компании могут быть два канала связи, но если оба проходят через один маршрутизатор, его отказ затронет оба канала», – объясняет
Азат Мамбетов, директор департамента эксплуатации сетевой инфраструктуры и безопасности QazCloud.
«Даже при независимом резерве остаётся вопрос мощности. Если сбой произошёл в час пик, после переключения система должна одновременно принимать новые запросы и обрабатывать очередь, накопившуюся за время простоя. На учениях важно измерить, сколько времени пройдёт от отказа до момента, когда сервис снова сможет отвечать с привычной для пользователя скоростью», – отмечает эксперт.
Когда восстановление начинается с изоляции сбояMicrosoft мешала восстановлению очередь запросов. В американской авиации инженерам пришлось решать другую задачу – остановить поток запросов, который продолжал перегружать сеть.
13 ноября новый маршрутизатор на объекте в Арканзасе начал отправлять около тысячи запросов на соединение каждые четыре-пять секунд. Возникли перебои в связи диспетчеров с самолётами и передаче радиолокационных данных. Федеральное управление гражданской авиации США более чем на четыре часа приостановило вылеты по стране. Сеть стабилизировалась после того, как специалисты изолировали два узла. Причину такого поведения маршрутизатора тогда ещё выясняли.
В обоих случаях инженеры восстанавливали доступность сервисов. При повреждении или потере данных возникает отдельная задача: определить, до какого момента можно восстановить записи и сколько времени это займёт.
«Для сценария с потерей данных бизнесу нужны два ориентира: сколько времени допустимо потратить на восстановление и за какой период допустима потеря записей. Проверить оба можно на практике – развернуть систему из резервной копии, применить доступные журналы транзакций и убедиться, что последняя восстановленная операция корректно отражается в сервисе», – говорит Азат Мамбетов.
Три урока для бизнесаНайти общие точки отказа. Проверить, через какое оборудование проходят основной и резервный каналы. Заранее определить, какой узел можно изолировать при перегрузке и как после этого пойдёт трафик.
Испытать резерв в час пик. Учесть новые обращения и запросы, накопившиеся за время переключения. Зафиксировать, когда пользователь снова сможет выполнить обычную операцию – например, отправить письмо и убедиться, что оно дошло.
Проверить восстановление из резервной копии. Запустить сервис в отдельной среде, установить время последней восстановленной операции и измерить длительность работ. Сравнить результат с допустимыми для бизнеса простоем и потерей данных.
Подробнее на сайте
realdigital.kz