Сервис обновлений и обслуживания серверов

Мы готовим, проверяем и распространяем обновления для серверного парка небольшой инфраструктуры, а также следим за сохранностью данных.

Как мы работаем с обновлениями

Каждое обновление сначала собирается в тестовом контуре, где проверяется на совместимость с текущими версиями библиотек и конфигураций. Затем оно проходит регрессионные проверки: доступность сервисов после применения, корректность миграций базы данных, сохранение пользовательских настроек. Только после этого пакет попадает в основной контур.

Обновления устанавливаются в окно обслуживания, когда нагрузка минимальна. Перед началом работ фиксируется состояние системы, чтобы в случае неожиданного поведения была возможность вернуться к предыдущей версии в течение нескольких минут, а не часов. Все действия протоколируются, поэтому по журналу всегда видно, что и когда менялось.

Резервное копирование и восстановление

Резервные копии снимаются по расписанию: инкрементально каждый день и полной копией раз в неделю. Копии хранятся на отдельном носителе, недоступном по обычным учётным записям сервисов. Файлы, содержащие секреты и ключи, дополнительно шифруются, а ключ расшифровки хранится отдельно от самих копий.

Мы придерживаемся простого правила: копия, которую ни разу не восстанавливали, копией не считается. Поэтому раз в квартал выполняется учебное восстановление на отдельной машине, и результат фиксируется в отчёте вместе со временем, которое на это потребовалось.

Для критичных данных настроены проверки целостности: если очередная копия оказывается повреждённой или короче ожидаемого размера, об этом сразу сообщается ответственному, и копия переснимается. Ошибку лучше заметить на этом шаге, чем в момент, когда копия действительно понадобится.

Обслуживание и мониторинг

Серверы под наблюдением: собираются метрики доступности, загрузки процессора и диска, состояния служб. При отклонении от обычного поведения приходит уведомление, и дежурный разбирается до того, как проблема станет заметна пользователям. Плановые работы — обновление ядра, перезагрузки, замена дисков — проводятся в согласованные окна и заранее анонсируются.

Контакты

По вопросам обслуживания и восстановления данных: 1@update.1to.ru. Отвечаем в рабочие дни; срочные обращения помечайте словом «инцидент» в теме письма.