Мониторинг серверов: что отслеживать, чтобы узнать о сбое первым

Обычно о проблемах с сервером узнают так: утром бухгалтер не может войти в 1С, звонит руководителю, руководитель — администратору. К этому моменту диск уже переполнен, база не открывается, а резервная копия, как выясняется, давно не делалась. Мониторинг серверов нужен, чтобы узнавать о таких вещах заранее — когда место на диске только заканчивается, а копирование не прошло один раз, а не десятый.

Разберём, что именно отслеживать, какие ставить пороги, кому отправлять уведомления, чтобы они не превратились в шум, и чем система мониторинга отличается от привычного «звоните, если сломается».

Чем мониторинг серверов отличается от «звоните, если сломается»

При обычной схеме о сбое сообщает пользователь. Значит, проблема уже случилась и мешает работать. Некоторые поломки действительно происходят внезапно. Но многие развиваются постепенно: диск заполняется неделями, у жёсткого диска растёт число повреждённых участков, батарея ИБП стареет, срок электронной подписи подходит к концу. Всё это видно заранее, если кто-то смотрит.

Система мониторинга — программа, которая регулярно опрашивает сервер и оборудование, сравнивает показатели с заданными порогами и отправляет уведомление, когда что-то выходит за рамки. Сама она проблему не устраняет, но даёт время: вместо аварии в понедельник утром — спокойная замена диска в пятницу вечером.

Второй плюс — история. Мониторинг хранит графики за месяцы, и по ним видно, когда 1С начала тормозить, растёт ли нагрузка и хватит ли сервера на следующий год.

Что отслеживать на самом сервере

Доступность

С этой проверки начинается мониторинг сервера: отвечает ли он по сети и работают ли нужные подключения — например, к удалённому рабочему столу или к серверу 1С. Если сервер не отвечает несколько проверок подряд, это повод для уведомления.

Место на дисках

Одна из самых частых причин внезапных остановок. Когда место заканчивается, перестают записываться база данных, журналы, временные файлы и резервные копии. Следить нужно за каждым разделом, а не только за системным. Полезно смотреть не только на процент свободного места, но и на скорость заполнения: если диск каждый день теряет по несколько гигабайт, система предупредит, что место кончится через неделю.

Состояние дисков: SMART и RAID

Мониторинг дисков — это не только свободное место. SMART — встроенная в жёсткие диски и SSD самодиагностика. Она считает переназначенные и нестабильные сектора, ошибки чтения, износ SSD, температуру. Рост этих счётчиков — сигнал заменить диск, пока данные с него ещё читаются.

Если на сервере RAID-массив — объединение нескольких дисков для надёжности, — нужно следить и за ним. Массив с одним вышедшим из строя диском продолжает работать, и без мониторинга этого никто не заметит, пока не откажет второй.

Процессор и память

Кратковременная загрузка процессора до 100% — нормальное явление, например при закрытии месяца в 1С. Тревожный признак — высокая загрузка, которая держится долго, или память, занятая почти полностью несколько часов подряд. Тогда сервер начинает активно использовать файл подкачки на диске, и всё замедляется. Графики за месяц покажут, разовая это проблема или серверу пора добавлять ресурсы. Если 1С уже работает медленно, загляните в статью о частых причинах торможения 1С.

Службы 1С и СУБД

Сервер может работать, а нужные программы на нём — нет. Для 1С в клиент-серверном режиме это служба агента сервера 1С:Предприятия и служба СУБД — системы управления базами данных, например MS SQL Server или PostgreSQL. Мониторинг проверяет, что службы запущены, и сообщает, если какая-то остановилась. В файловом режиме 1С проверяют доступность папки с базой, а также веб-сервер, если через него подключаются удалённые сотрудники.

Резервные копии: прошли ли они

Этот пункт пропускают чаще всего. Резервное копирование может долго работать по расписанию и однажды тихо перестать: закончилось место на хранилище, сменился пароль, отключился внешний диск. Задание не выполняется, но об этом никто не знает, пока копия не понадобится.

Мониторинг должен проверять:

• что последнее задание копирования завершилось успешно;
• что свежая копия существует и создана не позже, чем положено по расписанию;
• что её размер правдоподобен: копия базы размером в несколько килобайт означает ошибку;
• что на хранилище хватает места для следующих копий.

Мониторинг не заменяет пробное восстановление: время от времени копию нужно действительно развернуть и убедиться, что база открывается. Как устроить копирование 1С, мы описали в статье о резервном копировании 1С.

Интернет-канал, ИБП и сроки действия

Мониторинг интернет-канала

Канал проверяют с двух сторон. Изнутри — есть ли выход в интернет, какие задержки и потери пакетов. Снаружи — доступен ли офис для удалённых сотрудников и филиалов. Если в офисе два провайдера, мониторинг следит за обоими: резервный канал, который давно перестал работать, бесполезен в момент аварии основного.

Источник бесперебойного питания

ИБП можно подключить к серверу кабелем USB или через сетевую карту. Тогда видно, что пропало электричество и сервер работает от батареи, сколько осталось заряда, как прошла последняя самопроверка. Батареи стареют, и ИБП, который при покупке держал сервер с запасом, через несколько лет может не продержать и пары минут. Кроме того, ИБП может дать серверу команду корректно выключиться, пока батарея не села, — это защищает базы от повреждения.

Сертификаты и лицензии

Отдельная группа — то, что заканчивается по календарю: электронные подписи для отчётности и банка, SSL-сертификат сайта, регистрация домена, лицензии антивируса, подписка на обновления 1С. Мониторинг или хотя бы общий календарь сроков с напоминанием за две-три недели избавит от ситуации, когда в день сдачи отчёта выясняется, что подпись истекла вчера.

Пороги и уведомления: как избежать шума

Плохо настроенный мониторинг почти так же бесполезен, как его отсутствие. Если он присылает десятки сообщений в день, их перестают читать, и важное тонет в мелочах. Несколько правил:

• Два уровня порогов. «Предупреждение» — пора запланировать работы: например, на диске осталось меньше 20% места. «Авария» — действовать нужно сейчас: свободного места меньше 5–10%. Конкретные значения подбирают под объём дисков и скорость их заполнения.
• Задержка срабатывания. Уведомление приходит, только если проблема держится какое-то время. Секундный скачок нагрузки или один потерянный пакет — не повод тревожить людей.
• Зависимости. Если отключился роутер, не нужно отдельное сообщение о каждом сервере за ним — достаточно одного, о роутере.
• Сообщение о восстановлении. Чтобы было видно, что проблема устранена или ушла сама.

Кому что отправлять:

Главное — у каждого уведомления должен быть человек, который за него отвечает. Сообщение «диск заполнен на 95%», которое приходит в общий чат и которое никто не берёт в работу, ничем не лучше тишины.

Какие бывают системы мониторинга

Пример распространённой системы — Zabbix. Это бесплатная программа с открытым кодом: она ставится на отдельный сервер или виртуальную машину, а на наблюдаемые компьютеры устанавливаются небольшие программы-агенты. Zabbix умеет почти всё, о чём шла речь выше, — от свободного места до SMART и служб, хранит графики и рассылает уведомления в почту и мессенджеры. Минус — его нужно настраивать и поддерживать: сам он не знает, какие у вас пороги и кто за что отвечает.

Есть и облачные сервисы мониторинга, и системы, через которые ИТ-подрядчики наблюдают сразу за всеми клиентами. Для небольшой компании выбор программы вторичен. Важнее, чтобы кто-то настроил пороги под ваш сервер, проверил, что уведомления доходят, и реагировал на них.

Что можно сделать самому без отдельной системы: включить уведомления на почту в программе резервного копирования, в настройках ИБП и в панели сетевого хранилища, если оно есть. Это не полноценный мониторинг, но лучше, чем ничего.

Если сервер с 1С у вас свой, начать можно с проверки сервера и 1С. Мониторинг серверов и интернет-канала мы подключаем в рамках абонентского обслуживания и сами разбираем уведомления, а итоги видны в ежемесячном отчёте.

Мониторинг не делает сервер надёжнее сам по себе. Он даёт время: заменить диск до отказа, освободить место до остановки 1С, починить копирование до того, как оно понадобится. Начните с главного — места и состояния дисков, служб 1С и резервных копий, — и уже это избавит от самых неприятных сюрпризов.