← Все этапы маршрута

Сигналы → диагноз → действие · R12

R12. Observability и надёжность

Цель

Увидеть систему глазами пользователя, настроить осмысленные алерты и провести настоящий incident drill.

Что освоить

  • metrics, logs и traces
  • golden signals и PromQL
  • Grafana, Alertmanager и central logs
  • SLI/SLO, RTO/RPO и actionable alerts
  • runbook, incident timeline и postmortem

Материалы основного пути

  1. Prometheus: Getting started EN · Документация
    • Начать здесь. metrics model, scrape, query и first alert
  2. The USE Method EN · Исследование
    • Обязательно. utilization, saturation и errors для каждого ресурса
  3. OpenTelemetry Demo EN · Тренажёр
    • Практика. найти внедрённый сбой через metrics/logs/traces

Практика

Dashboard rate/errors/latency/saturation; затем kill process, disk full и DB outage.

Проверьте результат

Telemetry обнаруживает сбой; alert ведёт к runbook; вы локализуете отказ и восстанавливаете сервис в RTO.

Вопросы, условия приёмки и доказательства

Ответьте и покажите

  • Чем symptom metric отличается от cause signal?
  • Как SLO связан с alert threshold?

Условия приёмки

  • Dashboard покрывает golden signals
  • Alert ведёт к runbook
  • Incident уложен в RTO и имеет postmortem

Учебный отказ: Случайно выбрать kill process/disk pressure/DB outage и запретить смотреть host до срабатывания telemetry.

Артефакт: Dashboard/alert URL или screenshots + incident timeline + postmortem

Kill process, disk pressure или DB outage обнаружены telemetry; alert ведёт к runbook; сервис восстановлен в заявленный RTO, причина подтверждена сигналами.

Хорошее доказательство: Dashboard/alert URL + annotated timeline + queries + postmortem/action item owner.

Недостаточно: Красивый dashboard без actionable alerts, baseline и связи с пользовательским симптомом.

Углубление и справочные материалы

Темы для углубления

  • trace context и sampling
  • error budget и burn-rate alerts
  • capacity experiment

Добавить distributed trace, SLO/burn-rate alert и провести load/failure experiment с измеренным saturation point.

Результат: Trace связывает request с bottleneck; alert основан на SLO; capacity conclusion воспроизводим и ведёт к конкретному изменению.

Дополнительные материалы