구르미의 개발 이야기 구르미의 개발 이야기

이 문서는 프로메테우스 공식 문서 "Alerting Rules"를 번역한 문서입니다. 원 문서를 보고 싶으시다면 여기를 클릭해주세요. Alerting rule은 PromQL을 기반으로 알람 조건을 정의하고, 외부 서비스에 FIRING된 알람들을 전달합니다. 알람 표현식이 지정된 시점부터 하나 이상의 벡터 요소를 생성하게 될 때마다 알람 라벨 세트가 ACTIVE 상태가 된 것으로 계산합니다. alert rule 정의하기 Alerting rule은 recording rule과 같은 방식으로 Prometheus에서 설정 됩니다. 다음은 알람을 생성하는 rule file의 예입니다. groups: - name: example rules: - alert: HighRequestLatency expr: job:req..

개요 이번 장에서는 Prometheus, Alertmanager, Slack을 연동해서, 알람 파이프라인을 구축할 것이다. 우리가 구축할 알람 파이프라인은 다음과 같다. 알람 파이프라인에 대해 간단히 설명하자면, 먼저 지난 장 "서비스 메트릭 모니터링하기 (1) prometheus-nginxlog-exporter"에서 진행했던 것을 토대로 Nginx, Prometheus, prometheus-nginxlog-exporter를 연동해서 상태 코드 및, 응답 실패율에 대한 정보를 얻는다. 그리고 다음 조건을 만족하면 Prometheus에서 알람을 발생(Firing)시킨다. 1분간 상태 코드 4xx 개수의 합이 10개 이상이다. 1분간 4xx 응답 실패율이 50% 이상이다. 그리고 이 발생된 알람을 Alert..