그라파나-프로메테우스로 인스턴스가 종료됐을 경우 알람 받기

그라파나-프로메테우스로 인스턴스가 종료됐을 경우 알람 받기

퍼블릭 서브넷에 있는 모니터링 인스턴스에 있는 프로메테우스가 

프라이빗 서브넷에 있는 app1 인스턴스의 애플리케이션의 상태를 확인한다.

 

이때 애플리케이션의 상태는 up 메트릭으로 확인한다.

 

상태값이 1인 경우 정상 동작, 0인 경우 종료된 애플리케이션이다.

 

값이 1미만일 경우 애플리케이션이 중지 또는 종료되었다는 메일을 보낼 수 있도록 설정할 것이다.

 

 

 

알람을 보내기 위해 Alert rules 탭으로 들어간다.

 

 

 

알람 이름 설정 후 사용할 메트릭과 filters를 선택한다.

run queries로 쿼리문이 잘 작동하는지 확인한다.

 

 

 

그 아래에 threshold에서는 알람 발송 조건을 지정할 수 있다.

input A는 위에서 설정한 쿼리문의 결과값을 사용하겠다는 뜻이다.

이 값이 1 미만인 경우 알람을 발송하도록 설정했다.

 

 

 

Grafana에서 알람 규칙을 관리하기 위해 폴더 구조를 사용할 수 있다. 나는 새로 만들어주었다.

 

그 밑에 Evaluation group은 동일한 그룹에 속한 모든 알람 규칙을 한 번에 평가하는 그룹이다.

이 설정으로 특정 간격마다 그룹 내의 모든 알람 규칙이 동시에 평가된다.

 

 

pending period는 경고 조건이 충족된 후 경고가 발생하기까지의 대기 시간을 의미한다.

즉시 경고가 발생하도록 하려면 "None"으로 설정한다.

 

 

 

그리고 경고가 발생했을 때 알림을 받을 연락처를 설정할 수 있다.

옆에 View or create contact points로 새 연락처를 추가할 수 있다.

 

 

Add contact point로 연락처를 생성했다.

 

 

 

알람을 받을 이메일을 작성한 뒤 test를 누르면 실패한다고 뜬다.

메일을 보내려면 구글에서 보안 설정을 해줘야 하는데 자세한 설명은 아래에 첨부한 글에서 확인할 수 있다.

 

https://gayeon-l.tistory.com/439

그라파나로 메일 알림 보내기

 

 

 

마지막으로 이메일을 발송할 수 있도록 smtp 설정을 수정하면 이메일 발송 준비는 끝이다.

 

 

 

application을 내리고 잠시 기다리면 app의 상태가 정상 실행중이 아니라는 메일을 받게 된다.

 

 

 

그라파나에서도 Firing으로 알람이 발동되었음을 확인할 수 있다.