feat: P0 온콜 — 1차 담당 → 10분 미응답 시 팀원 (PagerDuty)

[selee1012]

P0 온콜 호출 순서를 PagerDuty에 설정합니다. 스택 3/3입니다.

호출 순서

1차 담당(이성은)에게 먼저 갑니다. 10분 안에 ACK가 없으면 팀원에게 가고, 그래도 없으면 처음부터 다시 울립니다(2회).

변경

• alerting/pagerduty.py setup --primary <이메일> --secondary <이메일>
  • 에스컬레이션 정책 「RuleUp prod P0」
  • 서비스: 긴급도 항상 high, ACK 후 15분 안에 해결되지 않으면 다시 울림, 시간 기반 자동 종료 끔(노션 §2)
  • 공식 Amazon CloudWatch 연동
  • 서울·버지니아 SNS ruleup-prod-pagerduty의 HTTPS 구독
  • 원장 env/prod.json에는 사용자·정책·서비스 ID와 sns.pagerduty만 적습니다. 이메일·API 키·연동 키는 저장소에 두지 않습니다.
• 그다음 p0_p1.py prod를 돌리면 P0 경보의 AlarmActions·OKActions에 토픽이 붙습니다. 경보가 OK로 돌아오면 사건이 닫힙니다.
• test-trigger / test-resolve: CloudWatch 경보와 같은 모양의 시험 메시지를 보내 실수신과 에스컬레이션을 시험합니다(G01).
• stg에는 온콜을 두지 않습니다.
• 노션 카탈로그에 있던 「5분 지원자 통보·10분 재호출」을 이 순서로 바꿨습니다.

개통 전 필요한 것

• PagerDuty 계정과 쓰기 권한이 있는 API 키
• 두 사람 모두 앱 설치, 그리고 프로필 알림 규칙에 High-urgency 즉시 푸시와 전화 설정

시험

tests_pagerduty.py가 확인하는 것:

• 규칙 순서(1차 → 팀원)와 10분 지연
• 자동 종료가 꺼져 있는지
• 시험 메시지 모양
• 원장에 이메일·키가 없는지

🤖 Generated with Claude Code

[github-actions]

Test Coverage

Overall Project	82.7%	🍏

There is no coverage information present for the Files changed