Skip to content

검증 환경 outbox 장애 주입 및 canary 복귀 실험 - #22

Draft
masondev1024 wants to merge 2 commits into
devfrom
validation/outbox-failure-drill
Draft

masondev1024 wants to merge 2 commits into
devfrom
validation/outbox-failure-drill

Conversation

@masondev1024

Copy link
Copy Markdown
Owner

변경 내용

  • validation Rollout에 한해 승인 응모 transaction의 outbox INSERT 직전 장애 주입을 활성화합니다.
  • prod overlay, 이미지 digest, DB schema 및 기존 자원 설정은 변경하지 않습니다.

변경 이유

  • 정상 배포 확인 후 잘못된 새 버전이 5xx를 만들 때 Argo 분석이 promotion을 차단하고 ALB를 stable 100%로 돌리는지 실제 검증합니다.

데이터·실행 영향

  • validation tier와 명시적 ALLOW_FAILURE_DRILL 두 조건에서만 주입합니다. transaction rollback으로 실패 응모의 entry/outbox는 함께 취소됩니다.
  • 이번 승인 세션의 합성 요청만 사용하며 40,000-request 계획 및 USD 5.50 예산 범위를 유지합니다.
  • 정상 서비스·제한 계정·DB parity를 먼저 확인하기 전에는 이 draft를 merge하거나 sync하지 않습니다.

검증

  • validation overlay 렌더 및 로컬 회귀 검사. PR의 CI·보안 gate 통과가 필요합니다.
  • 실제 예상 결과: 5xx/AnalysisRun 실패, canary promotion 거부, stable 100%, orphan entry 0. 실행 전에는 성공으로 기록하지 않습니다.

되돌리기

  • 장애 주입 env를 제거하고 ALLOW_FAILURE_DRILL=false로 복구하는 별도 PR을 dev→main 순서로 반영합니다.
  • 정확한 수정 revision으로 Argo sync 및 서비스 재검증 후 이번 세션의 AWS 자원을 정리합니다.

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant