perf: DAU 2만 부하테스트 — 처리량 1.55배·p95 6초→1.3초, 장애 전파 차단

[selee1012]

요약

노션 「부하테스트 및 성능개선」 7~8절(DAU 2만 = 동시 ~1,000명, SCALE=2) 계획대로 stg 를 prod 와 같은 조건(1 vCPU/2GB, Hikari 15, RDS db.t4g.small Multi-AZ·TLS)으로 올려 시험하며 찾은 병목·과한 트랜잭션·장애 전파를 고친다. X-Ray 100% 규칙으로 전 API 96건의 트랜잭션을 수정 전후로 감사했다. 결과·원가·권고는 노션 9절.

결과 (SCALE=2 30분, 1 vCPU×2 고정, sync 사용자 순환, 같은 데이터)

	처리량	핵심 API p95	5xx	미주입
수정 전 (A2)	182 RPS	23~25초	11.5k	41k
수정 후, sync 최적화 전 (B5~B7 평균)	248 RPS	13~19초	0.7k~12k	6k~19k
최종 (B8)	~475 RPS¹	1.5~2.3초	탐색만 503¹	247

¹ B8 은 직전 옛 코드 태스크가 남긴 30분 재구성 잠금 때문에 탐색·인기 목록 15% 가 503 으로 끝났다(그 몫을 뺀 유효 처리량). 그 밖의 API 는 정상.

• 처음 측정(B1 530 RPS)은 sync 가 값싼 429 로 많이 끝나 sync 부하가 수정 전의 40% 였다 — 공정 비교가 아니라 위 표로 바로잡았다.
• 스레드 덤프로 sync 가 일하는 요청 스레드의 72% 를 차지하는 것을 찾아 방 일괄 조회·신호 지연 읽기·V17 로 줄였다(sync p95 13~19초 → 1.7초).
• 장애 주입(태스크 중지·Redis 재부팅·RDS 강제 장애조치): 실패율 12.4% → 1.98%, Redis 유실 복구 25분+ → ~3분, RDS 장애조치 500 9천 건(55초) → 503 170건(28초).
• 300명 동시 참여(정원 100): 초과 0. 자정 넘김 3.5시간 소크: 345 RPS·실패 0.003%.
• 아직 SLO(1초)는 미달 — 다음 병목은 RDS CPU(80~90%)·ECS CPU. prod 는 지금 CPU 5% 라 그대로 두고, 문제 시 CPU 증설을 가장 먼저 검토한다.

커밋 (작업 단위)

커밋	무엇을 · 왜
fix: open-in-view 끔	가입 Gemini 심사 동안 커넥션을 쥐어 가입 60 동시에 풀 고갈 → 헬스체크 실패로 태스크 2대 동시 교체(502)
fix: 헬스체크 DB 제외	풀이 잠깐 차기만 해도 전 태스크 unhealthy
perf: 사용자 필요한 만큼만	방 홈 멤버 N+1(user_information·interests)·멤버 4번 로드, 로그인 users 3번
perf: 닉네임 점유 생성열	닉네임 확인이 users 전체(7.6천 행) 훑음
perf: 외부 랭킹 몇 문장	이탈마다 전역 락 + 방 수만큼 UPDATE
perf: 통계 재계산 합치기	같은 방 재계산이 이벤트마다 무제한 큐(@async) — 전용 4스레드·방별 한 번
perf: Redis 파이프라인	탐색·인기 방별 HGETALL 최대 100 왕복
perf: sync 신호 중복 읽기 제거	같은 날 신호 표를 6번씩
fix: SQS·S3 시간 제한	요청 스레드의 외부 호출 무기한
perf: 배치 전체 스캔·잠금 제거(V15)	고스트 푸시·활성화·완료·인기 배치가 표 전체를 FOR UPDATE 로 훑음, FCM 을 트랜잭션 안에서
perf: 인기 마감 근처만 세기·저장값으로 찬 방 생략	인기 목록 요청마다 방 멤버 수천 행 집계(느린 쿼리 1위)
perf: 인기 점수 바뀐 방만	5분마다 전 방 UPDATE
perf: 동의 상태·소셜 토큰 persist	가입 1건에 merge SELECT 12번 → 6번
perf: DB 불가 5초 503	커넥션 대기 30초 → 5초, 풀 초과·연결 끊김은 503 + Retry-After
fix: 계정 상태 필터 503	필터에서 풀 대기 초과가 /error 로 넘어가 401 LOGIN_REQUIRED(앱 로그아웃) — 300명 동시 참여에서 49건
fix: Redis 유실 복구	30분 재구성 잠금이 죽은 태스크에 묶임 → 2분 임대·연장, 워밍업은 통계 재계산 없이 바로, 파이프라인 1,000개 청크
perf: readOnlyPropagatesToServer=false	읽기 전용 트랜잭션마다 SET 2번(DB 왕복 ~10%)
perf: V16 (challenge_id, updated_at)	탐색 리비전·5분 보정이 방 멤버 전체 훑음(56만 행·74초)
perf: V17 (userId, dedupKey)	sync 다른 귀속일 중복 확인이 사용자 신호 전체를 훑음(느린 쿼리 4,358건/30분)
perf: sync 방 일괄·신호 지연 읽기	스레드 덤프에서 일하던 요청 스레드 72% 가 sync — 방마다 챌린지 PK 조회·확정된 날 신호까지 읽기
feat: 동시 API 상한(기본 끔)	급증 때 모두가 느려지는 대신 일찍 503 — APP_HTTP_MAX_INFLIGHT
perf: X-Ray 초당 1건+5%	DAU 2만에서 월 ~$135 → ~$23 (규칙은 prod 스크립트로 적용)
test: k6	SLO·업무 성공/거절·단계/급증·joinhot 동시 출발·sync 사용자 순환
chore: prod 사양 스크립트	infra/capacity/apply_prod_dau2.py — 헬스체크 관리 포트(8081)·메모리 정책 삭제·X-Ray, CPU 는 --cpu 줄 때만. main 머지 전에 사용자가 실행(온콜 중지 상태)

main 머지 전·후

• 전: PagerDuty 유지보수 창(온콜 중지) → python3 infra/capacity/apply_prod_dau2.py (CPU 는 그대로)
• 후: CD 성공·V12~V17·기동 로그·JVM 지표·탐색 200(옛 30분 재구성 잠금 주의)·ALARM 0 → 유지보수 창 종료

테스트

• ./gradlew test 1,483건 전부 통과(sync 최적화 반영 후, 2026-10-17)

🤖 Generated with Claude Code

[github-actions]

Test Coverage

Overall Project	82.91% -0.21%	🍏
Files changed	80.65%	🍏

File	Coverage
ErrorCode.java	100%	🍏
CrossRankingSnapshotService.java	100%	🍏
RoomService.java	98.21%	🍏
RankingService.java	96.51%	🍏
InflightLimitFilter.java	94.57% -5.43%	🍏
S3Config.java	93.68%	🍏
User.java	90.4%	🍏
LoginSessionService.java	89.52%	🍏
ExploreRedisStore.java	87.83% -0.41%	🍏
SocialToken.java	87.5% -12.5%	❌
TrendingService.java	85.83% -1.61%	🍏
ExploreIndexJobs.java	83.84% -4.91%	🍏
VerificationSignalReader.java	81.6% -0.59%	🍏
ChallengeStatsEventListener.java	80.47%	🍏
AuthService.java	78.35%	🍏
PopularityRefreshJob.java	77.17%	🍏
ExploreQueryService.java	71.88%	🍏
GlobalExceptionHandler.java	59.78% -0.36%	🍏
SqsNotificationQueue.java	59.38%	🍏
UserAgreementState.java	56.12% -8.16%	❌
GhostPushSetupReminderService.java	3.85% -69.23%	❌
InflightLimitConfig.java	0%	❌

[github-actions]

Test Coverage

There is no coverage information present for the Files changed

[github-actions]

Test Coverage

Overall Project	82.94% -0.21%	🍏
Files changed	81.4%	🍏

File	Coverage
ChallengeStatsEventListener.java	100%	🍏
ErrorCode.java	100%	🍏
CrossRankingSnapshotService.java	100%	🍏
AccountStatusFilter.java	99.01%	🍏
RoomService.java	98.21%	🍏
RankingService.java	96.51%	🍏
InflightLimitFilter.java	94.57% -5.43%	🍏
S3Config.java	93.68%	🍏
User.java	90.4%	🍏
LoginSessionService.java	89.52%	🍏
ExploreRedisStore.java	87.83% -0.41%	🍏
SocialToken.java	87.5% -12.5%	❌
TrendingService.java	85.83% -1.61%	🍏
ExploreIndexJobs.java	83.84% -4.91%	🍏
VerificationSignalReader.java	81.6% -0.59%	🍏
AuthService.java	78.35%	🍏
PopularityRefreshJob.java	77.17%	🍏
ExploreQueryService.java	71.88%	🍏
GlobalExceptionHandler.java	59.78% -0.36%	🍏
SqsNotificationQueue.java	59.38%	🍏
UserAgreementState.java	56.12% -8.16%	❌
GhostPushSetupReminderService.java	3.85% -69.23%	❌
InflightLimitConfig.java	0%	❌

[github-actions]

Test Coverage

Overall Project	82.92% -0.21%	🍏
Files changed	82.76%	🍏

File	Coverage
ErrorCode.java	100%	🍏
CrossRankingSnapshotService.java	100%	🍏
AccountStatusFilter.java	99.01%	🍏
RoomService.java	98.21%	🍏
RankingService.java	96.51%	🍏
ChallengeQueryService.java	96.23%	🍏
InflightLimitFilter.java	94.57% -5.43%	🍏
S3Config.java	93.68%	🍏
User.java	90.4%	🍏
LoginSessionService.java	89.52%	🍏
ExploreRedisStore.java	87.83% -0.41%	🍏
SocialToken.java	87.5% -12.5%	❌
VerificationSyncService.java	86.69%	🍏
TrendingService.java	85.83% -1.61%	🍏
ExploreIndexJobs.java	83.84% -4.91%	🍏
VerificationSignalReader.java	82.78% -0.56%	🍏
ChallengeStatsEventListener.java	80.47%	🍏
AuthService.java	78.35%	🍏
PopularityRefreshJob.java	77.17%	🍏
ExploreQueryService.java	71.88%	🍏
GlobalExceptionHandler.java	59.78% -0.36%	🍏
SqsNotificationQueue.java	59.38%	🍏
UserAgreementState.java	56.12% -8.16%	❌
GhostPushSetupReminderService.java	3.85% -69.23%	❌
InflightLimitConfig.java	0%	❌