release: DAU 2만 2차 성능·안정성 + 기상·스크린타임 인증 보정 (10/15~10/17 dev)

.github/workflows/ci.yml

@@ -35,6 +35,8 @@ jobs:
         run: python3 -m unittest discover -s infra/monitoring/lambdas/tests -v
       - name: Alarm catalog
         run: python3 -c "import sys,types; sys.modules['boto3']=types.ModuleType('boto3'); sys.path.insert(0,'infra/monitoring/alerting'); import unittest; r=unittest.main(module='tests_catalog', argv=['x','-v'], exit=False); sys.exit(not r.result.wasSuccessful())"
+      - name: On-call (PagerDuty)
+        run: python3 -c "import sys,types; sys.modules['boto3']=types.ModuleType('boto3'); sys.path.insert(0,'infra/monitoring/alerting'); import unittest; r=unittest.main(module='tests_pagerduty', argv=['x','-v'], exit=False); sys.exit(not r.result.wasSuccessful())"
       - name: Deployment preflight
         run: python3 -m unittest discover -s .github/scripts -p 'test_*.py' -v
 

Dockerfile.deploy

@@ -14,5 +14,9 @@ ARG ADOT_JAVA_AGENT_VERSION=v2.31.0
 ADD https://github.com/aws-observability/aws-otel-java-instrumentation/releases/download/${ADOT_JAVA_AGENT_VERSION}/aws-opentelemetry-agent.jar /app/otel/aws-opentelemetry-agent.jar
 COPY --from=build /src/build/libs/*.jar app.jar
 COPY infra/monitoring/tracing/entrypoint.sh /app/entrypoint.sh
+# glibc 는 스레드마다 64MB 단위 malloc 아레나를 늘려 가며 돌려주지 않는다. stg(1GB 태스크)에서 JVM RSS 800MB 중
+# 힙은 256MB 였고 아레나가 ~200MB 를 차지해, 하루쯤마다 하드 메모리 80% 경보(ECS-06-80)를 다시 울렸다(2026-10-14 smaps 실측).
+# 아레나 수를 묶으면 네이티브 할당이 몇 개 아레나를 같이 쓰게 되어 RSS 가 천천히 차오르지 않는다.
+ENV MALLOC_ARENA_MAX=2
 EXPOSE 8080
 ENTRYPOINT ["sh","/app/entrypoint.sh"]

infra/capacity/apply_prod_dau2.py

@@ -0,0 +1,100 @@
+"""prod 사양 조정 — DAU 2만 부하테스트(2026-10-16~17, 노션 「부하테스트 및 성능개선」 9절) 결론. 재실행 안전.
+사용자가 직접 실행한다(main 머지 **전에**, 온콜 중지 상태에서): python3 infra/capacity/apply_prod_dau2.py [--cpu 1024] [--max-inflight 64]
+
+main CD 는 서비스의 현재 태스크 정의를 그대로 두고 이미지만 바꿔 다시 띄운다. 그래서 사양은 여기서 먼저 바꿔 둔다.
+  1. (선택 --cpu 1024) ECS 1 vCPU — 0.5 vCPU 는 피크 전에 CPU 100% 로 막힌다(1차 시험). 2026-10-17 결정: 지금 규모(prod CPU
+     평균 5%)에선 올리지 않고, 지연·오류가 생기면 **가장 먼저** 이걸로 올린다. 기본은 현재 CPU 를 그대로 둔다.
+  2. 헬스체크를 관리 포트(8081)로 분리 — 급증 때 요청 스레드 200개가 다 차면 /actuator/health 도 줄을 서 5초를 넘기고,
+     ECS 가 멀쩡한 태스크를 연달아 교체했다(2차 급증 시험). 관리 포트는 자기 Tomcat 커넥터를 따로 쓴다.
+     끊김 없이 옮기는 순서: ALB→ECS 8081 허용 → 헬스체크 경로를 옛·새 태스크 모두 응답하는 /health/public 으로
+     → MANAGEMENT_SERVER_PORT=8081 로 배포 → 헬스체크를 8081 /actuator/health 로. 순서를 바꾸면 전부 unhealthy 다.
+  3. 메모리 75% 오토스케일 정책 삭제 — 부하를 한 번 받은 태스크는 힙을 다 커밋한 채 메모리 90% 에 머물러(누수 아님)
+     CPU 가 한가해도 태스크를 늘렸다. 태스크를 늘리면 RDS 커넥션만 늘어 오히려 느려진다(2차: 4대에서 RDS CPU 96%).
+  4. X-Ray API 규칙 초당 1건 + 5% — DAU 2만이면 초당 10건 + 10% 로 월 ~$135(코드 커밋 5e501ec 와 같은 값).
+  5. (선택) --max-inflight N: 태스크당 동시 API 요청 상한(APP_HTTP_MAX_INFLIGHT). 넘치면 1초 뒤 503 + Retry-After.
+RDS 는 바꾸지 않는다 — t4g.medium 도 2 vCPU 라 CPU 병목에 효과가 없었다(2차 D1·D2)."""
+import argparse, time, boto3
+
+R = 'ap-northeast-2'
+CLUSTER, SERVICE, TG_NAME = 'ruleup-prod-cluster', 'ruleup-prod-api', 'ruleup-prod-tg'
+ALB_SG, ECS_SG = 'sg-03f6935fe4c111e77', 'sg-0ce610d9387070705'
+MGMT = 8081
+
+ap = argparse.ArgumentParser()
+ap.add_argument('--cpu', default=None, help='태스크 CPU 단위(예: 1024). 생략하면 현재 값 유지')
+ap.add_argument('--max-inflight', type=int, default=None)
+args = ap.parse_args()
+
+ecs = boto3.client('ecs', region_name=R); elb = boto3.client('elbv2', region_name=R)
+ec2 = boto3.client('ec2', region_name=R); aas = boto3.client('application-autoscaling', region_name=R)
+xray = boto3.client('xray', region_name=R)
+tg = elb.describe_target_groups(Names=[TG_NAME])['TargetGroups'][0]
+TG = tg['TargetGroupArn']
+
+
+def wait_healthy(label):
+    for _ in range(40):
+        states = [t['TargetHealth']['State'] for t in elb.describe_target_health(TargetGroupArn=TG)['TargetHealthDescriptions']]
+        if states and all(s == 'healthy' for s in states):
+            print(f'  {label}: healthy {len(states)}대'); return
+        time.sleep(15)
+    raise SystemExit(f'중단 — {label} 뒤 대상이 healthy 가 아니다: {states}. 헬스체크를 traffic-port·/actuator/health 로 되돌리고 확인할 것.')
+
+
+# 1) ALB → ECS 8081
+try:
+    ec2.authorize_security_group_ingress(GroupId=ECS_SG, IpPermissions=[{'IpProtocol': 'tcp', 'FromPort': MGMT, 'ToPort': MGMT,
+        'UserIdGroupPairs': [{'GroupId': ALB_SG, 'Description': 'ALB health check (management port)'}]}])
+    print('SG: ALB → ECS 8081 허용')
+except ec2.exceptions.ClientError as e:
+    if 'Duplicate' not in str(e): raise
+    print('SG: 이미 허용됨')
+
+# 2) 옛·새 태스크 모두 응답하는 경로로
+if str(tg.get('HealthCheckPort')) != str(MGMT):
+    elb.modify_target_group(TargetGroupArn=TG, HealthCheckPort='traffic-port', HealthCheckPath='/health/public')
+    print('헬스체크: traffic-port /health/public (전환용)'); time.sleep(40); wait_healthy('전환 경로')
+
+# 3) 태스크 정의: 관리 포트 · (선택) CPU · (선택) 동시 상한
+svc = ecs.describe_services(cluster=CLUSTER, services=[SERVICE])['services'][0]
+td = ecs.describe_task_definition(taskDefinition=svc['taskDefinition'])['taskDefinition']
+c = next(x for x in td['containerDefinitions'] if x['name'] == 'api')
+env = {e['name']: e['value'] for e in c.get('environment', [])}
+want = {'MANAGEMENT_SERVER_PORT': str(MGMT)}
+if args.max_inflight: want['APP_HTTP_MAX_INFLIGHT'] = str(args.max_inflight)
+cpu = args.cpu or td['cpu']
+ports = c.get('portMappings', [])
+if td['cpu'] != cpu or any(env.get(k) != v for k, v in want.items()) or not any(p['containerPort'] == MGMT for p in ports):
+    env.update(want); c['environment'] = [{'name': k, 'value': v} for k, v in sorted(env.items())]
+    if not any(p['containerPort'] == MGMT for p in ports): ports.append({'containerPort': MGMT, 'hostPort': MGMT, 'protocol': 'tcp'})
+    c['portMappings'] = ports
+    if c.get('cpu'): c['cpu'] = int(cpu)
+    keep = ['family', 'taskRoleArn', 'executionRoleArn', 'networkMode', 'containerDefinitions', 'volumes', 'placementConstraints',
+            'requiresCompatibilities', 'runtimePlatform', 'ephemeralStorage', 'pidMode', 'ipcMode', 'proxyConfiguration']
+    kw = {k: td[k] for k in keep if td.get(k) not in (None, [])}
+    new = ecs.register_task_definition(cpu=cpu, memory=td['memory'], **kw)['taskDefinition']['taskDefinitionArn']
+    ecs.update_service(cluster=CLUSTER, service=SERVICE, taskDefinition=new)
+    print(f'ECS: {new.split("/")[-1]} 배포 — CPU {cpu}, 관리 포트 {MGMT}' + (f', 동시 상한 {args.max_inflight}' if args.max_inflight else ''))
+    ecs.get_waiter('services_stable').wait(cluster=CLUSTER, services=[SERVICE], WaiterConfig={'Delay': 15, 'MaxAttempts': 60})
+    wait_healthy('새 태스크(전환 경로)')
+else:
+    print('ECS: 이미 반영됨')
+
+# 4) 헬스체크를 관리 포트로
+if str(tg.get('HealthCheckPort')) != str(MGMT):
+    elb.modify_target_group(TargetGroupArn=TG, HealthCheckPort=str(MGMT), HealthCheckPath='/actuator/health')
+    print(f'헬스체크: {MGMT} /actuator/health'); time.sleep(40); wait_healthy('관리 포트')
+
+# 5) 메모리 오토스케일 정책 삭제(CPU 60% 는 유지)
+for p in aas.describe_scaling_policies(ServiceNamespace='ecs', ResourceId=f'service/{CLUSTER}/{SERVICE}')['ScalingPolicies']:
+    if p['TargetTrackingScalingPolicyConfiguration']['PredefinedMetricSpecification']['PredefinedMetricType'] == 'ECSServiceAverageMemoryUtilization':
+        aas.delete_scaling_policy(PolicyName=p['PolicyName'], ServiceNamespace='ecs', ResourceId=p['ResourceId'],
+                                  ScalableDimension=p['ScalableDimension'])
+        print(f'오토스케일: {p["PolicyName"]} 삭제')
+
+# 6) X-Ray API 규칙
+rule = next((r['SamplingRule'] for r in xray.get_sampling_rules()['SamplingRuleRecords'] if r['SamplingRule']['RuleName'] == 'ruleup-api'), None)
+if rule and (rule['FixedRate'] != 0.05 or rule['ReservoirSize'] != 1):
+    xray.update_sampling_rule(SamplingRuleUpdate={'RuleName': 'ruleup-api', 'FixedRate': 0.05, 'ReservoirSize': 1})
+    print('X-Ray: ruleup-api 초당 1건 + 5%')
+print('완료 — 이제 main 머지(CD 가 새 이미지로 같은 태스크 정의를 다시 띄운다)')

infra/loadtest/README.md

@@ -0,0 +1,48 @@
+# 부하·성능 테스트 (k6)
+
+2026-10 부하테스트에서 쓴 시나리오. 결과·개선 내역은 노션 「부하테스트 및 성능개선」.
+
+## 준비 (stg 만)
+
+| 무엇 | 어떻게 |
+|---|---|
+| 로그인 우회 | 태스크 정의 env `OAUTH_LOAD_TEST_ENABLED=true` — IdP 호출만 빼고 실제 로그인 트랜잭션을 탄다(`LoadTestOAuthGate`, prod 프로파일엔 빈이 없다). `code=loadtest-<id>`, `codeVerifier=<DEV_TOKEN_SECRET>` |
+| AI 초안 한도 | `APP_CHALLENGE_DRAFT_RATE_LIMIT_PER_MINUTE` (기본 10) |
+| prod 와 같은 조건 | 태스크 0.5 vCPU/2GB·2대(오토스케일 2~4, CPU 60%·메모리 75%), `JAVA_TOOL_OPTIONS=-XX:MaxRAMPercentage=60`, Hikari 15, RDS Multi-AZ, **DB 접속 `sslMode=REQUIRED`**(stg 기본 주소는 `useSSL=false` 라 그대로 재면 prod 보다 좋게 나온다) |
+| Cloudflare 건너뛰기 | `-e ALB_IP=<stg ALB IP>` — TLS SNI·Host 는 도메인 그대로. 서버만 잰다 |
+
+끝나면 반드시 되돌린다 — 우회 스위치 끄기, 스펙·Multi-AZ·오토스케일 원복.
+
+## 실행
+
+```sh
+export LT_SECRET=...   # stg 시크릿 ruleup-stg/app 의 DEV_TOKEN_SECRET. 저장소에 두지 않는다
+k6 run -e LT_SECRET=$LT_SECRET -e ALB_IP=3.37.221.3 -e RUN_ID=lt2 -e USERS=3000 -e SCENARIO=seed -e VUS=25 infra/loadtest/k6/ruleup.js
+k6 run ... -e SCENARIO=seedjoin ...           # 가입·방 생성 뒤 남의 방 2곳 가입(사용자당 참여 방 3개 안팎)
+k6 run ... -e SCENARIO=peak -e SCALE=1 -e DURATION=5m infra/loadtest/k6/ruleup.js
+```
+
+| SCENARIO | 내용 |
+|---|---|
+| `smoke.js` | 주요 API 를 한 번씩 — 계약 오류부터 거른다 |
+| `seed` / `seedjoin` | 가짜 사용자 가입·공개 방 생성 / 남의 방 가입 |
+| `login` | 아침 몰림 — 로그인 + 홈 + 리프레시, 초당 `RATE` |
+| `browse` | 앱 열기·탐색(같은 정렬로 2페이지)·상세·내 방·마이페이지, 동시 `VUS` |
+| `create` | 템플릿 초안 → 생성, 초당 `RATE` |
+| `aidraft` | AI 초안(실제 LLM), 동시 `VUS` |
+| `sync` | 건강정보 동의 → 인증 신호 업로드(backlog=true, 사용자당 10초 간격 — 429 는 정상 거절) |
+| `peak` | 위를 실사용 비율로 섞음: 평상시(5분) → 피크(동시 400·로그인 15/s·sync 20/s·생성 3/s·가입 4/s, `DURATION`) → 마무리. `SCALE=2` 면 2배 |
+| `breakpoint` | 동시 사용자를 200→2000 까지 2분씩 올리며 오류 5% 에서 멈춘다 |
+
+임계값은 노션 SLO(로그인 3초·리프레시 1초·탐색/상세 1초·가입 1.5초·sync 3초·오늘/진행률 1초, p95)와 5xx 0건.
+
+## 함정
+
+- 시작일이 「내일」인 방을 대량으로 만들면 **자정에 한꺼번에 ACTIVE** 가 되어 그 뒤 측정의 데이터 모양이 바뀐다. 비교는 같은 데이터 상태에서 연달아 돈다.
+- 같은 사용자 묶음으로 피크를 여러 번 돌리면 사용자당 참여 방이 계속 늘어난다(생성·가입). 비교마다 새 `RUN_ID` 로 시드하거나 순서를 붙여 돈다.
+- Hikari `connection-timeout` 은 env 로 넣으면 「pool is sealed」로 기동 실패한다(풀이 먼저 시작됨).
+- 비교 중에는 오토스케일 최대를 2로 묶어 2대에서 출발시키고, 시험 직전에 4로 푼다(앞 시험이 늘린 태스크가 남으면 출발점이 달라진다).
+- 측정 중 로컬에서 gradle·docker 빌드를 돌리지 않는다(부하 발생기와 CPU 를 나눠 쓴다).
+- 액세스 토큰은 30분이다. VU 가 오래 쥐는 세션은 `mine()` 이 25분마다 갱신한다 — 안 그러면 30분 넘는 시험 끝물이 전부 401 이다.
+- 부하를 한 번 크게 받은 태스크는 힙을 다 커밋한 채 메모리 90% 에 머문다(누수 아님 — 장시간 시험에서 평평). 메모리 75% 오토스케일 정책은 그 뒤 CPU 가 한가해도 태스크를 늘린다. 태스크 수 비교는 새로 뜬 태스크에서 한다.
+- 피크에서 X-Ray 전송이 계정 한도(429)에 걸리고 에이전트 스팬 큐가 넘친다 — `ruleup-api` 샘플링 규칙이 100% 면 그렇다.