Skip to content

feat(verify): GSMArena source_urls backfill tool (dry-run validated) - #70

Merged
Seungpyo1007 merged 2 commits into
mainfrom
Seungpyo1007/feat-gsmarena-backfill
Sep 22, 2026
Merged

Seungpyo1007 merged 2 commits into
mainfrom
Seungpyo1007/feat-gsmarena-backfill

Conversation

@Seungpyo1007

Copy link
Copy Markdown
Member

검증률 병목 해결: 스마트폰 레코드 중 Tier-3(kaggle.com)만 source_urls로 갖고 있어 완성도와 무관하게 영원히 yellow에 갇힌 케이스(실제 출처는 이미 Tier-2로 신뢰되는 gsmarena.com)를 위한 백필 도구.

구성

  • app/verify/gsmarena_backfill.py — sitemap 기반 slug→URL 인덱스, crossref.py의 Fetcher 프로토콜/정확매칭 재사용, http_check.py liveness 재사용, CONFIRM/AMBIGUOUS/NOTFOUND/CONTRADICT 2단 검증 게이트.
  • tests/verify/test_gsmarena_backfill.py

Dry-run 결과 (47건, gsmarena.com 429로 중단)

  • CONFIRM 45 (96%), AMBIGUOUS 1, NOTFOUND 1, CONTRADICT 0
  • CONFIRM 중 27건이 ram_gb만 불일치 — 조사 결과 우리 쪽 기존 데이터 품질 이슈로 확인(예: Acer beTouch E100 실제 256MB인데 ram_gb=1로 잘못 기록), URL 매칭 자체는 안전.

실행 전 보완 (이번 PR에 포함)

  • 429 Retry-After 실제 준수(최대 5분, 초과 시 안전 중단 — 10시간 대기 방지)
  • source_urls 쓰기 성공(파일 존재/JSON/HEAD 내용 일치/원자적 쓰기) 확인 후에만 CONFIRM 캐시
  • 판정과 쓰기 사이 파일 변경/부재(sparse-checkout) 안전 처리

상태

도구만 병합 대상. 실제 TechAPI source_urls 갱신(대상 약 2,224개 gsmarena 페이지, 관련 레코드 다건)은 gsmarena.com 요청 제한이 풀린 뒤(오늘 03:00 UTC 기준 약 10시간 후) 별도로 실행.

@Seungpyo1007 Seungpyo1007 added the enhancement New feature or request label Sep 22, 2026
@Seungpyo1007
Seungpyo1007 merged commit 48987e2 into main Sep 22, 2026
1 check passed
@Seungpyo1007
Seungpyo1007 deleted the Seungpyo1007/feat-gsmarena-backfill branch September 23, 2026 12:27
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

enhancement New feature or request

Projects

Status: Done

Development

Successfully merging this pull request may close these issues.

1 participant