Skip to content

fix: scraper falha rápido em 4xx/login e corrige 12 agências (Onda 1, infra#223) - #74

Merged
nitaibezerra merged 4 commits into
mainfrom
fix/onda1-fail-fast-agencias
Nov 11, 2026
Merged

nitaibezerra merged 4 commits into
mainfrom
fix/onda1-fail-fast-agencias

Conversation

@nitaibezerra

Copy link
Copy Markdown
Contributor

Parte da Onda 1 de redução de custos do GCP (destaquesgovbr/infra#223).

Motivo

A destaquesgovbr-scraper-api custa ~US$ 115/mês, e 86% do tempo faturável vem de chamadas que falham, que levam em média 116 s cada. A causa é o @retry(exceptions=RequestException, tries=5, delay=2, backoff=3, jitter=(1, 3)), que repete qualquer erro HTTP, inclusive 404 e 401. As esperas somam 2 + ~8 + ~26 + ~80 ≈ 116 s. Além disso, uma listagem que redireciona para o login chega como 200 sem itens, vira HTML_CHANGED e aciona o fallback Plone 6, que gasta mais 116 s para falhar de novo. Por fim, a DAG ainda repete tudo 2 vezes (retries=2).

Mudanças

1. Falhar rápido (scrapers/http_policy.py, scrapers/errors.py)

  • 4xx, menos 408 e 429: levanta PermanentHTTPError(http_status, url) na primeira resposta. A classe herda de ScrapingError, não de RequestException, então o @retry não a repete.
  • 5xx, 408, 429, timeout e conexão: retry com tries=3, delay=1, backoff=2, jitter=(0, 1), que dá ~3,5 s de espera no total.
  • timeout=(5, 15) (connect, read) no requests.get. Antes era timeout=20.
  • Vale para WebScraper.fetch_page, Plone6APIScraper._fetch_api_page e EBCWebScraper.fetch_page.
    • No EBC, o @retry envolvia um try/except que devolvia None, então nunca repetia nada. Agora o retry fica num _get interno, e fetch_page continua devolvendo None na falha (o contrato não muda).
  • Redirect para login:
    • scrape_page levanta LoginRedirectError (subclasse de PermanentHTTPError) quando a primeira página da listagem cai em require_login/acl_users.
    • Numa página seguinte, só encerra a paginação, como antes, para não perder o que já foi coletado.
    • O Plone 6 faz a mesma checagem na resposta da API.
  • ScrapeManager: em PermanentHTTPError, sobe o erro sem tentar o fallback Plone 6. O fallback em HTML_CHANGED ("no articles") continua igual.
  • Classificação:
    • classify_exception(e) passa o http_status para classify_error.
    • 404/410 → URL_BROKEN.
    • Nova categoria ACCESS_DENIED para 401/403 e para redirect para login. Antes, 403 caía em URL_BROKEN.
    • error_category é VARCHAR(50), então não precisa de migração.
  • Artigo individual com 4xx: get_article_content já capturava qualquer exceção e devolvia "Error retrieving content". Agora isso acontece em ~0 s, e não depois de 116 s.

2. Minuto estável das DAGs (dags/scrape_agencies.py)

O minuto era idx % 10 sobre a lista só das ativas, então cada desativação deslocava o schedule de quase todas as DAGs. Esse tipo de mudança em massa já deixou DagRun zumbi (docs/runbook.md, "DAG de Agência Travada"). Agora _minute_offsets calcula o índice sobre todas as chaves do YAML, inclusive as inativas, e só as ativas viram DAG. Uma chave nova ainda desloca as que vêm depois dela na ordem alfabética.

3. site_urls.yaml (as duas cópias idênticas)

Agência Ação Antes Depois Evidência
ana corrigida URL de defeso assuntos/noticias-e-eventos/noticias (html) 30 itens na 1ª página; 9 artigos em 10–11/11. A API Plone dá 404 nessa URL, então fica html
museus corrigida URL de defeso assuntos/noticias (html) 30 itens na 1ª página; 2 artigos em 10–11/11
fnde corrigida noticias-1/ assuntos/noticias (plone6_api) API: 200, 1.888 itens; 2 artigos em 10–11/11
igualdaderacial corrigida copy2_of_noticias (html) assuntos/noticias (plone6_api) API: 200, 686 itens; 2 artigos em 10–11/11
acessoainformacao desativada active: false redirect para login
governodigital desativada active: false redirect para login
sri desativada active: false redirect para login
museudoindio desativada active: false API: 401
mds desativada active: false 404
senappen desativada active: false API: 404
sudam desativada active: false listagem sem itens de 2026
ctir desativada active: false listagem sem itens de 2026
servicoscompartilhados, cidades, inmetro, mec mantidas sem mudança inconclusivas, investigar na issue separada

As desativadas guardam a URL, disabled_reason e disabled_date: "2026-11-11", no formato da entrada lapoc.

4. Testes

  • Novo tests/unit/test_http_policy.py, com mocks de requests:
    • 404/401/403/410 fazem uma chamada só, sem sleep;
    • 503/500/429/408 e timeout repetem 3 vezes;
    • 503 seguido de 200 devolve a resposta;
    • timeout=(5, 15);
    • esperas ≤ 4 s;
    • redirect para login levanta LoginRedirectError sem chamar o fallback Plone 6, e é gravado como ACCESS_DENIED;
    • 404 gera URL_BROKEN no log_scrape_result;
    • 401 do Plone 6 gera ACCESS_DENIED;
    • HTML_CHANGED ainda aciona o fallback;
    • EBC: 404 sem retry e 503 com retry.
  • test_error_classification.py: 403 → ACCESS_DENIED; casos de 401, 410, "login redirect" e classify_exception.
  • test_dag_scrape_agencies.py: os testes de offset agora exercitam _minute_offsets e os schedules gerados, em vez de reimplementar a fórmula. Dois casos novos: o índice conta as inativas, e desativar uma agência não muda o schedule das outras.
  • test_affected_agencies.py: não indexa mais _ALL_URLS[key] de agência inativa no nível do módulo (o KeyError na coleta derrubava até -m "not integration"). Saem sudam, sri e ctir.
  • test_plone6_agency_migration.py: sai senappen.
  • test_site_urls_defeso.py: a DEFESO_ALLOWLIST fica vazia (saem ana e museus).

Resultados locais:

  • pytest -m "not integration": 833 passed, 42 deselected.
  • pytest -m postgres, contra pgvector descartável em 127.0.0.1:55432: 22 passed.
  • ruff check e ruff format: OK.
  • scripts/validate_site_urls.py: OK, 162 agências e cópia das DAGs sincronizada.
  • pre-commit run nos arquivos alterados: tudo passou.

Validação local das listagens. Só as classes de scraper, sem ScrapeManager, sem storage, sem DATABASE_URL e sem Pub/Sub, com janela de 10 a 11/11:

  • as 4 corrigidas trazem artigos (tabela acima);
  • as 8 desativadas, com o código novo, falham em 0,2 a 1,4 s:
    • LoginRedirectError/ACCESS_DENIED em acessoainformacao, governodigital e sri;
    • 401/ACCESS_DENIED em museudoindio;
    • 404/URL_BROKEN em mds e senappen;
    • HTML_CHANGED em sudam e ctir.

Efeito do deploy

  • O merge dispara os dois deploys: DAGs (composer-deploy-dags) e API (scraper-api-deploy).
  • O minuto de 111 das 147 DAGs ativas muda uma única vez, por causa do índice estável. Depois disso, ativar ou desativar agência não mexe mais no schedule das outras.
  • As 8 DAGs desativadas somem do Composer. O monitor_scraping_health só olha as ativas do YAML, então elas não vão alertar.
  • Depois do deploy:
    • acompanhar o alerta "Agencias Sem Execucao" nas 2 h seguintes;
    • se aparecer DagRun preso em running, seguir o runbook "DAG de Agência Travada (DagRun zumbi)" (docs/runbook.md).

Como validar depois do deploy

Em scrape_runs, a partir do deploy:

-- Erros devem levar < 30 s (antes: ~116 s em média, até 2x com fallback).
-- Exceção: 3 timeouts seguidos chegam a ~64 s (3 x (5 + 15) s + ~4 s de espera).
SELECT error_category, COUNT(*), ROUND(AVG(execution_time_seconds)::numeric, 1) AS avg_s,
       MAX(execution_time_seconds) AS max_s
FROM scrape_runs
WHERE status = 'error' AND scraped_at > '<horário do deploy>'
GROUP BY error_category ORDER BY 2 DESC;

-- URL_BROKEN / ACCESS_DENIED devem aparecer (antes quase tudo caía em network_error/html_changed)
SELECT agency_key, error_category, execution_time_seconds, error_message
FROM scrape_runs
WHERE error_category IN ('url_broken', 'access_denied') AND scraped_at > '<horário do deploy>'
ORDER BY scraped_at DESC LIMIT 20;

E as 4 agências corrigidas devem ter status = 'success' com articles_scraped > 0 ao longo do dia.

🤖 Generated with Claude Code

O @Retry repetia qualquer RequestException 5 vezes (delay=2, backoff=3,
jitter 1-3 s), inclusive 404 e 401: ~116 s de espera por chamada que nunca ia
dar certo, 86% do tempo faturável da scraper-api (infra#223).

- http_policy.py: 4xx (menos 408 e 429) levanta PermanentHTTPError
  (subclasse de ScrapingError, não de RequestException) sem retry; 5xx, 408,
  429, timeout e conexão repetem com tries=3, delay=1, backoff=2, jitter 0-1 s;
  timeout=(5, 15). Vale para WebScraper, Plone6APIScraper e EBCWebScraper.
- Listagem que redireciona para o login do Plone (primeira página) levanta
  LoginRedirectError; o ScrapeManager não tenta o fallback Plone 6 em
  PermanentHTTPError.
- classify_exception passa o http_status: 404/410 -> URL_BROKEN; nova
  categoria ACCESS_DENIED para 401/403 e redirect para login (403 era
  URL_BROKEN).
- EBC: o @Retry envolvia o try/except que devolvia None e nunca repetia; agora
  repete erro transitório e continua devolvendo None na falha.
O minuto era idx % 10 sobre a lista só das ativas, então cada desativação
deslocava o schedule de quase todas as DAGs (mudança em massa que já deixou
DagRun zumbi, ver runbook "DAG de Agência Travada"). Agora o índice é calculado
sobre todas as chaves do site_urls.yaml, inclusive inativas
(_minute_offsets), e só as ativas viram DAG.

Este deploy muda o minuto de quase todas as DAGs uma única vez.
Corrigidas (validadas localmente só com as classes de scraper, sem banco):
- ana e museus: voltam à URL original (fim do defeso), com html;
- fnde: volta à URL original com plone6_api (API: 200, 1.888 itens);
- igualdaderacial: assuntos/noticias com plone6_api (API: 200, 686 itens).

Desativadas em 2026-11-11 (active: false, URL mantida):
- acessoainformacao, governodigital, sri: listagem redireciona para login;
- museudoindio: 401; mds e senappen: 404;
- sudam e ctir: listagem sem itens de 2026.

Testes: ana e museus saem da DEFESO_ALLOWLIST; senappen sai da lista de
migração para plone6_api; test_affected_agencies não indexa mais agência
inativa no nível do módulo (KeyError na coleta derrubava até
-m "not integration").
@nitaibezerra
nitaibezerra merged commit 8576f23 into main Nov 11, 2026
1 check passed
@nitaibezerra
nitaibezerra deleted the fix/onda1-fail-fast-agencias branch November 11, 2026 21:38
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant