Repository navigation
fix: scraper falha rápido em 4xx/login e corrige 12 agências (Onda 1, infra#223) - #74
Merged
Merged
Conversation
O @Retry repetia qualquer RequestException 5 vezes (delay=2, backoff=3, jitter 1-3 s), inclusive 404 e 401: ~116 s de espera por chamada que nunca ia dar certo, 86% do tempo faturável da scraper-api (infra#223). - http_policy.py: 4xx (menos 408 e 429) levanta PermanentHTTPError (subclasse de ScrapingError, não de RequestException) sem retry; 5xx, 408, 429, timeout e conexão repetem com tries=3, delay=1, backoff=2, jitter 0-1 s; timeout=(5, 15). Vale para WebScraper, Plone6APIScraper e EBCWebScraper. - Listagem que redireciona para o login do Plone (primeira página) levanta LoginRedirectError; o ScrapeManager não tenta o fallback Plone 6 em PermanentHTTPError. - classify_exception passa o http_status: 404/410 -> URL_BROKEN; nova categoria ACCESS_DENIED para 401/403 e redirect para login (403 era URL_BROKEN). - EBC: o @Retry envolvia o try/except que devolvia None e nunca repetia; agora repete erro transitório e continua devolvendo None na falha.
O minuto era idx % 10 sobre a lista só das ativas, então cada desativação deslocava o schedule de quase todas as DAGs (mudança em massa que já deixou DagRun zumbi, ver runbook "DAG de Agência Travada"). Agora o índice é calculado sobre todas as chaves do site_urls.yaml, inclusive inativas (_minute_offsets), e só as ativas viram DAG. Este deploy muda o minuto de quase todas as DAGs uma única vez.
Corrigidas (validadas localmente só com as classes de scraper, sem banco): - ana e museus: voltam à URL original (fim do defeso), com html; - fnde: volta à URL original com plone6_api (API: 200, 1.888 itens); - igualdaderacial: assuntos/noticias com plone6_api (API: 200, 686 itens). Desativadas em 2026-11-11 (active: false, URL mantida): - acessoainformacao, governodigital, sri: listagem redireciona para login; - museudoindio: 401; mds e senappen: 404; - sudam e ctir: listagem sem itens de 2026. Testes: ana e museus saem da DEFESO_ALLOWLIST; senappen sai da lista de migração para plone6_api; test_affected_agencies não indexa mais agência inativa no nível do módulo (KeyError na coleta derrubava até -m "not integration").
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
Parte da Onda 1 de redução de custos do GCP (destaquesgovbr/infra#223).
Motivo
A
destaquesgovbr-scraper-apicusta ~US$ 115/mês, e 86% do tempo faturável vem de chamadas que falham, que levam em média 116 s cada. A causa é o@retry(exceptions=RequestException, tries=5, delay=2, backoff=3, jitter=(1, 3)), que repete qualquer erro HTTP, inclusive 404 e 401. As esperas somam 2 + ~8 + ~26 + ~80 ≈ 116 s. Além disso, uma listagem que redireciona para o login chega como 200 sem itens, viraHTML_CHANGEDe aciona o fallback Plone 6, que gasta mais 116 s para falhar de novo. Por fim, a DAG ainda repete tudo 2 vezes (retries=2).Mudanças
1. Falhar rápido (
scrapers/http_policy.py,scrapers/errors.py)PermanentHTTPError(http_status, url)na primeira resposta. A classe herda deScrapingError, não deRequestException, então o@retrynão a repete.tries=3, delay=1, backoff=2, jitter=(0, 1), que dá ~3,5 s de espera no total.timeout=(5, 15)(connect, read) norequests.get. Antes eratimeout=20.WebScraper.fetch_page,Plone6APIScraper._fetch_api_pageeEBCWebScraper.fetch_page.@retryenvolvia umtry/exceptque devolviaNone, então nunca repetia nada. Agora o retry fica num_getinterno, efetch_pagecontinua devolvendoNonena falha (o contrato não muda).scrape_pagelevantaLoginRedirectError(subclasse dePermanentHTTPError) quando a primeira página da listagem cai emrequire_login/acl_users.ScrapeManager: emPermanentHTTPError, sobe o erro sem tentar o fallback Plone 6. O fallback emHTML_CHANGED("no articles") continua igual.classify_exception(e)passa ohttp_statusparaclassify_error.404/410→URL_BROKEN.ACCESS_DENIEDpara401/403e para redirect para login. Antes, 403 caía emURL_BROKEN.error_categoryéVARCHAR(50), então não precisa de migração.get_article_contentjá capturava qualquer exceção e devolvia "Error retrieving content". Agora isso acontece em ~0 s, e não depois de 116 s.2. Minuto estável das DAGs (
dags/scrape_agencies.py)O minuto era
idx % 10sobre a lista só das ativas, então cada desativação deslocava o schedule de quase todas as DAGs. Esse tipo de mudança em massa já deixou DagRun zumbi (docs/runbook.md, "DAG de Agência Travada"). Agora_minute_offsetscalcula o índice sobre todas as chaves do YAML, inclusive as inativas, e só as ativas viram DAG. Uma chave nova ainda desloca as que vêm depois dela na ordem alfabética.3.
site_urls.yaml(as duas cópias idênticas)anaassuntos/noticias-e-eventos/noticias(html)museusassuntos/noticias(html)fndenoticias-1/assuntos/noticias(plone6_api)igualdaderacialcopy2_of_noticias(html)assuntos/noticias(plone6_api)acessoainformacaoactive: falsegovernodigitalactive: falsesriactive: falsemuseudoindioactive: falsemdsactive: falsesenappenactive: falsesudamactive: falsectiractive: falseservicoscompartilhados,cidades,inmetro,mecAs desativadas guardam a URL,
disabled_reasonedisabled_date: "2026-11-11", no formato da entradalapoc.4. Testes
tests/unit/test_http_policy.py, com mocks derequests:sleep;timeout=(5, 15);LoginRedirectErrorsem chamar o fallback Plone 6, e é gravado comoACCESS_DENIED;URL_BROKENnolog_scrape_result;ACCESS_DENIED;HTML_CHANGEDainda aciona o fallback;test_error_classification.py: 403 →ACCESS_DENIED; casos de 401, 410, "login redirect" eclassify_exception.test_dag_scrape_agencies.py: os testes de offset agora exercitam_minute_offsetse os schedules gerados, em vez de reimplementar a fórmula. Dois casos novos: o índice conta as inativas, e desativar uma agência não muda o schedule das outras.test_affected_agencies.py: não indexa mais_ALL_URLS[key]de agência inativa no nível do módulo (o KeyError na coleta derrubava até-m "not integration"). Saemsudam,sriectir.test_plone6_agency_migration.py: saisenappen.test_site_urls_defeso.py: aDEFESO_ALLOWLISTfica vazia (saemanaemuseus).Resultados locais:
pytest -m "not integration": 833 passed, 42 deselected.pytest -m postgres, contra pgvector descartável em127.0.0.1:55432: 22 passed.ruff checkeruff format: OK.scripts/validate_site_urls.py: OK, 162 agências e cópia das DAGs sincronizada.pre-commit runnos arquivos alterados: tudo passou.Validação local das listagens. Só as classes de scraper, sem
ScrapeManager, sem storage, semDATABASE_URLe sem Pub/Sub, com janela de 10 a 11/11:LoginRedirectError/ACCESS_DENIEDem acessoainformacao, governodigital e sri;ACCESS_DENIEDem museudoindio;URL_BROKENem mds e senappen;HTML_CHANGEDem sudam e ctir.Efeito do deploy
composer-deploy-dags) e API (scraper-api-deploy).monitor_scraping_healthsó olha as ativas do YAML, então elas não vão alertar.running, seguir o runbook "DAG de Agência Travada (DagRun zumbi)" (docs/runbook.md).Como validar depois do deploy
Em
scrape_runs, a partir do deploy:E as 4 agências corrigidas devem ter
status = 'success'comarticles_scraped > 0ao longo do dia.🤖 Generated with Claude Code