Skip to content

fix: janela das DAGs em BRT, não gravar conteúdo inválido (#65) e pular redatados - #69

Merged
nitaibezerra merged 2 commits into
mainfrom
fix/ajustes-pos-defeso
Nov 3, 2026
Merged

nitaibezerra merged 2 commits into
mainfrom
fix/ajustes-pos-defeso

Conversation

@nitaibezerra

Copy link
Copy Markdown
Contributor

Resumo

Ajustes que saíram do backfill pós-defeso (#68):

⚠️ O merge redeploya a scraper-api (Cloud Run) e as DAGs (Composer). Desta vez o código de scrape_agencies.py e scrape_ebc.py muda. Isso gera DagVersion nova para todas as DAGs scrape_*, justamente o cenário dos DagRuns zumbis (runbook, "DAG de Agência Travada"). Depois do deploy, faço a checagem de zumbi e confiro execuções agendadas.

(a) Janela das DAGs em BRT

  • Como era: min_date = (logical_date - 1h).date e max_date = logical_date.date, em UTC. As listagens gov.br e EBC datam as notícias em BRT. Das 22:00 às 23:59 BRT (01:00–02:59Z), a janela já é o dia seguinte e a notícia do dia não entra.
  • Evidência: nos 30 dias até 02/11/2026, o banco não tem nenhum artigo gov.br com publicação entre 22h e 23h59 BRT. A EBC tem só 6 às 22h e nenhum às 23h.
  • Como fica: _scrape_window(logical_date), em America/Sao_Paulo, nas duas DAGs. Mantém a sobreposição de 1 hora na virada do dia. Datetime sem fuso é tratado como UTC. Uso timezone.utc, e não datetime.UTC, porque o arquivo roda no Python do Composer.
  • Custo: a janela tem o mesmo tamanho, só muda de fuso. Por isso o custo por execução não muda. A cerca de 3 URLs conhecidas e o allow_update=false seguem iguais, e confiro articles_scraped e o tempo médio por execução antes e depois do deploy.
  • Por que não D-1 inteiro: considerei e descartei.
    • O EBCWebScraper não tem cerca de URLs conhecidas, então D-1 dobraria o trabalho da EBC a cada 10 min.
    • Com (b), um artigo que dá 500 persistente passa a ser tentado de novo em toda execução enquanto estiver na janela (fetch_page faz até 5 tentativas). D-1 dobraria essa janela.

(b) Não gravar conteúdo inválido (refs #65)

(c) Filtro conservador de redatados

Depois do defeso, vários sites republicaram conteúdo antigo com data nova. A data nova aparece também na página do artigo. Como o unique_id usa título + published_at, essas notícias entravam como novas e com a data errada.

O filtro (redated.py) roda antes de baixar o artigo e antes da cerca de URLs conhecidas. Cada item pulado é logado como skipped_redated agency=… signal=… url=….

  • Plone 6 (API): pula quando created é 30 dias ou mais anterior ao effective.
  • HTML: pula quando a pasta /AAAA/MM/ ou /AAAA/<mês>/ da URL é anterior ao mês da data da listagem por mais de 1 mês. Pasta do mês anterior passa (publicação na virada do mês). Pasta sem mês reconhecível, como copy_of_10, também passa.
  • SCRAPER_REDATED_FILTER=observe, como env da API, desliga o pulo e só loga (redated_observed). Ficou em modo skip, pela medição abaixo.

Medição de falso positivo (leitura, 90 dias até 03/11/2026)

HTML, no banco.

  • 4.990 artigos com pasta de mês na URL. A regra pegaria 340, dos quais 337 foram publicados em 26–29/10, todos em lotes de um dia por órgão: mdic 96, planalto 68, gestao 38, portos-e-aeroportos 34, fazenda 20, mcom 16…
  • Os 3 anteriores a 26/10 são do conitec e duplicam notícias de 2024 e 2025.
  • Não encontrei nenhum falso positivo de rotina.

Plone 6, nas APIs (created × effective).

  • Foram 2.708 itens de 61 órgãos; museudoindio e propriedade-intelectual dão 401.

  • Distribuição do intervalo entre created e effective:

    Intervalo Itens
    < 1 dia 2.258
    1–7 dias 48
    7–30 dias 20
    ≥ 30 dias 382
  • Os 382 caem todos em republicações em lote de um dia: florestal 113 (29/10), anatel 59 (27/10), turismo 44 (26/10), portos 35, iphan 31, ibict 25 (04/09), esd 20, funai 16, transportes 16, capes 7…

  • Os casos de fronteira também são republicação ou duplicata:

    • aids, 39 d: o título já existe;
    • conitec, 42 d: o título já existe;
    • transportes, 87 d: "consulta pública a partir de 16 de julho", publicada em 26/09;
    • abc, 729 d.
  • Os 20 itens de 7 a 30 dias são rascunhos e itens retidos no defeso. Ficam abaixo do limiar, de propósito.

Os 7 suspeitos do backfill do #68.

  • capes 3: created em 2022 ou 2024 → pulados.
  • servidor 1: pasta /2024/… → pulado.
  • pf 2 e inss 1: títulos genéricos repetidos, notícias novas → mantidos, nenhuma regra pega.

Teste ao vivo (listagem real, sem gravar):

  • anatel em 27/10: 59 pulados, 2 mantidos;
  • mcom em 27/10: 30 pulados (/2026/agosto/), 30 mantidos.

Achado: redatados que já entraram em produção (fora deste PR)

A onda de 26–29/10 entrou pelas DAGs regulares, antes deste filtro:

  • cerca de 337 artigos HTML pegos pela regra da pasta;
  • cerca de 330 artigos Plone 6 já no banco pela URL, como florestal 113, anatel 59, portos 35 e iphan 31.

Limpar exige decisão à parte: é escrita, inclusive no Typesense.

Fallback sem known_urls (follow-up, não alterado aqui)

  • O turismo já saiu do fallback no fix: reverter URLs do defeso eleitoral 2026 e corrigir URLs quebradas do #61 #68 (plone6_api). Ainda há 14 agências em fallback permanente: inma, corregedorias, ines, funag, ird, cetene, anvisa, empresas-e-negocios, senappen, conitec, aneel, lncc, tesouronacional e mpa.
  • Nas últimas 24h elas regravaram 137 artigos para 2 novos. O fallback roda com known_urls=set() e re-raspa a janela inteira a cada 10 min.
  • A correção barata é a do turismo: scraper_type: plone6_api no site_urls.yaml, validando agência por agência.

Testes

  • TDD:
    • test: … (red) com test_dag_scrape_window.py, test_invalid_content.py e test_redated_filter.py;
    • fix: … com a implementação;
    • fixtures antigas que não tinham content ganharam o campo.
  • pytest -m "not integration": 755 passed (704 na main + 51 novos). ruff check/format: OK. pre-commit nos arquivos alterados: OK.
  • No .secrets.baseline só mudam os números de linha do CLAUDE.md.

Depois do merge

  1. Acompanhar scraper-api-deploy e composer-deploy-dags.
  2. Checar zumbis: not found in serialized_dag, DagRun running sem TIs, agências sem scrape_run. Se aparecer, só reportar; a correção (dags delete) precisa de aprovação.
  3. Confirmar execuções agendadas sem erro e o custo (articles_scraped e tempo por execução) antes e depois.

🤖 Generated with Claude Code

… (red)

- test_dag_scrape_window: scrape_agencies e scrape_ebc calculam a janela em
  America/Sao_Paulo. Em UTC, das 22:00 às 23:59 BRT a data já é o dia seguinte,
  e nos 30 dias até 02/11/2026 não há nenhum artigo gov.br publicado nesse
  horário.
- test_invalid_content (#65): "Error retrieving content", tela de login (texto
  ou redirect para require_login) e conteúdo vazio são pulados e contados
  (articles_skipped), sem chegar ao storage.
- test_redated_filter: pula o item quando o created do Plone 6 é >= 30 dias
  anterior ao effective, ou quando a pasta /AAAA/MM/ da URL é anterior à data
  da listagem por mais de 1 mês. Os casos vêm do backfill pós-defeso (capes,
  servidor, mcti, mcom e pf). SCRAPER_REDATED_FILTER=observe só loga.

Falham na main: as funções e módulos vêm no próximo commit.
…atados

(a) As DAGs scrape_agencies e scrape_ebc passam a calcular a janela
(_scrape_window) em America/Sao_Paulo, de 1 hora antes da execução até a
execução. Em UTC, das 22:00 às 23:59 BRT a data já é o dia seguinte e as
notícias do dia em Brasília ficavam de fora: nos 30 dias até 02/11/2026 não há
nenhum artigo gov.br publicado nesse horário. O tamanho da janela não muda,
então o custo por execução também não. Usa timezone.utc em vez de datetime.UTC
para não depender da versão do Python do Composer.

(b) Conteúdo inválido não é gravado (refs #65). O ScrapeManager descarta antes
do insert:
- "Error retrieving content";
- tela de login do Plone: redirect para require_login/acl_users, detectado em
  get_article_content, ou o texto "necessário autenticar para visualizar";
- conteúdo vazio.
Cada item é logado (skipped_invalid_content) e o total vai para
articles_skipped na resposta da API. A URL não é gravada, então fica fora de
known_urls e o artigo é tentado de novo enquanto estiver na janela.

(c) Filtro conservador de redatados (redated.py), avaliado antes de baixar o
artigo e antes da cerca de URLs conhecidas:
- Plone 6: created 30 dias ou mais antes do effective;
- HTML: pasta /AAAA/MM/ ou /AAAA/<mês>/ da URL anterior ao mês da listagem
  por mais de 1 mês.
Loga skipped_redated. SCRAPER_REDATED_FILTER=observe só loga
(redated_observed). Na medição em leitura dos últimos 90 dias, as regras só
disparam nas ondas de republicação pós-defeso.
@nitaibezerra
nitaibezerra merged commit aa43b26 into main Nov 3, 2026
1 check passed
nitaibezerra added a commit that referenced this pull request Nov 3, 2026
…m pendulum) (#70)

O logical_date do Airflow é pendulum.DateTime: astimezone(ZoneInfo) + timedelta inverteu a janela das 21:00 às 23:59 BRT (start 03/11, end 02/11). _scrape_window agora usa datetime.fromtimestamp(logical_date.timestamp(), tz=America/Sao_Paulo).
nitaibezerra added a commit that referenced this pull request Nov 3, 2026
Só ordena imports (ruff I001) em test_invalid_content.py e test_redated_filter.py; sem mudança de comportamento.
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant