Repository navigation
fix: janela das DAGs em BRT, não gravar conteúdo inválido (#65) e pular redatados - #69
Merged
Merged
Conversation
… (red) - test_dag_scrape_window: scrape_agencies e scrape_ebc calculam a janela em America/Sao_Paulo. Em UTC, das 22:00 às 23:59 BRT a data já é o dia seguinte, e nos 30 dias até 02/11/2026 não há nenhum artigo gov.br publicado nesse horário. - test_invalid_content (#65): "Error retrieving content", tela de login (texto ou redirect para require_login) e conteúdo vazio são pulados e contados (articles_skipped), sem chegar ao storage. - test_redated_filter: pula o item quando o created do Plone 6 é >= 30 dias anterior ao effective, ou quando a pasta /AAAA/MM/ da URL é anterior à data da listagem por mais de 1 mês. Os casos vêm do backfill pós-defeso (capes, servidor, mcti, mcom e pf). SCRAPER_REDATED_FILTER=observe só loga. Falham na main: as funções e módulos vêm no próximo commit.
…atados (a) As DAGs scrape_agencies e scrape_ebc passam a calcular a janela (_scrape_window) em America/Sao_Paulo, de 1 hora antes da execução até a execução. Em UTC, das 22:00 às 23:59 BRT a data já é o dia seguinte e as notícias do dia em Brasília ficavam de fora: nos 30 dias até 02/11/2026 não há nenhum artigo gov.br publicado nesse horário. O tamanho da janela não muda, então o custo por execução também não. Usa timezone.utc em vez de datetime.UTC para não depender da versão do Python do Composer. (b) Conteúdo inválido não é gravado (refs #65). O ScrapeManager descarta antes do insert: - "Error retrieving content"; - tela de login do Plone: redirect para require_login/acl_users, detectado em get_article_content, ou o texto "necessário autenticar para visualizar"; - conteúdo vazio. Cada item é logado (skipped_invalid_content) e o total vai para articles_skipped na resposta da API. A URL não é gravada, então fica fora de known_urls e o artigo é tentado de novo enquanto estiver na janela. (c) Filtro conservador de redatados (redated.py), avaliado antes de baixar o artigo e antes da cerca de URLs conhecidas: - Plone 6: created 30 dias ou mais antes do effective; - HTML: pasta /AAAA/MM/ ou /AAAA/<mês>/ da URL anterior ao mês da listagem por mais de 1 mês. Loga skipped_redated. SCRAPER_REDATED_FILTER=observe só loga (redated_observed). Na medição em leitura dos últimos 90 dias, as regras só disparam nas ondas de republicação pós-defeso.
nitaibezerra
added a commit
that referenced
this pull request
Nov 3, 2026
…m pendulum) (#70) O logical_date do Airflow é pendulum.DateTime: astimezone(ZoneInfo) + timedelta inverteu a janela das 21:00 às 23:59 BRT (start 03/11, end 02/11). _scrape_window agora usa datetime.fromtimestamp(logical_date.timestamp(), tz=America/Sao_Paulo).
nitaibezerra
added a commit
that referenced
this pull request
Nov 3, 2026
Só ordena imports (ruff I001) em test_invalid_content.py e test_redated_filter.py; sem mudança de comportamento.
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
Resumo
Ajustes que saíram do backfill pós-defeso (#68):
scrape_*passa a ser calculada no horário de Brasília. Hoje, das 22:00 às 23:59 BRT, a janela em UTC já está no dia seguinte e perde as notícias desse horário."Error retrieving content"e conteúdo vazio (refs Tela de login ("É necessário autenticar…") e "Error retrieving content" gravados como conteúdo de notícia #65).(a) Janela das DAGs em BRT
min_date = (logical_date - 1h).dateemax_date = logical_date.date, em UTC. As listagens gov.br e EBC datam as notícias em BRT. Das 22:00 às 23:59 BRT (01:00–02:59Z), a janela já é o dia seguinte e a notícia do dia não entra._scrape_window(logical_date), emAmerica/Sao_Paulo, nas duas DAGs. Mantém a sobreposição de 1 hora na virada do dia. Datetime sem fuso é tratado como UTC. Usotimezone.utc, e nãodatetime.UTC, porque o arquivo roda no Python do Composer.allow_update=falseseguem iguais, e confiroarticles_scrapede o tempo médio por execução antes e depois do deploy.EBCWebScrapernão tem cerca de URLs conhecidas, então D-1 dobraria o trabalho da EBC a cada 10 min.fetch_pagefaz até 5 tentativas). D-1 dobraria essa janela.(b) Não gravar conteúdo inválido (refs #65)
ScrapeManagerdescarta antes do insert, nos dois caminhos (sequencial e em lote), e loga cada item comskipped_invalid_content agency=… reason=… url=…. Os motivos são:error_content:"Error retrieving content";login_page: redirect pararequire_login/acl_users, detectado emget_article_content, ou o texto "necessário autenticar para visualizar";empty_content: conteúdo vazio.articles_skipped, campo novo e opcional na resposta da API, e para a linhascrape_skipped agency=… invalid_content=N redated=M.known_urlse o artigo é tentado de novo enquanto estiver na janela. Era o que o Tela de login ("É necessário autenticar…") e "Error retrieving content" gravados como conteúdo de notícia #65 pedia: recapturar quando o artigo ficar público..pdf,.pptx, imagens) e o acervo histórico (238 telas de login e 525 "Error retrieving content")."Error retrieving content", gravadas no backfill do fix: reverter URLs do defeso eleitoral 2026 e corrigir URLs quebradas do #61 #68 (o site dá 500), já foram removidas à parte, com backup.(c) Filtro conservador de redatados
Depois do defeso, vários sites republicaram conteúdo antigo com data nova. A data nova aparece também na página do artigo. Como o
unique_idusa título +published_at, essas notícias entravam como novas e com a data errada.O filtro (
redated.py) roda antes de baixar o artigo e antes da cerca de URLs conhecidas. Cada item pulado é logado comoskipped_redated agency=… signal=… url=….createdé 30 dias ou mais anterior aoeffective./AAAA/MM/ou/AAAA/<mês>/da URL é anterior ao mês da data da listagem por mais de 1 mês. Pasta do mês anterior passa (publicação na virada do mês). Pasta sem mês reconhecível, comocopy_of_10, também passa.SCRAPER_REDATED_FILTER=observe, como env da API, desliga o pulo e só loga (redated_observed). Ficou em modo skip, pela medição abaixo.Medição de falso positivo (leitura, 90 dias até 03/11/2026)
HTML, no banco.
Plone 6, nas APIs (
created×effective).Foram 2.708 itens de 61 órgãos; museudoindio e propriedade-intelectual dão 401.
Distribuição do intervalo entre
createdeeffective:Os 382 caem todos em republicações em lote de um dia: florestal 113 (29/10), anatel 59 (27/10), turismo 44 (26/10), portos 35, iphan 31, ibict 25 (04/09), esd 20, funai 16, transportes 16, capes 7…
Os casos de fronteira também são republicação ou duplicata:
Os 20 itens de 7 a 30 dias são rascunhos e itens retidos no defeso. Ficam abaixo do limiar, de propósito.
Os 7 suspeitos do backfill do #68.
createdem 2022 ou 2024 → pulados./2024/…→ pulado.Teste ao vivo (listagem real, sem gravar):
/2026/agosto/), 30 mantidos.Achado: redatados que já entraram em produção (fora deste PR)
A onda de 26–29/10 entrou pelas DAGs regulares, antes deste filtro:
Limpar exige decisão à parte: é escrita, inclusive no Typesense.
Fallback sem
known_urls(follow-up, não alterado aqui)plone6_api). Ainda há 14 agências em fallback permanente: inma, corregedorias, ines, funag, ird, cetene, anvisa, empresas-e-negocios, senappen, conitec, aneel, lncc, tesouronacional e mpa.known_urls=set()e re-raspa a janela inteira a cada 10 min.scraper_type: plone6_apinosite_urls.yaml, validando agência por agência.Testes
test: … (red)comtest_dag_scrape_window.py,test_invalid_content.pyetest_redated_filter.py;fix: …com a implementação;contentganharam o campo.pytest -m "not integration": 755 passed (704 na main + 51 novos).ruff check/format: OK.pre-commitnos arquivos alterados: OK..secrets.baselinesó mudam os números de linha doCLAUDE.md.Depois do merge
scraper-api-deployecomposer-deploy-dags.not found in serialized_dag, DagRunrunningsem TIs, agências semscrape_run. Se aparecer, só reportar; a correção (dags delete) precisa de aprovação.articles_scrapede tempo por execução) antes e depois.🤖 Generated with Claude Code