Repository navigation
fix: reverter URLs do defeso eleitoral 2026 e corrigir URLs quebradas do #61 - #68
Merged
Merged
Conversation
…yaml (red) O defeso eleitoral 2026 acabou em 25/10, mas 14 agências do scraper#61 (e cnpq/casaruibarbosa) continuam apontando para a seção temporária. Desde 26/10 várias rodam com sucesso e 0 artigos, uma falha silenciosa que o monitoramento não pega. O teste verifica as duas cópias do site_urls.yaml: nenhuma URL com 'defeso' ou 'eleitoral' (nem as URLs temporárias exatas do #61/#62, que cobrem a de mcti) fora de uma allowlist explícita e justificada (ana e museus), e nenhuma entrada da allowlist obsoleta. Falha na main atual: o fix vem no próximo commit.
… do #61 O defeso acabou em 25/10. Desde 26/10, as seções temporárias do scraper#61 pararam de receber notícias: cgu, iti, museus, palmares e servidor rodam com sucesso e 0 artigos, e ans, capes, cultura, dnit e mma falham quase sempre. Temporárias do #61: - ans, capes, cgu, cultura, dnit, iti, mcti, palmares, planejamento e servidor voltam à URL original (capes e planejamento seguem plone6_api). - antt vai para ultimas-noticias-antt e mma para /mma/pt-br/noticias: a original da antt parou em 13/07 e a da mma exige login. - ana e museus ficam na URL de defeso (allowlist do teste). A original da ana exige login. A de museus só lista notícias de 2015, e as de 2026 seguem privadas. Fora da lista de temporárias: - cnpq volta a assuntos/noticias. - casaruibarbosa vai para noticias/2026. - turismo volta a plone6_api, desfazendo o #62. O HTML não tem itens desde ~12/10, e o fallback rodava em toda execução sem a cerca de URLs conhecidas. "Permanentes" do #61 que quebraram: - secom: noticias_alt dá 404, sem artigos desde 03/07. - mj, pf, mdr, transportes, culturaviva e inpp: seções de defeso vazias, com login ou 401. - ibict: 401, sem artigos desde 08/07. - inss: a listagem vem em ordem crescente, sem artigos desde 31/07. - sudene: a seção parou e o fallback rodava em toda execução. - fnde: o fallback rodava em toda execução (passa a plone6_api). Cada URL nova foi validada em 02/11: HTTP 200 sem login, itens de out/nov e dry-run local do scraper sem banco.
This was referenced Nov 3, 2026
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
Resumo
O defeso eleitoral acabou em 25/10. Desde 26/10, as seções temporárias do #61 não recebem mais notícias, e o problema é em boa parte silencioso.
cgu,iti,museus,palmareseservidorrodam com 100% de sucesso e 0 artigos.planejamentoteve 1 erro em 1.094 execuções e também 0 artigos.ans,capes,cultura,dnitemmafalham em quase toda execução.Este PR troca as URLs de 26 agências nos dois
site_urls.yaml:cnpqecasaruibarbosa, que também estavam em URL de defeso;turismo;Inclui também um teste que impede URL de defeso fora de uma allowlist explícita.
Referências: #61 (o checklist "reverter URLs temporárias" fica para marcar depois do merge) e #62.
Mudanças por agência
Toda URL nova foi revalidada em 02/11/2026 com GET, sem login e sem gravar nada:
effectiveda API Plone 6);WebScraper/Plone6APIScraper+ScrapeManager._preprocess_data, sem banco), contando os artigos extraídos na janela do backfill que ainda não estão no banco.Temporárias do #61 (14)
noticias-1/periodo-eleitoral→assuntos/noticias(original)noticias-defeso-eleitoral→assuntos/noticias(original)noticias/2026/07-defeso-eleitoral→noticias/ultimas-noticias(original)noticias-defeso-eleitoral→assuntos/noticias(original)noticias-periodo-eleitoral→assuntos/noticias/(original)noticias/periodo-de-defeso-eleitoral→noticias/indice-de-noticias/(original)noticias/noticias-julho-outubro-2026→noticias/ultimas-noticias(original)noticias-defeso-eleitoral→assuntos/noticias(original)noticias-defeso-eleitoral-2026→assuntos/noticias(original)noticias-defeso-eleitoral→assuntos/noticias(original)noticias-defeso-eleitoral→assuntos/ultimas-noticias-antt(a original parou em 13/07)noticias-defeso-eleitoral→/mma/pt-br/noticias(a original exige login)noticias-periodo-eleitoral-2026/comunicados-defeso-eleitoral¹ O HTML de
capes/assuntos/noticiasnão tem itens. A API Plone 6 responde (o #61 já tinha mudado o tipo).² Desde ~14h40 de 02/11, o mcti serve um desafio anti-bot (F5 "TSPD") para o meu IP depois do dry-run. A produção, de IP do Cloud Run, segue raspando o mcti normalmente. A listagem foi validada antes disso: 200, 30 itens, 29/10.
ana: a URL original (
noticias-e-eventos/noticias) redireciona pararequire_login. A seção de defeso segue recebendo notícias (30/10).museus: a URL original lista só 21 itens de 2015/2013. As notícias de 2026 que ficavam em
assuntos/noticias/<slug>continuam privadas: um artigo de jun/2026 do banco dá 302 para login. A home ainda destacacomunicados-defeso-eleitoral. Testeinoticias-2026,assuntos/noticias/2026,ultimas-noticias,centrais-de-conteudo/noticias,/museus/pt-br/noticiase@@search: todas dão 404 ou vêm sem resultados. Não há substituta com evidência, então museus fica na allowlist e precisa ser revista quando o Ibram republicar.Fora da lista do #61 que estavam em URL de defeso
assuntos/defeso-eleitoral→assuntos/noticiasnoticias/2026-defeso-eleitoral(#62) →noticias/2026A raiz
casaruibarbosa/.../noticiasnão lista itens. Por isso a URL vai para a pasta do ano, que precisa virar/2027na virada do ano.#62
plone6_api(desfaz o fix: reverter cade e turismo para scraper HTML e atualizar casaruibarbosa #62). O HTML da listagem não tem itens desde ~12/10, e o fallback Plone 6 rodou em 100% das execuções desde 19/10. O fallback roda comknown_urls=set(), então re-raspa a janela inteira a cada 10 min: foram 2.919 artigos raspados e 1.590 regravados de 26/10 a 31/10, para 38 notícias novas. Complone6_apia cerca de URLs conhecidas volta a valer. O dry-run complone6_apiextraiu os itens normalmente.html. A listagem HTML traz 30 itens (29/10), a API Plone 6 dá 404 e o cade raspa sem erro.As 17 URLs "permanentes" do #61
Seis estão OK e ficam como estão:
As URLs de gsi e ibama terminam em
/2026e precisam virar/2027.As outras 11 tinham substituta com evidência e foram corrigidas:
noticias_altdá 404 desde jul; 0 artigos desde 03/07acompanhe-a-secom/noticias(destino do redirect da original)noticias-1sem itens desde 25/10assuntos/noticias(original)assuntos/noticiassem itens desde 26/10assuntos/noticias/ultimas-noticiasnoticias-midrexige login desde 26/10noticias(original)noticias-→ pasta privada (401) desde 21/10assuntos/noticias(original)site-ibict-2025); 0 artigos desde 08/07central-de-conteudos/noticiasassuntos/noticias/ultimas-noticias⁴noticias-2026parou em 06/10acesso-a-informacao/noticias(original)noticias-1parou em 16/08noticias(original)imprensaparou em 22/10; fallback em 100% das execuçõesassuntos/noticias(original)noticias-1/(mantida)⁵³ Três artigos do mdr (
midr-acompanha-obras-de-seguranca-hidrica-na-regiao-do-serido,nova-friburgo-rj-ganha-protecao-contra-o-201ctsunami-das-montanhas201degoverno-federal-acompanha-acoes-de-reconstrucao-na-zona-da-mata-mineira) dão 500 de forma persistente. O scraper os gravaria com o conteúdoError retrieving content(ver plano).⁴ Evitei
inss/pt-br/assuntos/ultimas-noticias: ela traz ~140 notícias antigas redatadas em 26/10 e 28/10.⁵ Evitei a original
fnde/assuntos/noticias: 31 dos 47 itens desde 20/10 são notícias de 2023 a 2025 redatadas para 26/10.Teste (TDD)
test: ... (red):tests/unit/test_site_urls_defeso.pyfalhava namaincom as 15 URLs de defeso fora da allowlist. O teste:site_urls.yaml;defesooueleitorale as URLs temporárias exatas do fix: atualizar URLs das agências para defeso eleitoral 2026 #61/fix: reverter cade e turismo para scraper HTML e atualizar casaruibarbosa #62, o que cobre omcti, que não tem marcador no caminho;DEFESO_ALLOWLIST(ana e museus, cada uma com o motivo);test_config_sync.py.fix: ...: com o YAML novo, o teste passa.Risco medido: notícias antigas redatadas
Depois do defeso, vários sites republicaram conteúdo antigo com data nova. A data também muda na página do artigo, então o scraper gravaria a data nova. O
unique_idusa título +published_at(com hora), por isso não deduplica esses itens. A dedup por(agency_key, url)também não pega, porque a URL é outra (cópias-1/-2ou pasta nova).Medição feita com o dry-run em todas as janelas e cruzada com o banco só em leitura, por URL,
unique_ide título normalizado:/2021/…a/2026/06/, todos com data de 26–27/10teste,edital-teste,gbsgh-vh,1) e notícias de 2023–2025/2024/…e/2025/…/2022/…a/2024/…/2023/…, páginasteste/xxxeffective= 26/10 17:10:52Nas listagens Plone 6 o sinal é limpo: o item redatado mantém o
createdoriginal e só troca oeffective. Emcapes/abertas-inscricoes-para-especializacao-na-irlanda, por exemplo,createdé 2022-12-08 eeffectiveé 2026-10-27.Mitigação proposta, não implementada neste PR:
No backfill: usar fatias de 1 dia (ou de 7 dias nas janelas longas), excluir os dias de republicação em massa e deixar de fora as agências sem nenhum item genuíno (plano abaixo). Isso deixa entrar 7 duplicatas conhecidas e 1 antigo. Os quatro itens de pf/inss com título repetido são, quase com certeza, notícias novas com título genérico (
nota-a-imprensa-3, "PF cumpre mandados…").No scraper (follow-up):
Plone6APIScraper, pular item comcreatedanterior amin_datemenos N dias;WebScraper, pular item cuja URL tenha pasta de ano/mês (/AAAA/MM/ou/AAAA/<mês>/) anterior à janela.As duas regras cobrem mcti, servidor, transportes, ibict, capes e turismo. Não cobrem palmares (pasta plana). As DAGs regulares só raspam o dia corrente, então uma nova onda de republicação em massa geraria duplicatas também fora do backfill.
Plano de backfill (NÃO executado)
A DAG regular raspa só o dia corrente (
min_date = logical_date - 1h), então o buraco de cada agência só volta com re-scrape dirigido. O padrão é o de 22/10:POST /scrape/agencies,allow_update=false, em fatias espaçadas, porque o enrichment-worker cai por liveness em picos.Janelas. Cada janela vai do último artigo no banco (ou de 26/10) até a véspera do deploy. O próprio dia do deploy fica com a DAG regular. Se o backfill incluísse esse dia, os artigos que a DAG já gravou contariam como conhecidos, e a cerca de 3 URLs conhecidas consecutivas cortaria o resto da fatia.
Error retrieving content(500 no site)Ficam fora do backfill:
unique_id(o artigo só mudou de pasta).A cerca de URLs conhecidas foi simulada sobre a ordem real das listagens com as 200 URLs recentes de cada agência. Nenhuma das agências do plano para antes de alcançar os itens. Com uma chamada única, antt e mcti parariam em 0, mas ambas estão fora.
Depois do merge:
scraper-api-deploye ocomposer-deploy-dagsficarem verdes. Conferir que a revisão nova está servindo (só leitura):gcloud run services describe destaquesgovbr-scraper-api --region=southamerica-east1 \ --project=inspire-7-finep --format='value(status.latestReadyRevisionName,status.url)'FIM= véspera do deploy:A duração estimada é de cerca de 2 h: 189 chamadas, a maioria vazia, mais as pausas.
Para parar no meio, é só interromper o script. Ele não grava estado, mas
allow_update=falsetorna o re-run idempotente para o que já entrou.Durante a execução, acompanhar o enrichment-worker: reinícios por liveness ou fila do
dgb.news.scrapedcrescendo. Se aparecer, aumentarPAUSA_LOTE.~/dgb-runs/ro_sql.sh):Checagem pós-merge de DAG zumbi (descrição; nada executado)
A URL não entra na DAG serializada (
create_scraper_dagignoraagency_url), então mudar só o YAML não deveria criar DagVersion nova. Mas ocomposer-deploy-dagsreenviadags/inteiro (rsync por mtime), e os zumbis de 2026 apareceram minutos depois de deploys. Nas 2 h seguintes ao merge:DAG 'scrape_X' not found in serialized_dag tableno scheduler, e um DagRunrunningsem task instances.dags list-runs,tasks states-for-dag-runedagSources?version_number=N(404 indica versão órfã).gcloud composer environments run destaquesgovbr-composer --location southamerica-east1 --project inspire-7-finep dags delete -- scrape_X --yes. É ação mutante e precisa de aprovação humana. Não marcar o run como failed.Testes e lint
pytest -m "not integration"(comando do CI): 704 passed (699 namain+ 5 novos). Cobertura total 78%.ruff check .eruff format --check .: OK.pre-commit runnos arquivos alterados: todos os hooks passaram, inclusivevalidate-site-urlsevalidate-ssrf-allowlist.scripts/validate_site_urls.py: "Validated 162 agencies and synchronized Airflow configuration".test_affected_agencies.pyetest_plone6_integration.py,-m integration, sem banco): 16 passed, 7 failed, 3 skipped.palmaresna URL nova eplanejamento.sudam,srie o baselinemec, URLs que o PR não altera. Em produção as três já falham 100% (ver achados).ctir(404 em/2025).Achados fora do escopo (não alterados aqui)
mec:
No articles found on first page ... response was 261… bytes);WebScrapernão reconhece o TSPD como anti-bot e classifica o erro comohtml_changed;Merece issue própria. Não mexi aqui.
Outras agências que falham em >50% das execuções nas últimas 48 h e não foram tocadas aqui:
copy2_of_noticias, HTML sem itensrequire_loginrequire_loginrequire_loginrequire_login/2025URLs com pasta de ano (gsi, ibama e casaruibarbosa em
/2026; ctir em/2025): quebram na virada do ano.Conteúdo
Error retrieving contenté persistido: 117 linhas nos últimos 90 dias.O fallback Plone 6 ignora a cerca (
known_urls=set()): agência em fallback permanente re-raspa a janela inteira a cada 10 min. Era o caso de turismo, fnde e sudene.Não verificado
🤖 Generated with Claude Code