Skip to content

fix: 14 agências em fallback permanente passam a plone6_api - #72

Merged
nitaibezerra merged 2 commits into
mainfrom
fix/fallback-plone6-14-agencias
Nov 3, 2026
Merged

nitaibezerra merged 2 commits into
mainfrom
fix/fallback-plone6-14-agencias

Conversation

@nitaibezerra

Copy link
Copy Markdown
Contributor

Resumo

14 agências rodavam em fallback Plone 6 em toda execução: aneel, anvisa, cetene, conitec, corregedorias, empresas-e-negocios, funag, inma, ines, ird, lncc, mpa, senappen e tesouronacional.

O site migrou para Plone 6 (Volto), então o WebScraper falha com HTML_CHANGED e o Plone6APIScraper assume. Como o fallback roda com known_urls=set(), ele re-raspa e regrava a janela inteira a cada 10 min. Nas últimas 24h foram 2.018 execuções, 2.017 delas com fallback, e 157 regravações para 1 artigo novo.

Este PR muda essas agências para scraper_type: plone6_api, nos dois site_urls.yaml. É o mesmo que o #68 fez com turismo, sudene e fnde. Com isso a cerca de URLs conhecidas volta a valer.

⚠️ O merge redeploya a scraper-api e as DAGs. Só muda o YAML: a URL e o scraper_type não entram na DAG serializada. Mesmo assim, depois do deploy faço a checagem de zumbis e confiro as execuções agendadas.

Validação (local, Plone6APIScraper, sem banco, 03/11/2026)

Janela de 20/10 a 03/11. known_urls = as 200 URLs mais recentes de cada agência no banco, lidas só em leitura.

Agência Itens na API Mais recente Já no banco (URL igual) Novos com a cerca A cerca parou?
anvisa 35 02/11 33 0 sim
aneel 31 30/10 21 0 sim
senappen 15 29/10 15 0 sim
mpa 15 29/10 14 0 sim
ines 6 (+4 redatados pulados) 28/10 5 0 sim
inma 4 02/11 4 0 sim
lncc 3 (+2 redatados pulados) 29/10 3 0 sim
tesouronacional 3 29/10 3 0 sim
funag 1 26/10 1 0 só 1 item
ird 0 11/08 (90 itens em 2026)
cetene 0 14/10 (54 itens em 2026)
conitec 0 18/09 (39 itens em 2026)
empresas-e-negocios 0 02/04 (2 itens em 2026)
corregedorias 0 18/12/2025 (sem News Item de 2026 na API)
  • O @id da API é a mesma URL que o fallback gravou no banco, então a cerca funciona logo na primeira execução.
  • A API responde em todas as 14, por isso nenhuma ficou de fora. ird, cetene, conitec e empresas-e-negocios publicam pouco.
  • corregedorias: a API só tem News Item até 12/2025, e o banco tem 20 itens até 26/06/2026 (do tempo do HTML). As notícias de 2026 não estão visíveis. A agência continua sem coleta nova, com ou sem este PR.

Achado: 14 notícias que ninguém pegou (não mudam com este PR)

A varredura completa da API achou 14 itens de 20–26/10 que não estão no banco:

  • aneel 10, anvisa 2, mpa 1 e ines 1;
  • por exemplo, "aneel acompanha fornecimento de energia durante as eleições 2026", com effective de 26/10.

Provavelmente ficaram públicos depois da própria data effective (liberação pós-defeso). A janela da DAG só olha o dia corrente, e o fallback também não os viu. Recuperar exige um re-scrape dirigido dessas 4 agências para 20–26/10 (allow_update=false), que fica para decisão à parte.

Testes

  • TDD:
    • test: … (red) com test_agencia_em_fallback_permanente_usa_plone6_api, parametrizado nas 14 agências;
    • fix: … com o YAML.
  • pytest -m "not integration": 775 passed. ruff: OK. scripts/validate_site_urls.py: OK.

Depois do merge

  1. Acompanhar o deploy.
  2. Checar zumbis.
  3. Comparar as 14 agências antes e depois: fallback_triggered, articles_saved por execução e artigos novos.

🤖 Generated with Claude Code

14 agências rodam em fallback Plone 6 em toda execução: o WebScraper falha com
HTML_CHANGED e o Plone6APIScraper assume com known_urls vazio, re-raspando a
janela inteira a cada 10 min. Nas últimas 24h foram 137 regravações para 2
artigos novos.
aneel, anvisa, cetene, conitec, corregedorias, empresas-e-negocios, funag,
inma, ines, ird, lncc, mpa, senappen e tesouronacional migraram para Plone 6
(Volto): o HTML da listagem não tem itens e o fallback rodava em toda execução
com known_urls vazio. Com scraper_type: plone6_api, a cerca de URLs conhecidas
volta a valer.

Validação local do Plone6APIScraper, sem banco, em 03/11:
- todas respondem na API;
- 9 têm itens desde 20/10 e, nelas, a cerca para nas URLs que já estão no
  banco (os @id da API são as mesmas URLs gravadas pelo fallback);
- ird, cetene, conitec e empresas-e-negocios não têm itens desde 20/10;
- corregedorias não tem News Item de 2026 visível na API.
@nitaibezerra
nitaibezerra merged commit dcac7be into main Nov 3, 2026
1 check passed
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant