Repository navigation
fix: 14 agências em fallback permanente passam a plone6_api - #72
Merged
Merged
Conversation
14 agências rodam em fallback Plone 6 em toda execução: o WebScraper falha com HTML_CHANGED e o Plone6APIScraper assume com known_urls vazio, re-raspando a janela inteira a cada 10 min. Nas últimas 24h foram 137 regravações para 2 artigos novos.
aneel, anvisa, cetene, conitec, corregedorias, empresas-e-negocios, funag, inma, ines, ird, lncc, mpa, senappen e tesouronacional migraram para Plone 6 (Volto): o HTML da listagem não tem itens e o fallback rodava em toda execução com known_urls vazio. Com scraper_type: plone6_api, a cerca de URLs conhecidas volta a valer. Validação local do Plone6APIScraper, sem banco, em 03/11: - todas respondem na API; - 9 têm itens desde 20/10 e, nelas, a cerca para nas URLs que já estão no banco (os @id da API são as mesmas URLs gravadas pelo fallback); - ird, cetene, conitec e empresas-e-negocios não têm itens desde 20/10; - corregedorias não tem News Item de 2026 visível na API.
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
Resumo
14 agências rodavam em fallback Plone 6 em toda execução: aneel, anvisa, cetene, conitec, corregedorias, empresas-e-negocios, funag, inma, ines, ird, lncc, mpa, senappen e tesouronacional.
O site migrou para Plone 6 (Volto), então o
WebScraperfalha comHTML_CHANGEDe oPlone6APIScraperassume. Como o fallback roda comknown_urls=set(), ele re-raspa e regrava a janela inteira a cada 10 min. Nas últimas 24h foram 2.018 execuções, 2.017 delas com fallback, e 157 regravações para 1 artigo novo.Este PR muda essas agências para
scraper_type: plone6_api, nos doissite_urls.yaml. É o mesmo que o #68 fez com turismo, sudene e fnde. Com isso a cerca de URLs conhecidas volta a valer.Validação (local,
Plone6APIScraper, sem banco, 03/11/2026)Janela de 20/10 a 03/11.
known_urls= as 200 URLs mais recentes de cada agência no banco, lidas só em leitura.@idda API é a mesma URL que o fallback gravou no banco, então a cerca funciona logo na primeira execução.Achado: 14 notícias que ninguém pegou (não mudam com este PR)
A varredura completa da API achou 14 itens de 20–26/10 que não estão no banco:
effectivede 26/10.Provavelmente ficaram públicos depois da própria data
effective(liberação pós-defeso). A janela da DAG só olha o dia corrente, e o fallback também não os viu. Recuperar exige um re-scrape dirigido dessas 4 agências para 20–26/10 (allow_update=false), que fica para decisão à parte.Testes
test: … (red)comtest_agencia_em_fallback_permanente_usa_plone6_api, parametrizado nas 14 agências;fix: …com o YAML.pytest -m "not integration": 775 passed.ruff: OK.scripts/validate_site_urls.py: OK.Depois do merge
fallback_triggered,articles_savedpor execução e artigos novos.🤖 Generated with Claude Code