Skip to content

fix: filtro de redatados não pula conteúdo retido no defeso eleitoral - #73

Merged
nitaibezerra merged 2 commits into
mainfrom
fix/redatados-excecao-defeso
Nov 3, 2026
Merged

nitaibezerra merged 2 commits into
mainfrom
fix/redatados-excecao-defeso

Conversation

@nitaibezerra

Copy link
Copy Markdown
Contributor

Resumo

Adiciona ao filtro de redatados do #69 uma exceção para conteúdo retido no defeso eleitoral.

Durante o defeso de 2026 (04/07 a 25/10), o conteúdo criado ficou privado e foi publicado pela primeira vez depois dele, com a data da liberação. Isso não é redatação. Na amostra da limpeza de 03/11 apareceram:

  • turismo, com created em 31/07;
  • portos-e-aeroportos, 21/07;
  • iphan, 11/08;
  • mcom, pasta 2026/agosto;
  • casacivil, pasta 2026/agosto.

Essas agências continuaram sendo raspadas no defeso, e os itens não estavam no banco. Ou seja, não estavam públicos antes.

Mudança

  • Em redated.py, as constantes nomeadas DEFESO_2026_START = date(2026, 7, 4) e DEFESO_2026_END = date(2026, 10, 25), em RETAINED_CONTENT_WINDOWS. O comentário explica o motivo. Para um defeso futuro, basta acrescentar a janela.
  • Plone 6: não pula quando o created cai na janela.
  • HTML: não pula quando a pasta ano/mês está em 2026/07–2026/10.
  • O item mantido é logado como redated_kept_retained. Itens de antes do defeso continuam pulados (skipped_redated).
  • O teste do limiar de 30 dias usava created em setembro de 2026, dentro da janela. Passou a usar datas fora dela.

Recuperação

Nos logs da scraper-api desde o deploy do #69 (03/11, 01:36Z) não há nenhum skipped_redated, nem skipped_invalid_content. O filtro ainda não pulou nada que a exceção precisasse devolver, então não há o que re-raspar por causa dele.

Testes

  • TDD: test: … (red) antes do fix: ….
  • pytest -m "not integration": 780 passed. ruff e pre-commit nos arquivos alterados: OK.

⚠️ O merge redeploya a scraper-api; as DAGs não mudam.

🤖 Generated with Claude Code

No defeso eleitoral de 2026 (04/07 a 25/10), o conteúdo criado ficou privado e
foi publicado pela primeira vez depois. A data nova é a da primeira publicação,
não uma redatação. Na amostra de 03/11 apareceram turismo (created 31/07),
portos (21/07), iphan (11/08), mcom e casacivil (pasta 2026/agosto). Itens de
antes do defeso continuam pulados.
Constantes DEFESO_2026_START/END (04/07 a 25/10/2026) e
RETAINED_CONTENT_WINDOWS em redated.py. Item com created (Plone 6) ou pasta
ano/mês (HTML) dentro da janela não é pulado e é logado como
redated_kept_retained. É conteúdo criado no defeso, mantido privado e publicado
pela primeira vez depois dele; a data nova é a da primeira publicação. Itens de
antes do defeso continuam pulados. Para defesos futuros, basta acrescentar a
janela.

O teste do limiar de 30 dias passou a usar datas fora da janela.
@nitaibezerra
nitaibezerra merged commit d344ab2 into main Nov 3, 2026
1 of 2 checks passed
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant