Skip to content

fix: reverter URLs do defeso eleitoral 2026 e corrigir URLs quebradas do #61 - #68

Merged
nitaibezerra merged 2 commits into
mainfrom
fix/reverter-urls-defeso
Nov 2, 2026
Merged

nitaibezerra merged 2 commits into
mainfrom
fix/reverter-urls-defeso

Conversation

@nitaibezerra

Copy link
Copy Markdown
Contributor

Resumo

O defeso eleitoral acabou em 25/10. Desde 26/10, as seções temporárias do #61 não recebem mais notícias, e o problema é em boa parte silencioso. cgu, iti, museus, palmares e servidor rodam com 100% de sucesso e 0 artigos. planejamento teve 1 erro em 1.094 execuções e também 0 artigos. ans, capes, cultura, dnit e mma falham em quase toda execução.

Este PR troca as URLs de 26 agências nos dois site_urls.yaml:

Inclui também um teste que impede URL de defeso fora de uma allowlist explícita.

⚠️ O merge na main redeploya a scraper-api (Cloud Run, scraper-api-deploy.yaml) e as DAGs (Composer, composer-deploy-dags.yaml). A troca de URL só vale quando a nova imagem da API estiver no ar, porque a API lê a cópia em src/. O backfill abaixo não foi executado. Ele é para depois do merge.

Referências: #61 (o checklist "reverter URLs temporárias" fica para marcar depois do merge) e #62.

Mudanças por agência

Toda URL nova foi revalidada em 02/11/2026 com GET, sem login e sem gravar nada:

  • HTTP 200;
  • data do item mais recente da listagem (ou effective da API Plone 6);
  • dry-run do scraper real (WebScraper/Plone6APIScraper + ScrapeManager._preprocess_data, sem banco), contando os artigos extraídos na janela do backfill que ainda não estão no banco.

Temporárias do #61 (14)

Agência URL antiga → nova Tipo HTTP Item mais recente Extraídos no dry-run
ans noticias-1/periodo-eleitoral → assuntos/noticias (original) html 200 29/10 7 (desde 23/10)
capes noticias-defeso-eleitoral → assuntos/noticias (original) plone6_api¹ 200 30/10 11 (desde 23/10)
cgu noticias/2026/07-defeso-eleitoral → noticias/ultimas-noticias (original) html 200 29/10 8 (desde 21/10)
cultura noticias-defeso-eleitoral → assuntos/noticias (original) html 200 30/10 24 (desde 23/10)
dnit noticias-periodo-eleitoral → assuntos/noticias/ (original) html 200 01/11 6 (desde 26/10)
iti noticias/periodo-de-defeso-eleitoral → noticias/indice-de-noticias/ (original) html 200 29/10 1 (desde 25/08)
mcti noticias/noticias-julho-outubro-2026 → noticias/ultimas-noticias (original) html 200² 29/10 28 (todos redatados, ver risco)
palmares noticias-defeso-eleitoral → assuntos/noticias (original) html 200 27/10 39 (todos redatados, ver risco)
planejamento noticias-defeso-eleitoral-2026 → assuntos/noticias (original) plone6_api 200 27/10 2 (desde 01/10)
servidor noticias-defeso-eleitoral → assuntos/noticias (original) html 200 29/10 28 (24 redatados)
antt noticias-defeso-eleitoral → assuntos/ultimas-noticias-antt (a original parou em 13/07) html 200 29/10 6 (já no banco por uid)
mma noticias-defeso-eleitoral → /mma/pt-br/noticias (a original exige login) html 200 29/10 10 (desde 24/10)
ana mantida em noticias-periodo-eleitoral-2026/ html 200 30/10 coleta normal (10 artigos desde 26/10)
museus mantida em comunicados-defeso-eleitoral html 200 19/10 0

¹ O HTML de capes/assuntos/noticias não tem itens. A API Plone 6 responde (o #61 já tinha mudado o tipo).
² Desde ~14h40 de 02/11, o mcti serve um desafio anti-bot (F5 "TSPD") para o meu IP depois do dry-run. A produção, de IP do Cloud Run, segue raspando o mcti normalmente. A listagem foi validada antes disso: 200, 30 itens, 29/10.

ana: a URL original (noticias-e-eventos/noticias) redireciona para require_login. A seção de defeso segue recebendo notícias (30/10).

museus: a URL original lista só 21 itens de 2015/2013. As notícias de 2026 que ficavam em assuntos/noticias/<slug> continuam privadas: um artigo de jun/2026 do banco dá 302 para login. A home ainda destaca comunicados-defeso-eleitoral. Testei noticias-2026, assuntos/noticias/2026, ultimas-noticias, centrais-de-conteudo/noticias, /museus/pt-br/noticias e @@search: todas dão 404 ou vêm sem resultados. Não há substituta com evidência, então museus fica na allowlist e precisa ser revista quando o Ibram republicar.

Fora da lista do #61 que estavam em URL de defeso

Agência URL antiga → nova HTTP Item mais recente Extraídos
cnpq assuntos/defeso-eleitoral → assuntos/noticias 200 29/10 3 (1 já no banco por uid)
casaruibarbosa noticias/2026-defeso-eleitoral (#62) → noticias/2026 200 27/10 1

A raiz casaruibarbosa/.../noticias não lista itens. Por isso a URL vai para a pasta do ano, que precisa virar /2027 na virada do ano.

#62

  • turismo → plone6_api (desfaz o fix: reverter cade e turismo para scraper HTML e atualizar casaruibarbosa #62). O HTML da listagem não tem itens desde ~12/10, e o fallback Plone 6 rodou em 100% das execuções desde 19/10. O fallback roda com known_urls=set(), então re-raspa a janela inteira a cada 10 min: foram 2.919 artigos raspados e 1.590 regravados de 26/10 a 31/10, para 38 notícias novas. Com plone6_api a cerca de URLs conhecidas volta a valer. O dry-run com plone6_api extraiu os itens normalmente.
  • cade fica em html. A listagem HTML traz 30 itens (29/10), a API Plone 6 dá 404 e o cade raspa sem erro.

As 17 URLs "permanentes" do #61

Seis estão OK e ficam como estão:

Agência Status Item mais recente
anac 200 26/10
esporte API 200 30/10
gsi 200 28/10
ibama 200 30/10
mds 200 30/10
sudeco API 200 29/10

As URLs de gsi e ibama terminam em /2026 e precisam virar /2027.

As outras 11 tinham substituta com evidência e foram corrigidas:

Agência Problema hoje URL nova Tipo HTTP Item mais recente Extraídos
secom noticias_alt dá 404 desde jul; 0 artigos desde 03/07 acompanhe-a-secom/noticias (destino do redirect da original) html 200 31/10 173 (desde 03/07)
mj noticias-1 sem itens desde 25/10 assuntos/noticias (original) html 200 31/10 22
pf assuntos/noticias sem itens desde 26/10 assuntos/noticias/ultimas-noticias html 200 02/11 110
mdr noticias-midr exige login desde 26/10 noticias (original) html 200 30/10 27 (10 já no banco por uid)³
transportes noticias- → pasta privada (401) desde 21/10 assuntos/noticias (original) plone6_api 200 30/10 17 (15 redatados)
ibict 401 (site-ibict-2025); 0 artigos desde 08/07 central-de-conteudos/noticias plone6_api 200 29/10 42 (27 redatados)
inss listagem em ordem crescente; 0 artigos desde 31/07 assuntos/noticias/ultimas-noticias⁴ html 200 29/10 82 (desde 31/07)
culturaviva noticias-2026 parou em 06/10 acesso-a-informacao/noticias (original) html 200 29/10 6
inpp noticias-1 parou em 16/08 noticias (original) plone6_api 200 23/10 6
sudene imprensa parou em 22/10; fallback em 100% das execuções assuntos/noticias (original) plone6_api 200 29/10 6
fnde mesma URL; fallback em 100% das execuções (1.112/1.112) noticias-1/ (mantida)⁵ plone6_api 200 29/10 3 (desde 27/10)

³ Três artigos do mdr (midr-acompanha-obras-de-seguranca-hidrica-na-regiao-do-serido, nova-friburgo-rj-ganha-protecao-contra-o-201ctsunami-das-montanhas201d e governo-federal-acompanha-acoes-de-reconstrucao-na-zona-da-mata-mineira) dão 500 de forma persistente. O scraper os gravaria com o conteúdo Error retrieving content (ver plano).
⁴ Evitei inss/pt-br/assuntos/ultimas-noticias: ela traz ~140 notícias antigas redatadas em 26/10 e 28/10.
⁵ Evitei a original fnde/assuntos/noticias: 31 dos 47 itens desde 20/10 são notícias de 2023 a 2025 redatadas para 26/10.

Teste (TDD)

  • test: ... (red): tests/unit/test_site_urls_defeso.py falhava na main com as 15 URLs de defeso fora da allowlist. O teste:
  • A igualdade byte a byte das duas cópias já é garantida por test_config_sync.py.
  • fix: ...: com o YAML novo, o teste passa.

Risco medido: notícias antigas redatadas

Depois do defeso, vários sites republicaram conteúdo antigo com data nova. A data também muda na página do artigo, então o scraper gravaria a data nova. O unique_id usa título + published_at (com hora), por isso não deduplica esses itens. A dedup por (agency_key, url) também não pega, porque a URL é outra (cópias -1/-2 ou pasta nova).

Medição feita com o dry-run em todas as janelas e cruzada com o banco só em leitura, por URL, unique_id e título normalizado:

Agência Itens fora do banco na janela Redatados ou antigos Padrão
mcti 28 28 15 com título já no banco (2025–2026) e 13 de pastas /2021/… a /2026/06/, todos com data de 26–27/10
palmares 39 39 tudo republicado em 27/10, incluindo páginas de teste (teste, edital-teste, gbsgh-vh, 1) e notícias de 2023–2025
servidor 28 24 redatados em 26/10, pastas /2024/… e /2025/…
transportes 17 15 redatados em 26/10, pastas /2022/… a /2024/…
ibict 42 27 redatados em 04/09 e 21/09, pastas /2023/…, páginas teste/xxx
capes 11 3 3 de 2022–2024 redatados em 27/10, no mesmo dia de 4 notícias novas
turismo 5 5 todos com effective = 26/10 17:10:52
cultura, mj 23, 22 1 cada mesmo título e mesma data, outra URL e outra hora

Nas listagens Plone 6 o sinal é limpo: o item redatado mantém o created original e só troca o effective. Em capes/abertas-inscricoes-para-especializacao-na-irlanda, por exemplo, created é 2022-12-08 e effective é 2026-10-27.

Mitigação proposta, não implementada neste PR:

  1. No backfill: usar fatias de 1 dia (ou de 7 dias nas janelas longas), excluir os dias de republicação em massa e deixar de fora as agências sem nenhum item genuíno (plano abaixo). Isso deixa entrar 7 duplicatas conhecidas e 1 antigo. Os quatro itens de pf/inss com título repetido são, quase com certeza, notícias novas com título genérico (nota-a-imprensa-3, "PF cumpre mandados…").

  2. No scraper (follow-up):

    • no Plone6APIScraper, pular item com created anterior a min_date menos N dias;
    • no WebScraper, pular item cuja URL tenha pasta de ano/mês (/AAAA/MM/ ou /AAAA/<mês>/) anterior à janela.

    As duas regras cobrem mcti, servidor, transportes, ibict, capes e turismo. Não cobrem palmares (pasta plana). As DAGs regulares só raspam o dia corrente, então uma nova onda de republicação em massa geraria duplicatas também fora do backfill.

Plano de backfill (NÃO executado)

A DAG regular raspa só o dia corrente (min_date = logical_date - 1h), então o buraco de cada agência só volta com re-scrape dirigido. O padrão é o de 22/10: POST /scrape/agencies, allow_update=false, em fatias espaçadas, porque o enrichment-worker cai por liveness em picos.

Janelas. Cada janela vai do último artigo no banco (ou de 26/10) até a véspera do deploy. O próprio dia do deploy fica com a DAG regular. Se o backfill incluísse esse dia, os artigos que a DAG já gravou contariam como conhecidos, e a cerca de 3 URLs conhecidas consecutivas cortaria o resto da fatia.

Agência Janela Fatia Inserções estimadas Observação
secom 03/07 → véspera 7 d 173 maior fatia ≈ 46
pf 26/10 → véspera 1 d ~109 maior fatia ≈ 40 (29/10)
inss 31/07 → véspera 7 d 82 1 título repetido (provável legítimo)
cultura 23/10 → véspera 1 d 23 1 duplicata (mesmo título e data, outra URL)
mj 25/10 → véspera 1 d 22 1 duplicata (idem)
mdr 26/10 → véspera 1 d 17 3 com Error retrieving content (500 no site)
ibict 08/07 → 10/07 e 26/10 → véspera 3 d / 1 d 15 pula 04/09 e 21/09 (27 redatados)
capes 23/10 → véspera 1 d 10 3 duplicatas redatadas em 27/10. Para zerar, pule 27/10 e perca 4 notícias novas
mma 24/10 → véspera 1 d 9
cgu 21/10 → véspera 1 d 8
ans 23/10 → véspera 1 d 6
inpp 16/08 → véspera 7 d 6
culturaviva 06/10 → véspera 7 d 5
sudene 20/10 → véspera 1 d 5
servidor 27/10 → véspera 1 d 5 pula 26/10 (23 redatados). 1 antigo em 28/10
dnit 26/10 → véspera 1 d 4
cnpq 26/10 → véspera 1 d 2
casaruibarbosa, iti, planejamento 23/09, 25/08, 01/10 → véspera 7 d 1 cada
transportes 27/10 → véspera 1 d 1 pula 21–26/10 (15 redatados em 26/10)
Total 189 chamadas ≈ 505 ≈ 497 genuínas, 7 duplicatas, 1 antigo, 3 com conteúdo de erro

Ficam fora do backfill:

  • mcti: 0 itens genuínos. O que é novo já entrou pela seção de defeso até 29/10.
  • palmares: 39 itens republicados em 27/10, incluindo páginas de teste. Talvez 1 ou 2 sejam notícias reais do período, mas não dá para separar.
  • antt: os 6 itens novos já estão no banco por unique_id (o artigo só mudou de pasta).
  • turismo e fnde: sem buraco, porque o fallback coletava.
  • ana: sem buraco.
  • museus: sem notícia nova.

A cerca de URLs conhecidas foi simulada sobre a ordem real das listagens com as 200 URLs recentes de cada agência. Nenhuma das agências do plano para antes de alcançar os itens. Com uma chamada única, antt e mcti parariam em 0, mas ambas estão fora.

Depois do merge:

  1. Esperar o scraper-api-deploy e o composer-deploy-dags ficarem verdes. Conferir que a revisão nova está servindo (só leitura):
    gcloud run services describe destaquesgovbr-scraper-api --region=southamerica-east1 \
      --project=inspire-7-finep --format='value(status.latestReadyRevisionName,status.url)'
  2. Fazer a checagem de DAG zumbi (abaixo) antes do backfill.
  3. Rodar o script com FIM = véspera do deploy:
#!/usr/bin/env bash
# Backfill pós-defeso. Rodar SÓ depois do merge e do deploy da scraper-api.
# Uso: ./backfill_pos_defeso.sh AAAA-MM-DD   (FIM = véspera do deploy; o dia do deploy fica com a DAG)
set -uo pipefail
FIM=${1:?informe FIM (véspera do deploy), ex.: 2026-11-03}
API=$(gcloud run services describe destaquesgovbr-scraper-api --region=southamerica-east1 \
      --project=inspire-7-finep --format='value(status.url)')
LOG=~/dgb-runs/backfill_pos_defeso_$(date +%Y%m%d_%H%M).log
PAUSA=20; LOTE=40; PAUSA_LOTE=600   # 20 s entre chamadas; 10 min a cada ~40 artigos gravados
# agência início fim passo(dias); "FIM" = argumento
PLANO="
iti 2026-08-25 FIM 7
inpp 2026-08-16 FIM 7
casaruibarbosa 2026-09-23 FIM 7
planejamento 2026-10-01 FIM 7
culturaviva 2026-10-06 FIM 7
sudene 2026-10-20 FIM 1
cgu 2026-10-21 FIM 1
ans 2026-10-23 FIM 1
capes 2026-10-23 FIM 1
cultura 2026-10-23 FIM 1
mma 2026-10-24 FIM 1
mj 2026-10-25 FIM 1
cnpq 2026-10-26 FIM 1
dnit 2026-10-26 FIM 1
mdr 2026-10-26 FIM 1
servidor 2026-10-27 FIM 1
transportes 2026-10-27 FIM 1
ibict 2026-07-08 2026-07-10 3
ibict 2026-10-26 FIM 1
pf 2026-10-26 FIM 1
inss 2026-07-31 FIM 7
secom 2026-07-03 FIM 7
"
fatias() { python3 -c 'import sys,datetime as t
a,b,s=t.date.fromisoformat(sys.argv[1]),t.date.fromisoformat(sys.argv[2]),int(sys.argv[3])
while a<=b:
    e=min(a+t.timedelta(days=s-1),b); print(a.isoformat(),e.isoformat()); a=e+t.timedelta(days=1)' "$@"; }
acum=0
while read -r AG INI FA PASSO; do
  [ -z "${AG:-}" ] && continue
  [ "$FA" = FIM ] && FA=$FIM
  while read -r S E; do
    TOK=$(gcloud auth print-identity-token)
    R=$(curl -sS -m 900 -w '\n%{http_code}' -X POST "$API/scrape/agencies" \
          -H "Authorization: Bearer $TOK" -H 'Content-Type: application/json' \
          -d "{\"start_date\":\"$S\",\"end_date\":\"$E\",\"agencies\":[\"$AG\"],\"allow_update\":false,\"sequential\":true}")
    unset TOK
    HTTP=$(printf '%s' "$R" | tail -1)
    SAV=$(printf '%s' "$R" | sed '$d' | python3 -c 'import sys,json; print(json.load(sys.stdin).get("articles_saved",0))' 2>/dev/null || echo 0)
    echo "$(date -u +%FT%TZ) $AG $S..$E http=$HTTP saved=$SAV" | tee -a "$LOG"
    acum=$((acum + SAV))
    if [ "$acum" -ge "$LOTE" ]; then echo "pausa ${PAUSA_LOTE}s" | tee -a "$LOG"; sleep "$PAUSA_LOTE"; acum=0; else sleep "$PAUSA"; fi
  done < <(fatias "$INI" "$FA" "$PASSO")
done <<< "$PLANO"

A duração estimada é de cerca de 2 h: 189 chamadas, a maioria vazia, mais as pausas.

Para parar no meio, é só interromper o script. Ele não grava estado, mas allow_update=false torna o re-run idempotente para o que já entrou.

Durante a execução, acompanhar o enrichment-worker: reinícios por liveness ou fila do dgb.news.scraped crescendo. Se aparecer, aumentar PAUSA_LOTE.

  1. Verificação depois do backfill (só leitura, ~/dgb-runs/ro_sql.sh):
    -- inseridos por agência desde o início do backfill (trocar o timestamp)
    SELECT agency_key, count(*) FROM news WHERE created_at >= '<inicio_backfill>' AND agency_key IN
      ('secom','pf','inss','cultura','mj','mdr','ibict','capes','mma','cgu','ans','inpp','culturaviva','sudene',
       'servidor','dnit','cnpq','casaruibarbosa','iti','planejamento','transportes') GROUP BY 1 ORDER BY 2 DESC;
    -- duplicatas por título dentro da agência (esperado: ~7)
    SELECT n.agency_key, n.title, count(*) FROM news n WHERE n.created_at >= '<inicio_backfill>'
      AND EXISTS (SELECT 1 FROM news m WHERE m.agency_key=n.agency_key AND m.title=n.title AND m.unique_id<>n.unique_id)
      GROUP BY 1,2;
    -- conteúdo de erro (esperado: os 3 do mdr)
    SELECT agency_key, url FROM news WHERE created_at >= '<inicio_backfill>' AND content = 'Error retrieving content';
    Apagar duplicatas ou conteúdo de erro é escrita no banco e fica para decisão à parte.

Checagem pós-merge de DAG zumbi (descrição; nada executado)

A URL não entra na DAG serializada (create_scraper_dag ignora agency_url), então mudar só o YAML não deveria criar DagVersion nova. Mas o composer-deploy-dags reenvia dags/ inteiro (rsync por mtime), e os zumbis de 2026 apareceram minutos depois de deploys. Nas 2 h seguintes ao merge:

  • acompanhar o alerta "Agencias Sem Execucao" (scraper#67);
  • ou consultar em leitura:
    SELECT a.k, max(s.scraped_at) FROM (VALUES ('ans'),('antt'),('capes'),('casaruibarbosa'),('cgu'),('cnpq'),('cultura'),
      ('culturaviva'),('dnit'),('fnde'),('ibict'),('inpp'),('inss'),('iti'),('mcti'),('mdr'),('mj'),('mma'),('palmares'),('pf'),
      ('planejamento'),('secom'),('servidor'),('sudene'),('transportes'),('turismo')) a(k)
    LEFT JOIN scrape_runs s ON s.agency_key=a.k AND s.scraped_at >= now() - interval '1 hour'
    GROUP BY 1 HAVING max(s.scraped_at) IS NULL;
  • Para cada agência listada, seguir o runbook, seção "DAG de Agência Travada":
    • Sintoma: DAG 'scrape_X' not found in serialized_dag table no scheduler, e um DagRun running sem task instances.
    • Diagnóstico (só leitura): dags list-runs, tasks states-for-dag-run e dagSources?version_number=N (404 indica versão órfã).
    • Correção: gcloud composer environments run destaquesgovbr-composer --location southamerica-east1 --project inspire-7-finep dags delete -- scrape_X --yes. É ação mutante e precisa de aprovação humana. Não marcar o run como failed.
  • Fazer isso antes do backfill, para não misturar sintomas.

Testes e lint

  • pytest -m "not integration" (comando do CI): 704 passed (699 na main + 5 novos). Cobertura total 78%.
  • ruff check . e ruff format --check .: OK.
  • pre-commit run nos arquivos alterados: todos os hooks passaram, inclusive validate-site-urls e validate-ssrf-allowlist.
  • scripts/validate_site_urls.py: "Validated 162 agencies and synchronized Airflow configuration".
  • Testes de integração HTTP (test_affected_agencies.py e test_plone6_integration.py, -m integration, sem banco): 16 passed, 7 failed, 3 skipped.
    • Passaram as agências tocadas por este PR: palmares na URL nova e planejamento.
    • Falharam sudam, sri e o baseline mec, URLs que o PR não altera. Em produção as três já falham 100% (ver achados).
    • Os 3 skips são do ctir (404 em /2025).
    • O CI não roda esses testes.

Achados fora do escopo (não alterados aqui)

  • mec:

    • falha 100% em produção desde 28/10 (No articles found on first page ... response was 261… bytes);
    • do meu IP, a listagem alterna entre um desafio anti-bot F5 "TSPD" (6–44 KB) e uma página grande sem os seletores conhecidos;
    • o WebScraper não reconhece o TSPD como anti-bot e classifica o erro como html_changed;
    • o mcti passou a servir o mesmo desafio para o meu IP depois do dry-run.

    Merece issue própria. Não mexi aqui.

  • Outras agências que falham em >50% das execuções nas últimas 48 h e não foram tocadas aqui:

    Agência Problema Último artigo
    igualdaderacial copy2_of_noticias, HTML sem itens 25/10
    acessoainformacao require_login 11/06
    governodigital require_login 01/06
    servicoscompartilhados require_login 23/03
    sri require_login 03/07
    ctir 404, URL ainda em /2025 —
    sudam HTML sem itens 2024
    museudoindio 401 11/06
    propriedade-intelectual 401 09/06
  • URLs com pasta de ano (gsi, ibama e casaruibarbosa em /2026; ctir em /2025): quebram na virada do ano.

  • Conteúdo Error retrieving content é persistido: 117 linhas nos últimos 90 dias.

  • O fallback Plone 6 ignora a cerca (known_urls=set()): agência em fallback permanente re-raspa a janela inteira a cada 10 min. Era o caso de turismo, fnde e sudene.

Não verificado

  • A validação HTTP e o dry-run rodaram do meu IP, não do egress do Cloud Run. O F5 do mcti e do mec trata IPs de forma diferente, então a validação não é perfeita.
  • As estimativas do backfill são de 02/11. Os sites podem republicar mais conteúdo até o merge.
  • O script de backfill não foi executado nem testado contra a API: só a lógica de fatias e a simulação da cerca.

🤖 Generated with Claude Code

…yaml (red)

O defeso eleitoral 2026 acabou em 25/10, mas 14 agências do scraper#61 (e
cnpq/casaruibarbosa) continuam apontando para a seção temporária. Desde 26/10
várias rodam com sucesso e 0 artigos, uma falha silenciosa que o monitoramento
não pega.

O teste verifica as duas cópias do site_urls.yaml: nenhuma URL com 'defeso' ou
'eleitoral' (nem as URLs temporárias exatas do #61/#62, que cobrem a de mcti)
fora de uma allowlist explícita e justificada (ana e museus), e nenhuma entrada
da allowlist obsoleta. Falha na main atual: o fix vem no próximo commit.
… do #61

O defeso acabou em 25/10. Desde 26/10, as seções temporárias do scraper#61
pararam de receber notícias: cgu, iti, museus, palmares e servidor rodam com
sucesso e 0 artigos, e ans, capes, cultura, dnit e mma falham quase sempre.

Temporárias do #61:
- ans, capes, cgu, cultura, dnit, iti, mcti, palmares, planejamento e
  servidor voltam à URL original (capes e planejamento seguem plone6_api).
- antt vai para ultimas-noticias-antt e mma para /mma/pt-br/noticias: a
  original da antt parou em 13/07 e a da mma exige login.
- ana e museus ficam na URL de defeso (allowlist do teste). A original da
  ana exige login. A de museus só lista notícias de 2015, e as de 2026
  seguem privadas.

Fora da lista de temporárias:
- cnpq volta a assuntos/noticias.
- casaruibarbosa vai para noticias/2026.
- turismo volta a plone6_api, desfazendo o #62. O HTML não tem itens desde
  ~12/10, e o fallback rodava em toda execução sem a cerca de URLs conhecidas.

"Permanentes" do #61 que quebraram:
- secom: noticias_alt dá 404, sem artigos desde 03/07.
- mj, pf, mdr, transportes, culturaviva e inpp: seções de defeso vazias, com
  login ou 401.
- ibict: 401, sem artigos desde 08/07.
- inss: a listagem vem em ordem crescente, sem artigos desde 31/07.
- sudene: a seção parou e o fallback rodava em toda execução.
- fnde: o fallback rodava em toda execução (passa a plone6_api).

Cada URL nova foi validada em 02/11: HTTP 200 sem login, itens de out/nov e
dry-run local do scraper sem banco.
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant