Skip to content

feat: backfill de resumos apagados pelo re-scrape com prompt enxuto (--select null-summary) - #44

Merged
nitaibezerra merged 8 commits into
mainfrom
feature/fase2.5-backfill-resumos
Oct 6, 2026
Merged

nitaibezerra merged 8 commits into
mainfrom
feature/fase2.5-backfill-resumos

Conversation

@nitaibezerra

Copy link
Copy Markdown
Contributor

Contexto

O re-scrape do scraper apagou o summary de ~6.935 artigos desde 02/06/2026 (causa raiz e correção em destaquesgovbr/scraper#64). Esses artigos têm tema, mas não têm resumo nem embedding. Recuperá-los pela chamada combinada custaria ~19k tokens de entrada por artigo, porque a taxonomia inteira vai no prompt: ~130M tokens no total, o que não cabe na cota diária do Haiku 4.5.

Mudanças (TDD, red → green)

  • llm_client.summarize_single usa um prompt só de resumo, sem taxonomia nem códigos de tema, com menos de 3 mil caracteres.
    • As regras de resumo viram constantes compartilhadas com o prompt combinado, que continua idêntico byte a byte.
    • A extração de JSON (que tolera cercas ```json) também é compartilhada.
    • Resumo vazio ou inválido conta como falha.
    • O ledger registra tokens de todas as tentativas.
  • reenrich_combined_window.py --select null-summary:
    • Seleção: most_specific_theme_id IS NOT NULL AND summary IS NULL, por janela BRT. O --date-to é obrigatório e não pode passar de hoje.
    • Escrita: UPDATE news SET summary = %s WHERE unique_id = %s AND summary IS NULL, sem tocar tema nem embedding, sem rodar o NER e sem publicar evento.
    • Governador de cota, como no B2.
    • Relata sem_sentimento=N e não gera sentimento.
    • Salva a lista de artigos que já tinham embedding, para que o operador zere o embedding deles antes do backfill de embeddings.
  • README do worker com a ordem operacional:
    1. deploy do scraper#64;
    2. resumos, até a seleção zerar;
    3. trava de verificação;
    4. zerar o embedding dos que ganharam resumo e já tinham embedding;
    5. backfill de embeddings;
    6. incremental-sync do Typesense.

Testes

397 testes passando (eram 347).

Comportamento ao vivo

Não muda. O merge redeploya o enrichment-worker, mas o caminho ao vivo (_enrich_single_news e o prompt combinado) está inalterado.

🤖 Generated with Claude Code

nitaibezerra and others added 8 commits October 6, 2026 07:12
Fase 2.5 (DS-2). O backfill dos ~6.935 resumos apagados pelo re-scrape do
scraper não pode usar a chamada combinada: ela manda a taxonomia inteira
(~18,9k tokens de entrada por artigo). Esses artigos já têm tema; só falta
o resumo.

- _build_summary_prompt: sem taxonomia, sem códigos de tema, sem sentimento;
  menos de 3.000 caracteres mesmo com conteúdo longo (e mais de 10x menor
  que o combinado com uma taxonomia realista).
- Reusa as regras de resumo do combinado: SUMMARY_TASK_INSTRUCTION,
  SUMMARY_EXAMPLE e o recorte de CONTENT_PREVIEW_CHARS (2.000) aparecem
  nos dois prompts.
- summarize_single: tolera cercas ```json, devolve só {summary, _usage,
  _model_id, _error}; resumo vazio/nulo/não-string/JSON inválido é falha
  (ValueError) com o usage somado de todas as tentativas; throttling é
  retentado; EOL traz o código do erro.
- Guarda de regressão: o _parse_response da combinada segue igual.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Fase 2.5 (DS-2). BedrockLLMClient.summarize_single gera SÓ o resumo, para
artigos que já têm tema e perderam o resumo no re-scrape do scraper. O
prompt não leva a taxonomia: cai de ~18,9k tokens de entrada para algo da
ordem de 1k (≤ ~3 mil caracteres).

- Regras de resumo extraídas para constantes compartilhadas pelos dois
  prompts: SUMMARY_TASK_INSTRUCTION, SUMMARY_EXAMPLE, CONTENT_PREVIEW_CHARS
  (2.000) e o bloco "NOTÍCIA:" (_format_news_block). O prompt da chamada
  combinada continua byte a byte igual (hash conferido antes e depois).
- _find_json_object: extração de JSON (tolerante a cercas ```json) agora
  compartilhada por _parse_response e _parse_summary_response.
- summarize_single: mesmo modelo (model_id = ENRICHMENT_MODEL_ID) e mesmo
  _call_bedrock da combinada, com o mesmo retry/backoff; resumo vazio,
  nulo ou não-string é falha (ValueError) e é retentado; `_usage` soma
  todas as tentativas que chegaram ao modelo (o ledger conta os tokens das
  respostas descartadas); devolve só {summary, _usage, _model_id, _error}.
- _enrich_single_news (worker ao vivo) não foi alterado.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Fase 2.5 (DS-2). Backfill só do resumo para os artigos com tema gravado e
summary NULL (re-scrape do scraper apaga o resumo desde 02/06):

- seleção: most_specific_theme_id IS NOT NULL AND summary IS NULL na janela
  BRT, --date-to exclusivo, obrigatório e no máximo hoje BRT (como no
  null-theme), ORDER BY published_at DESC;
- grava com UPDATE news SET summary = %s, updated_at = NOW() WHERE
  unique_id = %s AND summary IS NULL: tema e content_embedding intactos,
  resumo gravado no meio do run não é sobrescrito (summary_present);
- usa só summarize_single: nunca a combinada, nunca o NER, nunca grava
  news_features (o sentimento ausente só é contado: sem_sentimento=N no
  resumo final), nunca publica;
- resumo vazio/nulo/não-string não grava, conta summary_failed e o artigo
  segue selecionável; os tokens gastos vão para o ledger;
- falha transitória continua, modelo indisponível aborta, exceção num
  artigo não derruba o run, governador de cota (antes, no meio, entre
  lotes), --dry-run sem Bedrock e sem escrita, ENRICHMENT_MODEL_ID
  obrigatória e conferida contra o modelo do classificador.

fakedb: predicados do null-summary no SELECT da janela, UPDATE de summary
com guarda e a contagem de sem sentimento (LEFT JOIN news_features).

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Fase 2.5 (DS-2). Backfill dos resumos apagados pelo re-scrape do scraper
(_update_existing_articles grava summary = NULL e content_embedding = NULL
desde o d406fee de 01/06): ~6.935 artigos com tema e sem resumo.

- --select null-summary: most_specific_theme_id IS NOT NULL AND summary IS
  NULL na janela BRT; --date-to exclusivo, obrigatório e ≤ hoje BRT (mesma
  regra do null-theme); ORDER BY published_at DESC.
- process_one_summary: llm_client.summarize_single (prompt enxuto, sem
  taxonomia, modelo = ENRICHMENT_MODEL_ID) e UPDATE_SUMMARY_SQL
  (UPDATE news SET summary = %s, updated_at = NOW() WHERE unique_id = %s
  AND summary IS NULL). Nunca regrava tema, nunca roda o NER, nunca grava
  news_features, nunca publica e não toca content_embedding.
- Resumo vazio/inválido não grava (summary_failed; segue selecionável);
  resumo gravado no meio do run não é sobrescrito (summary_present).
- Sentimento ausente não é gerado: count_missing_sentiment reporta
  sem_sentimento=N dos selecionados na seleção (inclusive no --dry-run) e
  no resumo final.
- run_reenrich ganha `process=` (default process_one): o governador de
  cota, o ledger por modelo e o abort por modelo indisponível valem igual
  nos dois modos. O null-summary não carrega o mapa de códigos de tema.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
… DS-2

- Modo null-summary: seleção, prompt enxuto (regras de resumo da combinada,
  sem taxonomia), UPDATE só de summary com guarda IS NULL, o que nunca faz
  (tema, NER, news_features, evento, content_embedding), falhas
  (summary_failed segue selecionável; summary_present), sentimento só
  reportado (sem_sentimento=N), mesmo modelo/ledger/governador.
- Ordem operacional: deploy do SC-1 → backfill dos resumos → backfill dos
  embeddings (B3; o texto é title + summary e o script só pega
  content_embedding IS NULL) → incremental-sync do Typesense (B4).

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Achado da revisão do DS-2. A seleção null-summary (tema gravado e summary
NULL) não olha content_embedding. Um artigo que já tem embedding sem resumo
(feito a partir do content, p.ex. pelo worker de embeddings depois de uma
combinada sem summary) ganha o resumo e mantém para sempre o embedding
antigo, porque o B3 só pega content_embedding IS NULL.

- O script deve contar e reportar `com_embedding=N dos M selecionados` na
  seleção (inclusive no --dry-run) e no fim do run, sem tocar no embedding.
- O null-theme não reporta essa contagem.
- count_with_embedding / WITH_EMBEDDING_SQL: COUNT só dos uids pedidos com
  content_embedding IS NOT NULL.
- fakedb: seed_news aceita content_embedding e simula a contagem.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Achado da revisão do DS-2: a seleção null-summary não olha
content_embedding, e um artigo que já tem embedding sem resumo ganharia o
resumo mantendo para sempre o embedding feito com o content (o B3 só pega
content_embedding IS NULL). Agora o operador vê a lacuna.

- WITH_EMBEDDING_SQL / count_with_embedding: COUNT dos selecionados com
  content_embedding IS NOT NULL (só leitura).
- main (null-summary): reporta `com_embedding=N dos M selecionados` junto
  com o sem_sentimento, na seleção (inclusive no --dry-run) e no fim do
  run. O embedding não é tocado; a seleção não muda (esses artigos também
  precisam do resumo).
- _count_uids: COUNT parametrizado por uids, compartilhado com
  count_missing_sentiment.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Achados da revisão do DS-2.

- Ordem operacional: uma passada no dia D do deploy do SC-1 deixa de fora
  os artigos de D (o --date-to é exclusivo e no máximo hoje BRT). Nova
  trava entre o DS-2 e o B3: última passada a partir de D+1 com --date-to
  de pelo menos D+1, e --dry-run na mesma janela com selecionados=0 (ou
  só summary_failed persistentes conhecidos). O B3 roda com --end-date
  igual ao --date-to dessa passada (o B3 pega toda linha com
  content_embedding IS NULL, sem olhar o resumo).
- Confirmação do início da janela: --dry-run em 2026-05-25..2026-06-01
  deve dar selecionados=0.
- com_embedding: por que existem (combinada sem summary não é falha; o
  worker de embeddings gera o vetor do content), a consulta só de leitura
  para salvar a lista antes de cada passada com escrita e o passo separado
  com OK (zerar o embedding da lista logo antes do B3, que não tem modo
  por uid).
- Pendências: B3 ainda não versionado no repo embeddings; embedding
  zerado pelo SC-1 em mudança de conteúdo não é regenerado fora de um
  novo B3; resumo NULL ainda possível no caminho ao vivo.
- Docstring do script aponta para a trava.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
@nitaibezerra
nitaibezerra merged commit 9a07093 into main Oct 6, 2026
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant