Repository navigation
feat: backfill de resumos apagados pelo re-scrape com prompt enxuto (--select null-summary) - #44
Merged
Merged
Conversation
Fase 2.5 (DS-2). O backfill dos ~6.935 resumos apagados pelo re-scrape do
scraper não pode usar a chamada combinada: ela manda a taxonomia inteira
(~18,9k tokens de entrada por artigo). Esses artigos já têm tema; só falta
o resumo.
- _build_summary_prompt: sem taxonomia, sem códigos de tema, sem sentimento;
menos de 3.000 caracteres mesmo com conteúdo longo (e mais de 10x menor
que o combinado com uma taxonomia realista).
- Reusa as regras de resumo do combinado: SUMMARY_TASK_INSTRUCTION,
SUMMARY_EXAMPLE e o recorte de CONTENT_PREVIEW_CHARS (2.000) aparecem
nos dois prompts.
- summarize_single: tolera cercas ```json, devolve só {summary, _usage,
_model_id, _error}; resumo vazio/nulo/não-string/JSON inválido é falha
(ValueError) com o usage somado de todas as tentativas; throttling é
retentado; EOL traz o código do erro.
- Guarda de regressão: o _parse_response da combinada segue igual.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Fase 2.5 (DS-2). BedrockLLMClient.summarize_single gera SÓ o resumo, para
artigos que já têm tema e perderam o resumo no re-scrape do scraper. O
prompt não leva a taxonomia: cai de ~18,9k tokens de entrada para algo da
ordem de 1k (≤ ~3 mil caracteres).
- Regras de resumo extraídas para constantes compartilhadas pelos dois
prompts: SUMMARY_TASK_INSTRUCTION, SUMMARY_EXAMPLE, CONTENT_PREVIEW_CHARS
(2.000) e o bloco "NOTÍCIA:" (_format_news_block). O prompt da chamada
combinada continua byte a byte igual (hash conferido antes e depois).
- _find_json_object: extração de JSON (tolerante a cercas ```json) agora
compartilhada por _parse_response e _parse_summary_response.
- summarize_single: mesmo modelo (model_id = ENRICHMENT_MODEL_ID) e mesmo
_call_bedrock da combinada, com o mesmo retry/backoff; resumo vazio,
nulo ou não-string é falha (ValueError) e é retentado; `_usage` soma
todas as tentativas que chegaram ao modelo (o ledger conta os tokens das
respostas descartadas); devolve só {summary, _usage, _model_id, _error}.
- _enrich_single_news (worker ao vivo) não foi alterado.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Fase 2.5 (DS-2). Backfill só do resumo para os artigos com tema gravado e summary NULL (re-scrape do scraper apaga o resumo desde 02/06): - seleção: most_specific_theme_id IS NOT NULL AND summary IS NULL na janela BRT, --date-to exclusivo, obrigatório e no máximo hoje BRT (como no null-theme), ORDER BY published_at DESC; - grava com UPDATE news SET summary = %s, updated_at = NOW() WHERE unique_id = %s AND summary IS NULL: tema e content_embedding intactos, resumo gravado no meio do run não é sobrescrito (summary_present); - usa só summarize_single: nunca a combinada, nunca o NER, nunca grava news_features (o sentimento ausente só é contado: sem_sentimento=N no resumo final), nunca publica; - resumo vazio/nulo/não-string não grava, conta summary_failed e o artigo segue selecionável; os tokens gastos vão para o ledger; - falha transitória continua, modelo indisponível aborta, exceção num artigo não derruba o run, governador de cota (antes, no meio, entre lotes), --dry-run sem Bedrock e sem escrita, ENRICHMENT_MODEL_ID obrigatória e conferida contra o modelo do classificador. fakedb: predicados do null-summary no SELECT da janela, UPDATE de summary com guarda e a contagem de sem sentimento (LEFT JOIN news_features). Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Fase 2.5 (DS-2). Backfill dos resumos apagados pelo re-scrape do scraper (_update_existing_articles grava summary = NULL e content_embedding = NULL desde o d406fee de 01/06): ~6.935 artigos com tema e sem resumo. - --select null-summary: most_specific_theme_id IS NOT NULL AND summary IS NULL na janela BRT; --date-to exclusivo, obrigatório e ≤ hoje BRT (mesma regra do null-theme); ORDER BY published_at DESC. - process_one_summary: llm_client.summarize_single (prompt enxuto, sem taxonomia, modelo = ENRICHMENT_MODEL_ID) e UPDATE_SUMMARY_SQL (UPDATE news SET summary = %s, updated_at = NOW() WHERE unique_id = %s AND summary IS NULL). Nunca regrava tema, nunca roda o NER, nunca grava news_features, nunca publica e não toca content_embedding. - Resumo vazio/inválido não grava (summary_failed; segue selecionável); resumo gravado no meio do run não é sobrescrito (summary_present). - Sentimento ausente não é gerado: count_missing_sentiment reporta sem_sentimento=N dos selecionados na seleção (inclusive no --dry-run) e no resumo final. - run_reenrich ganha `process=` (default process_one): o governador de cota, o ledger por modelo e o abort por modelo indisponível valem igual nos dois modos. O null-summary não carrega o mapa de códigos de tema. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
… DS-2 - Modo null-summary: seleção, prompt enxuto (regras de resumo da combinada, sem taxonomia), UPDATE só de summary com guarda IS NULL, o que nunca faz (tema, NER, news_features, evento, content_embedding), falhas (summary_failed segue selecionável; summary_present), sentimento só reportado (sem_sentimento=N), mesmo modelo/ledger/governador. - Ordem operacional: deploy do SC-1 → backfill dos resumos → backfill dos embeddings (B3; o texto é title + summary e o script só pega content_embedding IS NULL) → incremental-sync do Typesense (B4). Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Achado da revisão do DS-2. A seleção null-summary (tema gravado e summary NULL) não olha content_embedding. Um artigo que já tem embedding sem resumo (feito a partir do content, p.ex. pelo worker de embeddings depois de uma combinada sem summary) ganha o resumo e mantém para sempre o embedding antigo, porque o B3 só pega content_embedding IS NULL. - O script deve contar e reportar `com_embedding=N dos M selecionados` na seleção (inclusive no --dry-run) e no fim do run, sem tocar no embedding. - O null-theme não reporta essa contagem. - count_with_embedding / WITH_EMBEDDING_SQL: COUNT só dos uids pedidos com content_embedding IS NOT NULL. - fakedb: seed_news aceita content_embedding e simula a contagem. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Achado da revisão do DS-2: a seleção null-summary não olha content_embedding, e um artigo que já tem embedding sem resumo ganharia o resumo mantendo para sempre o embedding feito com o content (o B3 só pega content_embedding IS NULL). Agora o operador vê a lacuna. - WITH_EMBEDDING_SQL / count_with_embedding: COUNT dos selecionados com content_embedding IS NOT NULL (só leitura). - main (null-summary): reporta `com_embedding=N dos M selecionados` junto com o sem_sentimento, na seleção (inclusive no --dry-run) e no fim do run. O embedding não é tocado; a seleção não muda (esses artigos também precisam do resumo). - _count_uids: COUNT parametrizado por uids, compartilhado com count_missing_sentiment. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Achados da revisão do DS-2. - Ordem operacional: uma passada no dia D do deploy do SC-1 deixa de fora os artigos de D (o --date-to é exclusivo e no máximo hoje BRT). Nova trava entre o DS-2 e o B3: última passada a partir de D+1 com --date-to de pelo menos D+1, e --dry-run na mesma janela com selecionados=0 (ou só summary_failed persistentes conhecidos). O B3 roda com --end-date igual ao --date-to dessa passada (o B3 pega toda linha com content_embedding IS NULL, sem olhar o resumo). - Confirmação do início da janela: --dry-run em 2026-05-25..2026-06-01 deve dar selecionados=0. - com_embedding: por que existem (combinada sem summary não é falha; o worker de embeddings gera o vetor do content), a consulta só de leitura para salvar a lista antes de cada passada com escrita e o passo separado com OK (zerar o embedding da lista logo antes do B3, que não tem modo por uid). - Pendências: B3 ainda não versionado no repo embeddings; embedding zerado pelo SC-1 em mudança de conteúdo não é regenerado fora de um novo B3; resumo NULL ainda possível no caminho ao vivo. - Docstring do script aponta para a trava. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
Contexto
O re-scrape do scraper apagou o
summaryde ~6.935 artigos desde 02/06/2026 (causa raiz e correção em destaquesgovbr/scraper#64). Esses artigos têm tema, mas não têm resumo nem embedding. Recuperá-los pela chamada combinada custaria ~19k tokens de entrada por artigo, porque a taxonomia inteira vai no prompt: ~130M tokens no total, o que não cabe na cota diária do Haiku 4.5.Mudanças (TDD, red → green)
llm_client.summarize_singleusa um prompt só de resumo, sem taxonomia nem códigos de tema, com menos de 3 mil caracteres.reenrich_combined_window.py --select null-summary:most_specific_theme_id IS NOT NULL AND summary IS NULL, por janela BRT. O--date-toé obrigatório e não pode passar de hoje.UPDATE news SET summary = %s WHERE unique_id = %s AND summary IS NULL, sem tocar tema nem embedding, sem rodar o NER e sem publicar evento.sem_sentimento=Ne não gera sentimento.Testes
397 testes passando (eram 347).
Comportamento ao vivo
Não muda. O merge redeploya o enrichment-worker, mas o caminho ao vivo (
_enrich_single_newse o prompt combinado) está inalterado.🤖 Generated with Claude Code