Skip to content

fix: re-scrape preserva resumo, temas, image_url e embedding do enriquecimento - #64

Merged
nitaibezerra merged 17 commits into
mainfrom
fix/fase2.5-rescrape-preserva-resumo
Oct 6, 2026
Merged

nitaibezerra merged 17 commits into
mainfrom
fix/fase2.5-rescrape-preserva-resumo

Conversation

@nitaibezerra

Copy link
Copy Markdown
Contributor

Problema (em produção desde 02/06/2026)

O re-scrape de um artigo que já existe (Phase 1 de PostgresManager.insert, que casa por agency_key + url) apaga os dados gravados pelo enriquecimento:

  • _update_existing_articles fazia summary = v.summary. Nenhum scraper preenche resumo, então o valor gravado era sempre NULL. Também fazia content_embedding = NULL sem nenhuma condição.
  • O d406fee (01/06) corrigiu os casts e fez esse UPDATE, que antes falhava, passar a funcionar.
  • Resultado: ~6.935 artigos ficaram com tema, mas sem resumo e sem embedding, nas 7 agências que são re-scrapeadas por URL. Na agencia_brasil e na tvbrasil são ~95%. Esses artigos aparecem sem resumo e ficam fora da busca semântica.
  • Todo artigo atualizado era republicado em dgb.news.scraped, ~13 vezes por dia. De 26/09 a 06/10, enquanto o enriquecimento estava quebrado (Claude 3 Haiku em EOL), isso fez o NER rodar a cada republicação, a ~US$35/dia.

A causa raiz foi rastreada com logs, SQL de leitura e a timeline de especial-chica-xavier_814659: enriquecido às 00:30Z e re-scrapeado às 00:57Z, momento em que o resumo virou NULL.

Correção (TDD, red → green)

  • Phase 1:
    • summary = COALESCE(v.summary, news.summary);
    • o embedding não é mais zerado no re-scrape, porque nada o regera fora de backfill e ele é calculado de título + resumo;
    • image_url é preservado quando vem vazio (o thumbnail-worker grava image_url em vídeos da TV Brasil);
    • temas continuam intocados.
  • allow_update=True (ON CONFLICT): usa COALESCE(EXCLUDED.col, news.col) para summary, os 4 campos de tema e image_url. Antes também apagava os temas.
  • Republicação: o re-scrape só deixa de republicar dgb.news.scraped quando o content_hash não mudou e o artigo já tem tema. Artigo sem tema continua sendo republicado e serve de retry do enriquecimento, como antes.
    • Os assinantes são só o enrichment-worker, que pula artigo já enriquecido, e o bronze-writer, que reescreve o mesmo objeto.
  • Testes com Postgres real (-m postgres, com service container pgvector no CI):
    • re-scrape sem mudança preserva tudo;
    • com mudança de conteúdo, preserva o resumo;
    • allow_update não apaga nada;
    • a republicação segue as regras acima.
    • Uma guarda recusa conexão com o Cloud SQL Proxy ou com banco de produção.

Testes: 674 unitários + 16 com Postgres. O CLAUDE.md foi atualizado.

Depois do deploy

O backfill dos ~6,9 mil resumos (data-science, reenrich_combined_window.py --select null-summary) e dos embeddings só roda depois deste deploy. Antes disso, o re-scrape apagaria de novo o que fosse recuperado.

cc @miguellsfilho: é a sua área. Mergeei para estancar a perda de dados; revisão pós-merge é bem-vinda.

O UPDATE da Phase 1 (_update_existing_articles, artigo existente casado
por (agency_key, url)) grava `summary = v.summary` (o scraper nunca
preenche summary, logo NULL) e zera content_embedding/embedding_generated_at
incondicionalmente. Desde o d406fee (01/06/2026), que consertou os casts
desse UPDATE, ~6.935 artigos ficaram com tema e sem resumo/embedding.

- unitários: o SQL usa COALESCE(v.summary, news.summary), só invalida o
  embedding quando news.content_hash IS DISTINCT FROM v.content_hash e não
  toca nas colunas de tema; o teste antigo que exigia `content_embedding =
  NULL` incondicional passa a exigir a invalidação condicional;
- integração (Postgres descartável, marcador `postgres`, pulado sem
  SCRAPER_TEST_POSTGRES_URL): re-scrape com mesmo content_hash preserva
  summary, tema e embedding; com content_hash diferente zera o embedding
  e preserva o summary; título editado (unique_id novo) atualiza a linha
  original preservando o resumo;
- registra o marcador `postgres` e o tira da contagem de skips por rede do
  conftest de integração.

Falham hoje com `assert None == 'Resumo gerado pelo enriquecimento.'`.
Em _update_existing_articles (artigo existente casado por
(agency_key, url)):

- `summary = COALESCE(v.summary, news.summary)`: o scraper não preenche
  summary, então o NULL do re-scrape não apaga mais o resumo do
  enriquecimento (um summary vindo da fonte continua prevalecendo);
- content_embedding/embedding_generated_at só viram NULL quando
  `news.content_hash IS DISTINCT FROM v.content_hash` (conteúdo ou título
  mudou); sem mudança, o embedding é preservado.

As colunas de tema continuam fora do UPDATE. Corrige a causa raiz dos
~6.935 artigos com tema e sem resumo/embedding desde 02/06/2026
(agencia_brasil e tvbrasil ~95%, anvisa, mds, capes, tesouronacional,
conitec). O histórico afetado precisa de backfill à parte (DS-2, B3).
No _insert_new_articles com allow_update=True, o ON CONFLICT (unique_id)
DO UPDATE grava `col = EXCLUDED.col` para todas as colunas de
_INSERT_COLUMNS menos unique_id/agency_id/published_at. Isso inclui as
colunas do enriquecimento: summary e theme_l1_id, theme_l2_id,
theme_l3_id, most_specific_theme_id, que o scraper entrega NULL.

- unitários: para essas 5 colunas o SET usa COALESCE(EXCLUDED.col,
  news.col); as colunas do scraper (title, url, content, content_hash,
  extracted_at) continuam com EXCLUDED;
- integração: mesmo unique_id com URL alterada ou sem URL (o caminho que
  escapa da Phase 1) e allow_update=True preserva resumo e temas.

Falham hoje com `summary = EXCLUDED.summary` no SQL e
`assert None == 'Resumo gerado pelo enriquecimento.'`.
O ON CONFLICT (unique_id) DO UPDATE passa a usar
`col = COALESCE(EXCLUDED.col, news.col)` para as colunas do
enriquecimento (_ENRICHED_COLUMNS: summary, theme_l1_id, theme_l2_id,
theme_l3_id, most_specific_theme_id). O NULL do scraper não apaga mais o
que o enrichment-worker gravou; um valor não nulo enviado explicitamente
(ex.: recarga com temas) continua prevalecendo. As demais colunas seguem
com EXCLUDED.

Esse caminho só roda com allow_update=True (as DAGs usam False) e quando
o (agency_key, url) não casa na Phase 1: URL alterada na fonte ou artigo
sem URL. Os temas também eram apagados aqui, não só o resumo.
… com Postgres

- CLAUDE.md (tabela news): summary, temas e embedding são gravados pelos
  workers downstream; a Phase 1 usa COALESCE no summary, não toca nos
  temas e só zera o embedding quando o content_hash muda; o ON CONFLICT
  do allow_update=True usa COALESCE para resumo e temas;
- CLAUDE.md (Testes): como rodar tests/integration/test_postgres_rescrape.py
  contra um Postgres descartável (marcador `postgres`,
  SCRAPER_TEST_POSTGRES_URL só com host local);
- .secrets.baseline: só o número de linha de uma entrada já existente do
  CLAUDE.md.
[Commit separável: este e o próximo commit formam a mudança de
republicação e podem ser descartados juntos sem afetar os fixes de resumo,
embedding e allow_update.]

Hoje todo artigo existente casado por (agency_key, url) entra em
inserted_articles, e o StorageAdapter republica dgb.news.scraped a cada
re-scrape (~13 vezes/dia por artigo), mesmo sem mudança de conteúdo.

- unitários: _find_existing_by_url passa a trazer o content_hash gravado;
  artigo com o mesmo content_hash continua sendo atualizado (e contado em
  articles_saved), mas não volta para publicação; conteúdo alterado ou
  hash gravado NULL voltam; lote misto devolve só novos e alterados; o
  retry do UniqueViolation segue a mesma regra. Os mocks existentes do
  SELECT ganham a 4ª coluna (content_hash), ignorada pelo código atual;
- integração (StorageAdapter + Postgres descartável, EventPublisher
  mockado): artigo novo é publicado; re-scrape sem mudança não republica;
  re-scrape com conteúdo alterado republica.
… (green)

[Commit separável: junto com o commit red anterior, forma a mudança de
republicação e pode ser descartado sem afetar os fixes de resumo,
embedding e allow_update.]

_find_existing_by_url passa a trazer o content_hash gravado, e o novo
_match_existing_by_url (usado no insert() e no retry do UniqueViolation)
separa os artigos existentes cujo content_hash é igual ao do re-scrape.
Esses continuam sendo atualizados pela Phase 1 e contados no total
(articles_saved e os health checks não mudam de semântica), mas não
entram em inserted_articles, logo o StorageAdapter não os republica.
Artigos novos, conteúdo alterado e linhas legadas sem content_hash
continuam publicados.

Assinantes de dgb.news.scraped (infra/terraform/pubsub.tf):
- dgb.news.scraped--enrichment (enrichment-worker): para um artigo já
  enriquecido, is_already_enriched() devolve `skipped`; o evento repetido
  só custava requisição e consulta (e, sem tema, chamada combinada + NER,
  a amplificação de 26/09 a 06/10). Deixa de receber as repetições.
- dgb.news.scraped--bronze (bronze-writer): reescreve o mesmo objeto
  bronze/news/AAAA/MM/DD/<uid>.json a cada evento. Deixa de receber as
  repetições; o objeto fica com o estado da inserção ou da última mudança
  de conteúdo, como antes do scraper#36 (27/04).

Efeito colateral aceito: a republicação a cada ~10 min funcionava como
retry acidental para artigos cujo enriquecimento falhou (sem tema). A
recuperação desses passa a depender dos backfills
(scripts/reenrich_combined_window.py no data-science).
…sem tema (red)

Achado da revisão do par C (761d56a + d673d24): ao deixar de republicar
dgb.news.scraped quando o content_hash não muda, o artigo NOVO cujo
enriquecimento falhou perde a única nova tentativa automática que tinha.
O enrichment-worker responde 200/ACK até em exceção ("reconciliation DAG
will catch it", mas a DAG enrich_news_llm saiu em data-science 8f10273) e
em classification_failed, então o max_delivery_attempts da assinatura
nunca entra em ação; não há Cloud Scheduler nem DAG de reconciliação.

Os testes pedem que o re-scrape sem mudança só deixe de ser republicado
quando o artigo já tem tema (most_specific_theme_id, o mesmo critério do
is_already_enriched do worker). Sem tema, a republicação segue sendo o
retry. _find_existing_by_url passa a trazer most_specific_theme_id.
…em tema (green)

Escolha registrada para o achado must_fix do par C: opção (b) da revisão.
O re-scrape só deixa de republicar dgb.news.scraped quando o conteúdo não
mudou E o artigo já tem tema (most_specific_theme_id gravado). Sem tema,
a republicação continua sendo a nova tentativa do enriquecimento, como
antes do par C, porque não existe outro retry: o enrichment-worker faz
ACK mesmo em erro/classification_failed e a DAG de reconciliação saiu.

A opção (a) (adiar o par C até haver um retry agendado e limitado) fica
como evolução: quando existir, o critério do tema pode sair. Custo aceito
enquanto o modelo estiver fora: 1 chamada combinada por artigo sem tema a
cada re-scrape, dentro da janela de re-scrape (o NER já roda 1x por uid).

_find_existing_by_url passa a trazer most_specific_theme_id
(_ExistingArticle); o conjunto de não republicados vira skip_publish_uids.
CLAUDE.md documenta a regra e o motivo.
Achado should_fix da revisão: quando o content_hash muda, a Phase 1 zera
content_embedding, mas nada o regera. O enrichment-worker devolve
skipped/already_enriched sem publicar dgb.news.enriched, o embeddings-api
só assina dgb.news.enriched e a DAG generate_embeddings saiu (embeddings
b2b73fc). Toda edição de conteúdo (comum na EBC nas primeiras horas)
deixaria o artigo fora da busca semântica para sempre.

O vetor é de título + resumo (embeddings_client/text_prep.py) e o resumo
é preservado e não é regerado na edição, então o vetor antigo continua
coerente com o que está gravado; só uma edição de título o desatualiza.
Os testes pedem que o UPDATE da Phase 1 não toque mais nas colunas de
embedding (opção (a) da revisão: vetor um pouco desatualizado > nenhum).
Escolha registrada para o should_fix do embedding: opção (a) da revisão.
O UPDATE da Phase 1 deixa de tocar em content_embedding e
embedding_generated_at, inclusive quando o content_hash muda. Sem caminho
de regeneração (worker pula o já enriquecido; embeddings-api só assina
dgb.news.enriched; DAG generate_embeddings removida), zerar tirava o
artigo da busca semântica para sempre. O vetor é de título + resumo e o
resumo é preservado, então só uma edição de título o desatualiza.

Remove os CASE do SET. CLAUDE.md documenta que edição de conteúdo não
regera resumo, temas nem embedding, e que isso é evolução downstream.
…(red)

Achado should_fix da revisão: o thumbnail-worker (data-platform) grava
image_url em artigos com video_url e sem imagem (TV Brasil, re-raspada a
cada 10 min no dia da publicação). O EBC scraper entrega image '' nesses
casos e o UPDATE da Phase 1 faz image_url = v.image_url, apagando a
miniatura até a DAG generate_video_thumbnails (a cada 4h) baixar o vídeo
e extrair de novo.

Os testes pedem COALESCE(NULLIF(v.image_url, ''), news.image_url) na
Phase 1 e o equivalente com EXCLUDED no ON CONFLICT do allow_update=True:
'' ou NULL do scraper não apaga o valor gravado; uma imagem não vazia
vinda da fonte continua prevalecendo.
…-worker (green)

Phase 1: image_url = COALESCE(NULLIF(v.image_url, ''), news.image_url).
ON CONFLICT do allow_update=True: o mesmo com EXCLUDED, via
_DOWNSTREAM_FILLED_COLUMNS e _on_conflict_assignment. '' ou NULL do
scraper não apaga a miniatura; uma imagem não vazia da fonte prevalece.

Efeito colateral aceito: se a fonte remover a imagem de um artigo, a URL
antiga permanece (o integrity check a marca se quebrar). CLAUDE.md passa
a listar image_url entre as colunas gravadas downstream.
…/postgres_guard.py

Sem mudança de comportamento: a checagem de host local do fixture
base_dsn vira unsafe_dsn_reason(dsn), com testes unitários (rodam no CI
sem banco) que fixam o comportamento atual. Prepara o endurecimento da
guarda pedido pela revisão.
…m dados reais (red)

Achado should_fix da revisão: "só host local" não impede a conexão com
produção. O acesso padrão ao banco de produção é o Cloud SQL Proxy em
127.0.0.1:5432 (PostgresManager monta
postgresql://destaquesgovbr_app:...@127.0.0.1:5432/destaquesgovbr), que
passa na checagem; e hostaddr= no DSN desvia a conexão real enquanto
host=localhost passa. Com o proxy aberto, o fixture rodaria CREATE
EXTENSION, CREATE SCHEMA, TRUNCATE e DROP SCHEMA CASCADE em produção.

Os testes pedem, antes de conectar: recusar hostaddr e service no DSN,
PGHOSTADDR/PGSERVICE no ambiente, a porta padrão 5432 (explícita, omitida
ou via PGPORT) e dbname destaquesgovbr/govbrnews. Depois de conectar e
antes de qualquer DDL (unsafe_database_reason): recusar current_database()
de produção, instância Cloud SQL (papel cloudsqlsuperuser) e tabela news
fora dos schemas scraper_it_*. Um teste postgres prova a última checagem
num banco real (CREATE TABLE public.news desfeito no rollback).
… dados reais (green)

unsafe_dsn_reason passa a recusar, antes de conectar, hostaddr/service
no DSN, PGHOSTADDR/PGSERVICE no ambiente, a porta padrão 5432 (explícita,
omitida ou via PGPORT) e dbname de produção. unsafe_database_reason roda
logo depois de conectar e antes do CREATE EXTENSION/CREATE SCHEMA, numa
única consulta de leitura: recusa current_database() de produção,
instância Cloud SQL (papel cloudsqlsuperuser) e tabela news fora dos
schemas scraper_it_* (sobras de execuções anteriores não bloqueiam).

CLAUDE.md e o docstring do teste deixam de dizer "só aceita host local"
e descrevem a guarda real.
Achado should_fix da revisão: o CI só rodava -m "not integration", então
nenhum teste contra banco real (marcador postgres) era executado; os
unitários só conferem substring do SQL e não pegam alias errado
(news. vs EXCLUDED.), tipo errado nem a semântica de news.* no SET.

tests.yaml ganha o service pgvector/pgvector:pg16 na porta 55432 (a
guarda recusa 5432) e um step "pytest -m postgres --no-cov -rs" com
SCRAPER_TEST_POSTGRES_URL apontando para ele; o workflow passa a disparar
também quando o próprio tests.yaml muda. Com a variável definida e sem
pgvector, o fixture agora falha em vez de pular, para o CI não passar em
silêncio. Validado com actionlint (o único aviso, SC2086 no step de
instalação do Poetry, já existia) e localmente com o mesmo comando.
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant