Repository navigation
fix: re-scrape preserva resumo, temas, image_url e embedding do enriquecimento - #64
Merged
Merged
Conversation
O UPDATE da Phase 1 (_update_existing_articles, artigo existente casado por (agency_key, url)) grava `summary = v.summary` (o scraper nunca preenche summary, logo NULL) e zera content_embedding/embedding_generated_at incondicionalmente. Desde o d406fee (01/06/2026), que consertou os casts desse UPDATE, ~6.935 artigos ficaram com tema e sem resumo/embedding. - unitários: o SQL usa COALESCE(v.summary, news.summary), só invalida o embedding quando news.content_hash IS DISTINCT FROM v.content_hash e não toca nas colunas de tema; o teste antigo que exigia `content_embedding = NULL` incondicional passa a exigir a invalidação condicional; - integração (Postgres descartável, marcador `postgres`, pulado sem SCRAPER_TEST_POSTGRES_URL): re-scrape com mesmo content_hash preserva summary, tema e embedding; com content_hash diferente zera o embedding e preserva o summary; título editado (unique_id novo) atualiza a linha original preservando o resumo; - registra o marcador `postgres` e o tira da contagem de skips por rede do conftest de integração. Falham hoje com `assert None == 'Resumo gerado pelo enriquecimento.'`.
Em _update_existing_articles (artigo existente casado por (agency_key, url)): - `summary = COALESCE(v.summary, news.summary)`: o scraper não preenche summary, então o NULL do re-scrape não apaga mais o resumo do enriquecimento (um summary vindo da fonte continua prevalecendo); - content_embedding/embedding_generated_at só viram NULL quando `news.content_hash IS DISTINCT FROM v.content_hash` (conteúdo ou título mudou); sem mudança, o embedding é preservado. As colunas de tema continuam fora do UPDATE. Corrige a causa raiz dos ~6.935 artigos com tema e sem resumo/embedding desde 02/06/2026 (agencia_brasil e tvbrasil ~95%, anvisa, mds, capes, tesouronacional, conitec). O histórico afetado precisa de backfill à parte (DS-2, B3).
No _insert_new_articles com allow_update=True, o ON CONFLICT (unique_id) DO UPDATE grava `col = EXCLUDED.col` para todas as colunas de _INSERT_COLUMNS menos unique_id/agency_id/published_at. Isso inclui as colunas do enriquecimento: summary e theme_l1_id, theme_l2_id, theme_l3_id, most_specific_theme_id, que o scraper entrega NULL. - unitários: para essas 5 colunas o SET usa COALESCE(EXCLUDED.col, news.col); as colunas do scraper (title, url, content, content_hash, extracted_at) continuam com EXCLUDED; - integração: mesmo unique_id com URL alterada ou sem URL (o caminho que escapa da Phase 1) e allow_update=True preserva resumo e temas. Falham hoje com `summary = EXCLUDED.summary` no SQL e `assert None == 'Resumo gerado pelo enriquecimento.'`.
O ON CONFLICT (unique_id) DO UPDATE passa a usar `col = COALESCE(EXCLUDED.col, news.col)` para as colunas do enriquecimento (_ENRICHED_COLUMNS: summary, theme_l1_id, theme_l2_id, theme_l3_id, most_specific_theme_id). O NULL do scraper não apaga mais o que o enrichment-worker gravou; um valor não nulo enviado explicitamente (ex.: recarga com temas) continua prevalecendo. As demais colunas seguem com EXCLUDED. Esse caminho só roda com allow_update=True (as DAGs usam False) e quando o (agency_key, url) não casa na Phase 1: URL alterada na fonte ou artigo sem URL. Os temas também eram apagados aqui, não só o resumo.
… com Postgres - CLAUDE.md (tabela news): summary, temas e embedding são gravados pelos workers downstream; a Phase 1 usa COALESCE no summary, não toca nos temas e só zera o embedding quando o content_hash muda; o ON CONFLICT do allow_update=True usa COALESCE para resumo e temas; - CLAUDE.md (Testes): como rodar tests/integration/test_postgres_rescrape.py contra um Postgres descartável (marcador `postgres`, SCRAPER_TEST_POSTGRES_URL só com host local); - .secrets.baseline: só o número de linha de uma entrada já existente do CLAUDE.md.
[Commit separável: este e o próximo commit formam a mudança de republicação e podem ser descartados juntos sem afetar os fixes de resumo, embedding e allow_update.] Hoje todo artigo existente casado por (agency_key, url) entra em inserted_articles, e o StorageAdapter republica dgb.news.scraped a cada re-scrape (~13 vezes/dia por artigo), mesmo sem mudança de conteúdo. - unitários: _find_existing_by_url passa a trazer o content_hash gravado; artigo com o mesmo content_hash continua sendo atualizado (e contado em articles_saved), mas não volta para publicação; conteúdo alterado ou hash gravado NULL voltam; lote misto devolve só novos e alterados; o retry do UniqueViolation segue a mesma regra. Os mocks existentes do SELECT ganham a 4ª coluna (content_hash), ignorada pelo código atual; - integração (StorageAdapter + Postgres descartável, EventPublisher mockado): artigo novo é publicado; re-scrape sem mudança não republica; re-scrape com conteúdo alterado republica.
… (green) [Commit separável: junto com o commit red anterior, forma a mudança de republicação e pode ser descartado sem afetar os fixes de resumo, embedding e allow_update.] _find_existing_by_url passa a trazer o content_hash gravado, e o novo _match_existing_by_url (usado no insert() e no retry do UniqueViolation) separa os artigos existentes cujo content_hash é igual ao do re-scrape. Esses continuam sendo atualizados pela Phase 1 e contados no total (articles_saved e os health checks não mudam de semântica), mas não entram em inserted_articles, logo o StorageAdapter não os republica. Artigos novos, conteúdo alterado e linhas legadas sem content_hash continuam publicados. Assinantes de dgb.news.scraped (infra/terraform/pubsub.tf): - dgb.news.scraped--enrichment (enrichment-worker): para um artigo já enriquecido, is_already_enriched() devolve `skipped`; o evento repetido só custava requisição e consulta (e, sem tema, chamada combinada + NER, a amplificação de 26/09 a 06/10). Deixa de receber as repetições. - dgb.news.scraped--bronze (bronze-writer): reescreve o mesmo objeto bronze/news/AAAA/MM/DD/<uid>.json a cada evento. Deixa de receber as repetições; o objeto fica com o estado da inserção ou da última mudança de conteúdo, como antes do scraper#36 (27/04). Efeito colateral aceito: a republicação a cada ~10 min funcionava como retry acidental para artigos cujo enriquecimento falhou (sem tema). A recuperação desses passa a depender dos backfills (scripts/reenrich_combined_window.py no data-science).
…sem tema (red) Achado da revisão do par C (761d56a + d673d24): ao deixar de republicar dgb.news.scraped quando o content_hash não muda, o artigo NOVO cujo enriquecimento falhou perde a única nova tentativa automática que tinha. O enrichment-worker responde 200/ACK até em exceção ("reconciliation DAG will catch it", mas a DAG enrich_news_llm saiu em data-science 8f10273) e em classification_failed, então o max_delivery_attempts da assinatura nunca entra em ação; não há Cloud Scheduler nem DAG de reconciliação. Os testes pedem que o re-scrape sem mudança só deixe de ser republicado quando o artigo já tem tema (most_specific_theme_id, o mesmo critério do is_already_enriched do worker). Sem tema, a republicação segue sendo o retry. _find_existing_by_url passa a trazer most_specific_theme_id.
…em tema (green) Escolha registrada para o achado must_fix do par C: opção (b) da revisão. O re-scrape só deixa de republicar dgb.news.scraped quando o conteúdo não mudou E o artigo já tem tema (most_specific_theme_id gravado). Sem tema, a republicação continua sendo a nova tentativa do enriquecimento, como antes do par C, porque não existe outro retry: o enrichment-worker faz ACK mesmo em erro/classification_failed e a DAG de reconciliação saiu. A opção (a) (adiar o par C até haver um retry agendado e limitado) fica como evolução: quando existir, o critério do tema pode sair. Custo aceito enquanto o modelo estiver fora: 1 chamada combinada por artigo sem tema a cada re-scrape, dentro da janela de re-scrape (o NER já roda 1x por uid). _find_existing_by_url passa a trazer most_specific_theme_id (_ExistingArticle); o conjunto de não republicados vira skip_publish_uids. CLAUDE.md documenta a regra e o motivo.
Achado should_fix da revisão: quando o content_hash muda, a Phase 1 zera content_embedding, mas nada o regera. O enrichment-worker devolve skipped/already_enriched sem publicar dgb.news.enriched, o embeddings-api só assina dgb.news.enriched e a DAG generate_embeddings saiu (embeddings b2b73fc). Toda edição de conteúdo (comum na EBC nas primeiras horas) deixaria o artigo fora da busca semântica para sempre. O vetor é de título + resumo (embeddings_client/text_prep.py) e o resumo é preservado e não é regerado na edição, então o vetor antigo continua coerente com o que está gravado; só uma edição de título o desatualiza. Os testes pedem que o UPDATE da Phase 1 não toque mais nas colunas de embedding (opção (a) da revisão: vetor um pouco desatualizado > nenhum).
Escolha registrada para o should_fix do embedding: opção (a) da revisão. O UPDATE da Phase 1 deixa de tocar em content_embedding e embedding_generated_at, inclusive quando o content_hash muda. Sem caminho de regeneração (worker pula o já enriquecido; embeddings-api só assina dgb.news.enriched; DAG generate_embeddings removida), zerar tirava o artigo da busca semântica para sempre. O vetor é de título + resumo e o resumo é preservado, então só uma edição de título o desatualiza. Remove os CASE do SET. CLAUDE.md documenta que edição de conteúdo não regera resumo, temas nem embedding, e que isso é evolução downstream.
…(red) Achado should_fix da revisão: o thumbnail-worker (data-platform) grava image_url em artigos com video_url e sem imagem (TV Brasil, re-raspada a cada 10 min no dia da publicação). O EBC scraper entrega image '' nesses casos e o UPDATE da Phase 1 faz image_url = v.image_url, apagando a miniatura até a DAG generate_video_thumbnails (a cada 4h) baixar o vídeo e extrair de novo. Os testes pedem COALESCE(NULLIF(v.image_url, ''), news.image_url) na Phase 1 e o equivalente com EXCLUDED no ON CONFLICT do allow_update=True: '' ou NULL do scraper não apaga o valor gravado; uma imagem não vazia vinda da fonte continua prevalecendo.
…-worker (green) Phase 1: image_url = COALESCE(NULLIF(v.image_url, ''), news.image_url). ON CONFLICT do allow_update=True: o mesmo com EXCLUDED, via _DOWNSTREAM_FILLED_COLUMNS e _on_conflict_assignment. '' ou NULL do scraper não apaga a miniatura; uma imagem não vazia da fonte prevalece. Efeito colateral aceito: se a fonte remover a imagem de um artigo, a URL antiga permanece (o integrity check a marca se quebrar). CLAUDE.md passa a listar image_url entre as colunas gravadas downstream.
…/postgres_guard.py Sem mudança de comportamento: a checagem de host local do fixture base_dsn vira unsafe_dsn_reason(dsn), com testes unitários (rodam no CI sem banco) que fixam o comportamento atual. Prepara o endurecimento da guarda pedido pela revisão.
…m dados reais (red) Achado should_fix da revisão: "só host local" não impede a conexão com produção. O acesso padrão ao banco de produção é o Cloud SQL Proxy em 127.0.0.1:5432 (PostgresManager monta postgresql://destaquesgovbr_app:...@127.0.0.1:5432/destaquesgovbr), que passa na checagem; e hostaddr= no DSN desvia a conexão real enquanto host=localhost passa. Com o proxy aberto, o fixture rodaria CREATE EXTENSION, CREATE SCHEMA, TRUNCATE e DROP SCHEMA CASCADE em produção. Os testes pedem, antes de conectar: recusar hostaddr e service no DSN, PGHOSTADDR/PGSERVICE no ambiente, a porta padrão 5432 (explícita, omitida ou via PGPORT) e dbname destaquesgovbr/govbrnews. Depois de conectar e antes de qualquer DDL (unsafe_database_reason): recusar current_database() de produção, instância Cloud SQL (papel cloudsqlsuperuser) e tabela news fora dos schemas scraper_it_*. Um teste postgres prova a última checagem num banco real (CREATE TABLE public.news desfeito no rollback).
… dados reais (green) unsafe_dsn_reason passa a recusar, antes de conectar, hostaddr/service no DSN, PGHOSTADDR/PGSERVICE no ambiente, a porta padrão 5432 (explícita, omitida ou via PGPORT) e dbname de produção. unsafe_database_reason roda logo depois de conectar e antes do CREATE EXTENSION/CREATE SCHEMA, numa única consulta de leitura: recusa current_database() de produção, instância Cloud SQL (papel cloudsqlsuperuser) e tabela news fora dos schemas scraper_it_* (sobras de execuções anteriores não bloqueiam). CLAUDE.md e o docstring do teste deixam de dizer "só aceita host local" e descrevem a guarda real.
Achado should_fix da revisão: o CI só rodava -m "not integration", então nenhum teste contra banco real (marcador postgres) era executado; os unitários só conferem substring do SQL e não pegam alias errado (news. vs EXCLUDED.), tipo errado nem a semântica de news.* no SET. tests.yaml ganha o service pgvector/pgvector:pg16 na porta 55432 (a guarda recusa 5432) e um step "pytest -m postgres --no-cov -rs" com SCRAPER_TEST_POSTGRES_URL apontando para ele; o workflow passa a disparar também quando o próprio tests.yaml muda. Com a variável definida e sem pgvector, o fixture agora falha em vez de pular, para o CI não passar em silêncio. Validado com actionlint (o único aviso, SC2086 no step de instalação do Poetry, já existia) e localmente com o mesmo comando.
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
Problema (em produção desde 02/06/2026)
O re-scrape de um artigo que já existe (Phase 1 de
PostgresManager.insert, que casa poragency_key+url) apaga os dados gravados pelo enriquecimento:_update_existing_articlesfaziasummary = v.summary. Nenhum scraper preenche resumo, então o valor gravado era sempre NULL. Também faziacontent_embedding = NULLsem nenhuma condição.d406fee(01/06) corrigiu os casts e fez esse UPDATE, que antes falhava, passar a funcionar.dgb.news.scraped, ~13 vezes por dia. De 26/09 a 06/10, enquanto o enriquecimento estava quebrado (Claude 3 Haiku em EOL), isso fez o NER rodar a cada republicação, a ~US$35/dia.A causa raiz foi rastreada com logs, SQL de leitura e a timeline de
especial-chica-xavier_814659: enriquecido às 00:30Z e re-scrapeado às 00:57Z, momento em que o resumo virou NULL.Correção (TDD, red → green)
summary = COALESCE(v.summary, news.summary);image_urlé preservado quando vem vazio (o thumbnail-worker grava image_url em vídeos da TV Brasil);allow_update=True(ON CONFLICT): usaCOALESCE(EXCLUDED.col, news.col)para summary, os 4 campos de tema e image_url. Antes também apagava os temas.dgb.news.scrapedquando ocontent_hashnão mudou e o artigo já tem tema. Artigo sem tema continua sendo republicado e serve de retry do enriquecimento, como antes.-m postgres, com service container pgvector no CI):allow_updatenão apaga nada;Testes: 674 unitários + 16 com Postgres. O CLAUDE.md foi atualizado.
Depois do deploy
O backfill dos ~6,9 mil resumos (data-science,
reenrich_combined_window.py --select null-summary) e dos embeddings só roda depois deste deploy. Antes disso, o re-scrape apagaria de novo o que fosse recuperado.cc @miguellsfilho: é a sua área. Mergeei para estancar a perda de dados; revisão pós-merge é bem-vinda.