Repository navigation
fix: alertar agências ativas sem nenhuma execução (DagRun zumbi) - #67
Merged
Merged
Conversation
O monitor_scraping_health só olhava scrape_runs (falhas consecutivas e agências sem notícias), então não via uma DAG scrape_* que parou de chamar a API. Foi o que aconteceu com scrape_inma (desde 13/04), scrape_inpe (11/06), scrape_aids e scrape_patrimonio (21/08): um DagRun preso em 'running', sem task instances, numa DagVersion sem serialized_dag, com max_active_runs=1. Ficaram meses sem raspar e sem nenhum alerta. - health_checks.find_silent_agencies e task check_silent_agencies: agência ativa no site_urls.yaml sem nenhum scrape_run (sucesso ou erro) nas últimas scraper_silent_hours (default 2h, mínimo 1). Agência que falha grava scrape_run de erro e não entra. - A seção "Agencias Sem Execucao" vem primeiro no alerta. Cada seção lista no máximo 25 agências, e a mensagem é cortada em fim de linha em 4000 caracteres: o alerta atual já passava de 4096 e o Cloud Logging cortava o fim da linha "Alert (log-only)". - Runbook "DAG de Agência Travada": diagnóstico só leitura e correção (dags delete; marcar o run como failed não resolve).
nitaibezerra
marked this pull request as ready for review
October 22, 2026 13:57
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
Resumo
Adiciona ao
monitor_scraping_healthum alerta para agência ativa sem nenhuma execução: a agência está ativa nosite_urls.yaml, mas não tem nenhumscrape_run(sucesso ou erro) nas últimasscraper_silent_hours(default 2h). É o único sinal de que a DAGscrape_*parou de chamar a API. Hoje nenhuma checagem vê esse caso, porque todas partem descrape_runs.O PR não destrava as 4 DAGs travadas. Para isso é preciso uma ação mutante no Airflow, que precisa de aprovação humana (ver "Ação operacional pendente", abaixo). O PR passa a detectar o problema e documenta no runbook como corrigir.
Diagnóstico
Contexto: incidente "500 em
/scrape/agenciesdesde ~18h UTC de 21/10". Diagnóstico e verificação independente, os dois somente leitura:00045-7hb). Os 500 vêm de 22 agências cuja seção de notícias saiu do ar no defeso eleitoral: 401, 404 ou 302 pararequire_login. O único fato novo é omemp: dá 401 desde 21/10 17:02Z, e a home do órgão publica um comunicado de defeso. Nada disso é tratado aqui. O plano já existente é reverter o scraper#61 depois de 25/10.scrape_inma,scrape_inpe,scrape_aidsescrape_patrimoniotêm um único DagRun emrunning, sem task instances, há meses. Commax_active_runs=1, nenhum run novo é criado, e o scheduler gera ~650 linhas por hora por DAG comDAG 'scrape_X' not found in serialized_dag table.serialized_dage semdag_code. São elas aids v4, inma v5, inpe v6 e patrimonio v6, edagSources?version_number=Nresponde 404 para todas. Cada uma foi criada de 15 s a 6 min depois do início do respectivo run, logo após um deploy. O bundledags-foldernão é versionado, então o scheduler resolve qualquer run para essa versão órfã.scrape_inmascheduled__2026-04-13T16:09scrape_inpescheduled__2026-06-11T20:56scrape_aidsscheduled__2026-08-21T11:27scrape_patrimonioscheduled__2026-08-21T11:33Evidências de que o alerta pega o caso real
EXPLAIN ANALYZEem ~6 ms, Index Only Scan emidx_scrape_runs_agency_scraped, top-1 por agência), devolve exatamente as 4 agências:aids(última execução 2026-08-21 11:32:46Z),inma(nenhuma),inpe(nenhuma) epatrimonio(2026-08-21 11:43:24Z). As 22 agências do defeso não aparecem, porque gravamscrape_runde erro a cada tentativa: são falhas, não silêncio.Alert (log-only)de 22/10 01:37Z a 04:10Z têm exatamente 4096 caracteres, com 55 itens. Uma seção nova no fim da mensagem seria perdida. Por isso, a seção nova vem primeiro, cada seção lista no máximo 25 agências e a mensagem é cortada em fim de linha em 4000 caracteres.Mudanças
src/govbr_scraper/monitoring/health_checks.py:SILENT_AGENCIES_QUERYefind_silent_agencies(conn, active_agencies, silent_hours=2).dags/monitor_scraping_health.py:check_silent_agencies, que lê as agências ativas do mesmoconfig/site_urls.yamlusado porscrape_agencies.py;send_alerts(failures, stale, silent);_build_alert_message, que gera a seção "Agencias Sem Execucao" em primeiro lugar, limita cada seção a 25 linhas (... e mais N) e corta a mensagem em fim de linha em 4000 caracteres, sem quebrar o<b>.scraper_silent_hours(default 2, mínimo 1). Não precisa criar: o default basta.docs/runbook.md: nova seção "DAG de Agência Travada (DagRun zumbi)", com diagnóstico somente leitura, correção, validação e recuperação do período perdido. Também explica como ler os alertaslog-only.CLAUDE.mde.secrets.baseline: atualizações de documentação. No.secrets.baselinesó muda oline_number500→501, que é o mesmo segredo de exemplo doCLAUDE.md, deslocado uma linha.Testes (TDD: red → green)
ImportError: cannot import name 'SILENT_AGENCIES_QUERY'). Depois de implementar ohealth_checks, 19 testes da DAG ainda falhavam.pytest -m "not integration"699 passed (eram 674 noorigin/main, são 25 novos).pytest -m postgresem pgvector descartável na porta 55478: 22 passed (6 novos emtests/integration/test_postgres_health_checks.py).ruff checkeruff formatlimpos. Hooks do pre-commit (detect-secrets, bandit, ruff) passando.dags/scraper/):dags reserializesem import errors, 159 DAGs (155scrape_*de agência).airflow dags test monitor_scraping_healthcontra um Postgres local semeado com o estado de produção terminou com as 4 tasks emsuccess, e osend_alertlogou a seção "Agencias Sem Execucao" com aids, inma, inpe e patrimonio, seguida da seção de falhas consecutivas.Deploy
O merge em
maindispara "Deploy Scraper DAGs to Composer" (dags/**→gs://…/dags/scraper/). Sódags/monitor_scraping_health.pymuda.scrape_agencies.pyesite_urls.yamlficam iguais, então as DAGsscrape_*não ganham versão nova, e a única DagVersion criada é a domonitor_scraping_health. Não há Terraform. Comosrc/govbr_scraper/monitoring/health_checks.pytambém muda, o merge dispara ainda "Deploy Scraper API" (src/govbr_scraper/**): uma revisão nova dodestaquesgovbr-scraper-apia partir domain(hoje00045-7hb, imagemc9e9eaa). A mudança emhealth_checks.pyé só aditiva (função e query novas), e a API não passa a se comportar de outro jeito.Como validar depois do deploy (somente leitura)
O resultado esperado é
4 de 155(aids, inma, inpe, patrimonio) até a ação operacional abaixo. Depois dela, a lista deve ficar vazia.Rollback
Fazer
git revertdo commit e mergear. O workflow republica a versão anterior domonitor_scraping_health.py. A mudança não tem estado: não cria tabela, não exige Variable e não mexe nas DAGs de scraping.Ação operacional pendente (fora deste PR, precisa de aprovação humana)
Destravar as 4 DAGs. Marcar o run como
failednão resolve: o próximo run nasce comcreated_dag_version= a versão órfã e trava de novo. O que resolve éairflow dags delete, que no 3.1 apaga tambémdag_versioneserialized_dag. Em seguida, o reparse cria uma v1 nova, já serializada:Depois, fazer um re-scrape dirigido (seção "Forçar Re-scrape Completo" do runbook) de
aidsdesde 21/08,inmadesde 13/04 einpedesde 11/06.patrimoniohoje dá 401 (defeso).Fora do escopo (risco médio ou dependente de data)
memp. Isso vem depois de 25/10, conforme o plano.source_unavailable(sem 500 e sem retry na DAG) para 401, 404 erequire_login. Isso muda o contrato com a DAG e com os relatórios.infra.🤖 Generated with Claude Code