Skip to content

fix: janela das DAGs em BRT a partir do instante (regressão do #69 com pendulum) - #70

Merged
nitaibezerra merged 2 commits into
mainfrom
fix/janela-brt-pendulum
Nov 3, 2026
Merged

nitaibezerra merged 2 commits into
mainfrom
fix/janela-brt-pendulum

Conversation

@nitaibezerra

Copy link
Copy Markdown
Contributor

Resumo

Corrige uma regressão do #69 na janela das DAGs scrape_*.

Em produção o logical_date do Airflow é pendulum.DateTime. Com ele, astimezone(ZoneInfo) seguido de - timedelta(hours=1) devolve o resultado em outro fuso. Das 21:00 às 23:59 BRT, a janela do #69 saiu invertida: os logs da scraper-api 00048-g2f mostram from 2026-11-03 to 2026-11-02 a partir de 01:42Z de 03/11. Com a janela invertida, nada é raspado nesse horário.

Reproduzido com pendulum 3:

Código Instante Janela
Antigo 01:42Z 2026-11-03 → 2026-11-02
Corrigido 01:42Z 2026-11-02 → 2026-11-02
Corrigido 03:30Z 2026-11-02 → 2026-11-03
Corrigido 18:30Z 2026-11-03 → 2026-11-03

Mudança

  • _scrape_window usa só o instante: datetime.fromtimestamp(logical_date.timestamp(), tz=America/Sao_Paulo), um datetime da stdlib, nas duas DAGs (scrape_agencies e scrape_ebc).
  • TDD:
    • test: … (red) acrescenta um logical_date que só expõe timestamp() e tzinfo e falha se a função usar a aritmética, o astimezone ou o strftime do objeto;
    • fix: … faz o teste passar.
  • Na 1ª hora do dia em BRT, a janela inclui o dia anterior. Se este fix entrar antes de 03:59Z (00:59 BRT), as execuções dessa hora recuperam as notícias de 02/11 que a janela invertida pulou.

Testes

pytest -m "not integration": 761 passed. ruff nos arquivos alterados: OK.

⚠️ O merge redeploya as DAGs no Composer, e o código de scrape_agencies.py/scrape_ebc.py muda. Depois, checar DagRuns zumbis e execuções agendadas.

🤖 Generated with Claude Code

Em produção o logical_date é pendulum.DateTime. Depois do #69, das 21:00 às
23:59 BRT a janela saiu invertida (start_date 2026-11-03, end_date 2026-11-02,
logs da scraper-api a partir de 01:42Z de 03/11) e nada é raspado nesse horário.
O teste usa um objeto que só expõe o instante (timestamp) e o tzinfo.
O logical_date do Airflow é pendulum.DateTime. Com ele, astimezone(ZoneInfo)
seguido de subtração não preserva o fuso, e das 21:00 às 23:59 BRT a janela do
#69 saiu invertida (start 03/11, end 02/11): nada é raspado nesse horário. A
janela agora vem de datetime.fromtimestamp(logical_date.timestamp(),
tz=America/Sao_Paulo), um datetime da stdlib.
@nitaibezerra
nitaibezerra merged commit a1d7726 into main Nov 3, 2026
1 check passed
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant