Skip to content
Merged
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
30 changes: 15 additions & 15 deletions docs/bench.md
Original file line number Diff line number Diff line change
Expand Up @@ -19,9 +19,10 @@ computacionales desde fuera del proceso Python; el protocolo CLI es el mismo.)
- **Ejecución** — lanza cada algoritmo como proceso aislado con el protocolo
CLI estándar (cada módulo conserva su propio venv) y mide tiempo de pared
y memoria pico RSS (GNU time).
- **Evaluación** — en modo curado invoca el CLI de `astro-denoise-metrics`
(su propio venv) contra el truth catalog Parquet real, por región y banda;
en modo clásico usa PSNR/SSIM/σ_sky con fallback numpy. El umbral de
- **Evaluación** — en modo curado invoca `python -m astro_denoise.metrics`
(mismo intérprete del bench, extra `metrics`) contra el truth catalog
Parquet real, por región y banda; en modo clásico usa PSNR/SSIM/σ_sky
con fallback numpy. El umbral de
detección se ancla al RMS de fondo de la **región de entrada** (se pasa
`--thresh-image` a metrics), de modo que todos los métodos se evalúan a la
misma profundidad absoluta: un método que aplasta el fondo ya no "detecta
Expand Down Expand Up @@ -61,7 +62,6 @@ python -m astro_denoise.bench \
--algo bm3d \
--manifest data/curated/manifest.json \
--python ../astro-denoise-bm3d/.venv/bin/python \
--metrics-python ../astro-denoise-metrics/.venv/bin/python \
[--bands z,r] [--tracts 3829] [--mag-limit 26] [--previews] \
--output data/curated/report_bm3d.json

Expand All @@ -74,14 +74,12 @@ python -m astro_denoise.bench --tui --manifest data/curated/manifest.json

# 4) Figuras del paper a partir de reportes ya completados
python -m astro_denoise.bench --figures --curated-out data/curated \
--metrics-python ../astro-denoise-metrics/.venv/bin/python \
[--reports report_raw.json,report_bm3d_t3829.json,report_unet.json] \
[--figures-out data/curated/figures] [--refresh-sweep] \
[--skip-sweep] [--skip-d8]

# Explicación de cada métrica (delega en astro-denoise-metrics --explain)
python -m astro_denoise.bench --explain-metrics \
--metrics-python ../astro-denoise-metrics/.venv/bin/python
# Explicación de cada métrica (delega en python -m astro_denoise.metrics --explain)
python -m astro_denoise.bench --explain-metrics

# Crear un nuevo método con cero fricción (para otros investigadores)
python -m astro_denoise.bench --new-method wavelet [--methods-dir /ruta]
Expand All @@ -100,8 +98,10 @@ python -m astro_denoise.bench --new-method wavelet
cd astro-denoise-wavelet
uv sync --all-extras && uv run pytest # verde desde el minuto cero
# implementar denoise() en src/astro_denoise_wavelet/denoiser.py
python -m astro_denoise.bench --algo wavelet --manifest data/curated/manifest.json \
--python .venv/bin/python --metrics-python <metrics>/.venv/bin/python
cd ..
python -m astro_denoise.bench --algo wavelet \
--manifest data/curated/manifest.json \
--python astro-denoise-wavelet/.venv/bin/python
```

El esqueleto sin modificar es un pass-through: corre el benchmark tal cual y
Expand All @@ -120,9 +120,10 @@ python -m astro_denoise.bench \
[--python ../astro-denoise-bm3d/.venv/bin/python]
```

- `--python` / `--metrics-python` apuntan al intérprete del venv propio de
cada módulo; por defecto usan el intérprete actual. Así cada módulo mantiene
sus dependencias aisladas.
- `--python` apunta al intérprete del venv propio del módulo; por defecto usa
el intérprete actual. Las métricas corren en el mismo intérprete del bench
(`astro_denoise.metrics`, extra `metrics`). Así cada módulo mantiene sus
dependencias aisladas.
- `--config` se reenvía tal cual al módulo del método.
- En modo curado, si no se pasa `--config` y existe `<algo>_config.json`
junto al manifest (p. ej. `bm3d_config.json` con
Expand Down Expand Up @@ -264,8 +265,7 @@ metadatos del método, métricas) y un bloque `summary`:
umbrales del barrido, banda de D8).

`--skip-sweep` y `--skip-d8` permiten quedarse solo con las figuras puras
(sin relanzar métricas). `--metrics-python` es el mismo intérprete que en
el modo `--manifest`.
(sin relanzar métricas).

## Tests

Expand Down
27 changes: 12 additions & 15 deletions docs/metrics.md
Original file line number Diff line number Diff line change
@@ -1,6 +1,6 @@
# astro-denoise-metrics
# Módulo de métricas astro-denoise

> Módulo de métricas downstream científico para el benchmark astro-denoise.
> Módulo de métricas científico para el benchmark astro-denoise.

Implementa la capa de evaluación de la plataforma astro-denoise:
mide cómo un método de denoising afecta la **recuperación de fuentes**
Expand Down Expand Up @@ -112,15 +112,15 @@ python -m astro_denoise.metrics \
- Con truth DC2, `photometric_accuracy` compara flujo instrumental (ADU)
contra nJy: solo la dispersión relativa es interpretable, no el bias.
- `results.json` contiene todas las métricas; stdout emite una línea JSON de
estado (`{"module": "astro-denoise-metrics", "status": "ok", ...}`) para que
estado (`{"module": "astro_denoise.metrics", "status": "ok", ...}`) para que
orquestadores como `astro-denoise-bench` parseen el resultado.
- El resumen legible se imprime por stderr vía `rich`.

## Ejemplo de output

```json
{
"module": "astro-denoise-metrics",
"module": "astro_denoise.metrics",
"version": "0.4.0",
"n_detected": 142,
"n_truth": 150,
Expand Down Expand Up @@ -157,17 +157,14 @@ workflow reusable [`UniverLab/workflows`](https://github.com/UniverLab/workflows
## Estructura del proyecto

```
astro-denoise-metrics/
├── pyproject.toml
├── src/
│ └── astro_denoise/metrics/
│ ├── __init__.py
│ ├── __main__.py # CLI entry point
│ ├── detect.py
│ └── metrics.py
├── tests/
└── README.md
src/astro_denoise/metrics/
├── __init__.py
├── __main__.py # CLI entry point
├── detect.py
├── explain.py
├── metrics.py
└── truth.py
```

---
Este submódulo forma parte de la plataforma `astro-denoise`.
Este módulo forma parte de la plataforma `astro-denoise`.
16 changes: 10 additions & 6 deletions docs/passthrough.md
Original file line number Diff line number Diff line change
Expand Up @@ -22,19 +22,23 @@ uv run ruff format . && uv run ruff check . && uv run mypy src/

## Correr en el benchmark

El bench y las métricas son el mismo paquete `astro-denoise`; prepara el
checkout core una vez y corre desde ahí:

```bash
python -m astro_denoise.bench \
cd /ruta/a/astro-denoise
uv sync --all-extras
uv run python -m astro_denoise.bench \
--algo passthrough \
--manifest data/curated/manifest.json \
--python /ruta/a/astro-denoise-passthrough/.venv/bin/python \
--metrics-python /ruta/a/astro-denoise-metrics/.venv/bin/python
--python /ruta/a/astro-denoise-passthrough/.venv/bin/python
```

El orquestador invoca `python -m astro_denoise_passthrough --input ... --output ... [--config ...]`
y espera una línea JSON de status por stdout (ya implementada en `__main__.py`).
`--python` es el `.venv` de este método; las métricas usan el intérprete del
bench (`astro_denoise.metrics`, extra `metrics`), sin otro venv.

## Protocolo

- Entry point `astro_denoise.methods` -> `passthrough` (descubrimiento automático).
- Contrato `DenoiseMethod` en `src/astro_denoise_passthrough/interface.py`.
- Las métricas del benchmark se explican con `astro-denoise-metrics --explain`.
- Métricas: `python -m astro_denoise.metrics --explain`.
Loading
Loading