Data Spaces (EDC · DSP · DCP) | K8s · Bare-Metal · Argo CD · Cilium | Kubeflow · MLflow | PySpark | MSc Big Data & AI
Diseño y opero clústeres Kubernetes sobre bare-metal —GitOps con Argo CD, red con Cilium, backup con Velero— y los pipelines de datos y modelos que corren encima. Trabajo sobre data spaces federados (EDC, Gaia-X). Cursando el MSc en Big Data & AI.
Espacios de datos sobre Eclipse Dataspace Components, de la base de EDC al despliegue en Kubernetes con GitOps.
| Pieza | Qué aporta |
|---|---|
| Base EDC congelada | Connector e IdentityHub reproducibles desde un tag de git |
| Runtimes | Control plane, IdentityHub y emisor de credenciales, una imagen cada uno |
| Data planes en Go | Envoy Gateway (PULL) y Bento (PUSH y PULL) sobre Data Plane Signaling |
| dsgen | Un dataspace completo a partir de un único YAML |
| dataspace-tck | Prueba tu conector sin montar otro: protocolo, credenciales y el dato |
| GitOps | Cada pieza, un workload de Argo CD sobre Argo-cd-Labs |
Go · Java · Python · Kubernetes · Argo CD · DSP 2025-1 · DCP
dataspace-tck — probar un conector de dataspace sin montar otro al lado
- Entra en el dataspace con identidad propia (
did:web+ credenciales DCP) y hace de consumidor o de proveedor de tu conector. - Comprueba protocolo, credenciales, negociación y transferencia PULL/PUSH, y que el dato llega entero y deja de llegar al terminar.
- Web guiada, CLI con informe JUnit para CI y API. No guarda datos ni muestra secretos.
- Se despliega en Kubernetes con Argo CD (Gateway API + TLS).
Comprobación de interoperabilidad, no un TCK oficial: no está afiliado a la Eclipse Foundation, IDSA ni DSSC.
En preparación: la mayoría de los repos son privados de momento.
- agent-platform — Agentes declarativos (un agent.yaml) sobre ADK, LangGraph y LangChain; MCP, A2A, kagent y MLflow como backend de AgentOps
- mlops-ct-platform — Tool-agnostic MLOps platform demonstrating a closed continuous-training loop on kind (GitOps, registry, serving, drift-driven retraining)
- Argo-cd-Labs — Plano de control GitOps multi-tenant con Argo CD sobre Kubernetes bare-metal
- NYC-Spark-Mobility — Lab distribuido NYC Taxi con arquitectura medallion, Spark 3.5 y tracking en MLflow
- Kubernetes-Backup-Tool — Despliegue de Velero en cualquier cluster Kubernetes con MinIO externo como backend S3
- adk-agent-workflow — Labs de Google ADK: de un agente simple a workflows deterministas y multi-agente
Cada área es un topic filtrable y una lista navegable.
| Área | Repos | Explorar |
|---|---|---|
| 🌐 Dataspaces | 2 | lista · topic |
| ☸️ Kubernetes | 4 | lista · topic |
| 📈 MLOps | 7 | lista · topic |
| 🗄️ Data Engineering | 5 | lista · topic |
| 🤖 AI Engineering | 2 | lista · topic |
| 🔧 DevOps | 4 | lista · topic |
| 🏗️ IaC | 3 | lista · topic |
| 🧪 Testing | 3 | lista · topic |
🌐 Dataspaces — 2 repos
Una plataforma de dataspace con la base de Eclipse Dataspace Components congelada: cada imagen se construye contra una copia inmutable de EDC derivada del tag de git, y un escenario MVD reproducible sobre KinD y Argo CD con dos vías de datos (Envoy Gateway PULL, Bento PUSH) que hablan Data Plane Signaling.
| Repo | Stack | Qué es |
|---|---|---|
| Connector (fork) | eclipse-edc · java |
Fork de eclipse-edc/Connector con la base congelada en freeze/v1.0.0-RC1-1: versión derivada del tag de git, autodoc y firma adaptados |
| IdentityHub (fork) | eclipse-edc · java |
Fork de eclipse-edc/IdentityHub con la base congelada en freeze/v1.0.0-RC1-1: misma derivación de versión que el Connector |
El resto de la plataforma —umbrella con los paquetes Maven congelados, launchers, data planes en Go, el generador dsgen y sus MVP, el TCK de interoperabilidad, freezer y skills de agente— está en privado mientras se aclara su titularidad.
☸️ Kubernetes — 4 repos
| Repo | Stack | Qué es |
|---|---|---|
| Argo-cd-Labs | argocd · continuous-delivery · gitops |
Plano de control GitOps multi-tenant con Argo CD sobre Kubernetes bare-metal |
| jaeger-operator-kubernetes | jaeger · observability · operator |
Distributed tracing en Kubernetes con el Jaeger Operator |
| kafka-strimizi-k8s | kafka · operator · streaming |
Kafka sobre Kubernetes con el operador Strimzi |
| Kubernetes-Backup-Tool | backup · disaster-recovery · minio |
Despliegue de Velero en cualquier cluster Kubernetes con MinIO externo como backend S3 |
📈 MLOps — 7 repos
| Repo | Stack | Qué es |
|---|---|---|
| agent-platform | a2a · agentops · ai-agents |
Agentes declarativos (un agent.yaml) sobre ADK, LangGraph y LangChain; MCP, A2A, kagent y MLflow como backend de AgentOps |
| book_app.ai | jupyter · machine-learning · python |
Proyecto de ML sobre libros: notebooks de exploracion y codigo fuente en src |
| fashion_app_cnn | cnn · computer-vision · deep-learning |
Clasificacion de imagenes de moda con redes convolucionales |
| mlops-ct-platform | argo-workflows · argocd · continuous-training |
Tool-agnostic MLOps platform demonstrating a closed continuous-training loop on kind (GitOps, registry, serving, drift-driven retraining) |
| NYC-Spark-Mobility | docker · medallion-architecture · mlflow |
Lab distribuido NYC Taxi con arquitectura medallion, Spark 3.5 y tracking en MLflow |
| spark_ML | jupyter · machine-learning · mllib |
Machine learning distribuido con Spark MLlib en notebooks |
| taxi-app-ai | eda · machine-learning · streamlit |
Analisis end-to-end del dataset NYC TLC con XGBoost y demo en Streamlit |
🗄️ Data Engineering — 5 repos
| Repo | Stack | Qué es |
|---|---|---|
| cluster-hadoop-docker | big-data · cluster · docker |
Cluster Hadoop multi-nodo dockerizado para labs de Big Data |
| cluster-spark-docker | big-data · cluster · docker |
Cluster Spark dockerizado con notebooks para procesamiento distribuido |
| kafka-producer | kafka · producer · python |
Productor Kafka en Python para alimentar el lab de Strimzi |
| Mongo_DB | mongodb · nosql · python |
Labs de MongoDB: modelado NoSQL y consultas desde Python |
| Mysql-sqoop-Docker | data-ingestion · docker · hdfs |
Ingesta de MySQL a HDFS con Apache Sqoop sobre Docker |
🤖 AI Engineering — 2 repos
| Repo | Stack | Qué es |
|---|---|---|
| adk-agent-workflow | ai-agents · gemini · google-adk |
Labs de Google ADK: de un agente simple a workflows deterministas y multi-agente |
| mcp_pg_admin_docker | docker · mcp · model-context-protocol |
Lab dockerizado de PostgreSQL y pgAdmin para ensenar integracion via Model Context Protocol |
🔧 DevOps — 4 repos
| Repo | Stack | Qué es |
|---|---|---|
| Jenkins (fork) | ci-cd · jenkins · testing |
Proyecto DevOps and Cloud (UNIR): unit, service y performance testing en pipeline Jenkins |
| minIO-docker | docker · minio · object-storage |
Stack MinIO dockerizado como almacenamiento S3 compatible para labs |
| nginx-crash-course | load-balancing · nginx · reverse-proxy |
Curso practico de Nginx: reverse proxy, load balancing y TLS |
| todo-list-aws | aws · ci-cd · jenkins |
API ToDo serverless en AWS SAM con pipelines CI/CD en Jenkins |
🏗️ IaC — 3 repos
| Repo | Stack | Qué es |
|---|---|---|
| azure-infra | ansible · azure · hcl |
Infraestructura Azure con Terraform y provisioning con Ansible |
| platform-proxmox | ansible · bare-metal · homelab |
From bare metal to a Proxmox VE cluster of 2..N nodes with one Ansible inventory: unattended install, ZFS, network with rollback, cluster, QDevice, backups. Beta. |
| pve-platform-iac | ansible · github-actions · gitops |
GitOps self-service VMs for in-house teams on Proxmox VE: YAML requests → reviewed PR → Terraform (bpg/proxmox) + Ansible. Beta. |
🧪 Testing — 3 repos
| Repo | Stack | Qué es |
|---|---|---|
| orange_e2e_testing | docker · e2e-testing · mysql |
Entorno OrangeHRM con Docker Compose para pruebas end-to-end |
| performance-testing | docker · k6 · load-testing |
API Node/Express/MongoDB dockerizada para pruebas de carga con K6 |
| unit-testing-fizzbuzz | javascript · jest · kata |
Kata FizzBuzz con TDD y pruebas unitarias en JavaScript |
Índice generado por scripts/generar_readme.py desde los topics area-* de cada repo. No se edita a mano.