Automatización de la Ingesta y Gestión de Datos Satelitales Nocturnas: Un Caso de Estudio en la Cuenca del Canal de Panamá

El monitoreo de la contaminación lumínica y la actividad nocturna mediante sensores remotos presenta un desafío crítico en la ingeniería de datos: la fragmentación de las fuentes y la falta de estandarización en la descarga masiva. Mi trabajo de tesis en Ingeniería de Sistemas (ISS) se centró en el diseño e implementación de un ecosistema automatizado para centralizar y normalizar este flujo de información geoespacial.

El Problema: Disparidad y Latencia en la Adquisición

Tradicionalmente, la obtención de imágenes desde el NASA Gateway y otros proveedores globales requiere una intervención manual significativa. Esta dependencia operativa introduce errores en el etiquetado de metadatos, dificulta el control de versiones y limita la capacidad de realizar análisis multitemporales a gran escala. El objetivo principal de este proyecto fue desarrollar un sistema robusto de extracción, transformación y carga (ETL) especializado en imágenes nocturnas para la región interoceánica.

Arquitectura del Sistema y Despliegue

La solución se fundamenta en una arquitectura modular que separa la capa de ingesta de datos de la capa de persistencia física, garantizando un flujo de información bidireccional y resistente a interrupciones de red.

Componentes de la Solución

Ingesta Multinodal: Se implementaron módulos de extracción dual. Por un lado, un motor de web scraping y consultas a la API oficial para el NASA Gateway; por otro, la integración con la API de Google Earth Engine (GEE) para la captura de colecciones calibradas de los sensores VIIRS y DMSP-OLS.
Orquestación y Validación: Mediante scripts en Python 3.12 y entornos Shell, el sistema valida la integridad de los archivos descargados. Una base de datos SQLite actúa como catálogo de metadatos, gestionando el control de duplicados a través del identificador único NASA_ID.
Persistencia y Red: Los datos se almacenan en un servidor NAS bajo una estructura jerárquica organizada por sensor y año cronológico, permitiendo el acceso concurrente mediante protocolos CIFS/SSHFS.

Resultados y Capacidad Operativa

La transición de un flujo de trabajo manual a una operación automatizada permitió alcanzar hitos operativos que anteriormente eran inviables en términos de tiempo y recursos:

Expansión del Catálogo: Integración de 127 imágenes nuevas y procesadas (65 provenientes del sensor VIIRS y 62 de DMSP-OLS) cubriendo el periodo histórico 2012–2024.
Optimización de Procesos: La ejecución programada bajo WSL2 eliminó la necesidad de supervisión humana en las fases de descarga y validación técnica.
Estandarización de Datos: El resultado es un repositorio centralizado con metadatos técnicos y espaciales normalizados, listos para su análisis inmediato en sistemas de información geográfica (SIG).

Conclusiones y Valor Técnico

Este desarrollo trasciende la simple descarga de archivos; establece una infraestructura técnica escalable para el estudio del crecimiento económico y el impacto ambiental en Panamá. La arquitectura propuesta demuestra que la automatización de la ingesta de datos satelitales es un requisito indispensable para la ciencia de datos moderna y el monitoreo ambiental de precisión.

Especificaciones del Stack Tecnológico

Entorno de Ejecución: WSL2 (Windows Subsystem for Linux).
Lenguajes y Librerías: Python 3.12, BeautifulSoup, Requests, SQLAlchemy.
Gestión de Base de Datos: SQLite.
Infraestructura de Almacenamiento: Servidor NAS gestionado vía protocolos de red estándar.

Mi tesis: automatización satelital ISS para monitoreo de contaminación lumínica