El proceso ETL lleva usándose como metodología principal para la integración de datos desde hace más de 50 años. Sin embargo, en los últimos años ha surgido un nuevo enfoque, ELT, para dar respuesta a algunas de las limitaciones de ETL. Ambos procesos tienen sus ventajas e inconvenientes, pero, ¿qué es más eficiente, ETL o ELT? En este artículo exploramos las diferencias entre ETL y ELT y sus casos de uso.
ETL (Extract, Transform and Load) lleva siendo la metodología más usada para llevar a cabo procesos de integración de datos desde los años 70. Sin embargo, las nuevas demandas a nivel de volumen, velocidad y veracidad en la gestión de datos han suscitado la aparición de una nueva forma de enfocar el tradicional proceso ETL: ELT.
ELT, Extract (Extraer), Load (Cargar) & Transform (Transformar); es una metodología actualizada para la carga, el almacenamiento y la integración de datos que invierte el orden habitual de la transformación y la carga del método ETL.
En un proceso ELT, pues, los datos se extraen de las fuentes de origen, se cargan directamente en el almacén de datos y luego se transforman según sea necesario dentro del propio almacén de datos. Esto permite realizar transformaciones en tiempo real y aprovechar la capacidad de procesamiento y almacenamiento del almacén de datos para llevar a cabo análisis y consultas más eficientes.
Tanto ELT (extraer, cargar, transformar), como ETL (extraer, transformar, cargar), transportan datos sin procesar desde un sistema de origen a una base de datos de destino, habitualmente un data lake o un data warehouse. Estas fuentes de datos pueden estar en múltiples repositorios o en sistemas heredados que luego se transfieren mediante ELT o ETL a un almacén de datos de destino.
En un proceso ELT, los datos no estructurados se extraen de un sistema de origen y se cargan directamente en un data lake para ser transformados posteriormente. Así, a diferencia de un proceso ETL, una vez extraidos, los datos se ponen inmediatamente a disposición de los sistemas de business intelligence corporativos, sin necesidad de prepararlos antes para su explotación. Esta lógica permite a los analistas y científicos de datos realizar transformaciones ad-hoc y a demanda.
La carga de los datos en bruto en un data lake sin necesidad de realizar transformaciones previas agiliza el proceso, haciendo de la mayor velocidad, una de las grandes ventajas de ELT respecto a ETL.
El método ELT resulta especialmente útil para realizar transformaciones de datos básicas, como la validación de datos o la eliminación de datos duplicados. Estos procesos se actualizan en tiempo real y se utilizan para grandes cantidades de datos en bruto.
No obstante, ELT es un proceso bastante reciente y, por tanto, su desarrollo técnico aún es inferior al de un proceso ETL. Originalmente, el proceso ELT se basaba en secuencias de comandos SQL codificadas que tienen más probabilidades de contener errores de codificación que los métodos más avanzados utilizados en ETL.
En un proceso ETL, los datos se extraen de sus fuentes de origen y se realizan las transformaciones necesarias para preparar los datos para su posterior uso antes de cargarlos en los sistemas de destino.
En un escenario ETL tradicional, una vez extraídos, los datos no estructurados se cargan a un área de preparación o de staging donde se someten a un proceso de transformación que los organiza y los limpia, transformándolos en datos estructurados. Este proceso de transformación permite que los datos, ahora estructurados, sean compatibles con el sistema de almacenamiento de datos de destino, que suele ser un data warehouse.
Si nos fijamos en sus siglas, puede parecer que la única diferencia entre ELT y ETL es el orden de las operaciones del proceso. No obstante, en este caso, el orden sí altera el producto.
A la práctica, en procesos ETL, es habitual que la extracción, la transformación y la carga de los datos se ejecuten en paralelo para acelerar el proceso. Por tanto, la diferencia principal entre ETL y ELT radica en la ubicación donde se realizan las transformaciones de datos y no tanto en el orden de los procesos.
En el proceso ETL, las transformaciones se llevan a cabo durante la transferencia de datos desde diversas fuentes de origen hacia un único data warehouse o data mart. Estas transformaciones requieren un almacén de datos temporal con un motor especializado para su ejecución. En cambio, en ELT, las transformaciones tienen lugar en el propio almacén de datos de destino o back-end, eliminando la necesidad de un motor de transformación independiente. Los datos en bruto son cargados directamente en el data warehouse de destino, donde se deben aplicar medidas que garanticen la seguridad de los datos.
Sin duda, el motivo por el cual cada vez más empresas apuestan por el enfoque ELT es la mayor velocidad en la ejecución del proceso.
Debido a que las transformaciones de datos se producen tras la función de carga, se evita la ralentización de la migración que puede producirse durante un proceso ETL. Por otro lado, ELT separa las etapas de transformación y carga, evitando que un error de codificación (u otro error en la etapa de transformación) detenga la migración de los datos.
En definitiva, la gran ventaja de ELT es que la velocidad de ingestión de datos es significativamente más rápida que en ETL, ya que el proceso tiene una arquitectura más simple, no implica operaciones pesadas y evita un paso crucial en ETL: la copia de los datos.
ETL es un proceso algo más lento que ELT, ya que implica más pasos como la carga de los datos en un área de staging para realizar las transformaciones. No obstante, se trata de un proceso más seguro, que da como resultado datos más limpios y que es menos susceptible a contener errores de codificación en los datos.
ETL proporciona una forma más segura de realizar transformaciones en los datos, ya que se realizan antes de cargar los datos en el almacén de destino. Asimismo, debido a que las herramientas ELT están pensadas para facilitar el acceso a los datos por parte de los usuarios finales —se puede acceder a ellos desde cualquier fuente de datos a través de una URL—, el riesgo a nivel de seguridad es mayor que el de un proceso ETL y resulta más complejo garantizar la gobernanza de los datos o data governance.
ETL también supone ventajas a nivel de cumplimiento de las normas relativas a la privacidad de datos como el RGPD. En un proceso ELT, los datos sensibles son más vulnerables a ser robados o hackeados.
Por último, al tratarse de un proceso bastante más longevo que ELT, las herramientas ETL han evolucionado mucho más que las herramientas ELT, incluyendo capacidades avanzadas como:
En el apartado anterior podemos ver que ambos procesos tienen sus respectivas ventajas, lo que nos lleva de nuevo a la eterna pregunta:
Lo cierto es que depende. Afirmar que un proceso es mejor que el otro sería no tener en cuenta el contexto.
La eficiencia de ELT y ETL depende de lo que quiera conseguir con el proceso, de la cantidad de datos, de las transformaciones necesarias... En definitiva, del caso de uso del proceso.
El proceso ETL resulta muy eficiente para conjuntos de datos pequeños o medianos que requieren de transformaciones complejas. Sin embargo, su eficiencia disminuye en el caso de conjuntos de datos de gran tamaño, ya que, a medida que aumenta el tamaño de los datos, las operaciones de agregación se vuelven más complejas.
Por el contrario, ELT es un proceso más adecuado para la gestión e integración de grandes volumenes de datos que, además, pueden ser tanto estructurados como no estructurados. Asimismo, ELT también es un método más adecuado para entornos de uso de datos en tiempo real.
En definitiva, mientras que ETL es el proceso más adecuado para conjuntos de datos pequeños o medianos que requieren transformaciones complejas, ELT es mucho más adecuado para grandes volúmenes de datos, tanto estructurados como no estructurados. Además, ELT también es un método más adecuado para entornos de uso de datos en tiempo real y ofrece una mayor velocidad en la ejecución del proceso.
Por su lado, ETL es un proceso más adecuado para empresas que traten con datos sensibles y cuya prioridad sea el cumplimiento de las normas de protección de datos.
Conclusión
Cuando surgió, muchos afirmaron que ELT era el futuro de ETL. Sin embargo, como hemos visto, ambos procesos tienen sus propias ventajas y desventajas y su eficiencia depende de las necesidades y particularidades de cada empresa.
Por tanto, ELT no debe entenderse como la sustitución de ETL, sino como un enfoque alternativo más eficaz en algunos casos. De hecho, algunas organizaciones se están beneficiando de la combinación de ambos procesos, aplicando un enfoque que algunos ya denominan como ETLT.