¿Qué hacemos? - ETL

¿Te has preguntado alguna vez cuál es la clave para optimizar tus estrategias empresariales? Nosotros te damos la respuesta: la clave está en el control de los datos.

La mayoría de las empresas almacenan grandes cantidades de información en plataformas diferentes, como ERP, CRM, hojas de cálculo… Esto causa la pérdida de la trazabilidad de los datos, por lo que la organización no puede obtener una visión global que le permita tomar mejores decisiones estratégicas.

En la actualidad, almacenar los datos no es suficiente para que la organización tenga mayor competencia, sino que se precisa que los datos se encuentren integrados en único lugar para que dejen de ser un coste para convertirse en un activo empresarial. Para lograrlo, la integración de datos es un requisito fundamental y la organización debe llevar a cabo un proceso de ETL.

¿Qué es un proceso ETL?

Explicado brevemente un proceso ETL (Extract, Transform, Load) es un sistema que permite a las organizaciones mover datos desde múltiples fuentes (ERP, CRM, Excel, Open Data, Internet De Las Cosas, Redes Sociales…) para integrarlos en un solo lugar, que podría ser una base de datos, un data warehouse, etc.

¿Qué es un data warehouse?

Si no lo has leído todavía, y quieres saberlo todo sobre data warehouse, lee nuestro artículo. En resumen, un data warehouse es el lugar donde almacenamos la información empresarial procedente de múltiples fuentes para realizar consultas y análisis, es decir, transforma los datos en información convirtiéndose en el núcleo del sistema BI (business intelligence). Gracias a ello, por ejemplo, una organización puede analizar a sus clientes contando con toda la información disponible.

A su vez, ETL corresponde a las siglas en inglés: Extract, Transform y Load que representan las tres fases del proceso (Extracción, Transformación y Carga) que son las que se llevan a cabo para la correcta integración de los datos y que describimos a continuación.

¿Cuáles son las fases de ETL? Extraer, Transformar y Cargar

1. Proceso de extracción de los datos: es la primera etapa de ETL, donde se extraen los datos ubicados en los diferentes repositorios de las empresas. En este paso los datos son convertidos a un único formato, y quedan preparados para su transformación. Una vez tenemos todos los datos recopilados y en bruto, hay que hacer un tratamiento de limpieza o depuración que nos ayudará a evitar errores que los ensucien.
2. Proceso de transformación de los datos: transforma los datos en la estructura que hayamos definido en nuestro data warehouse. El paso de transformación incluye acciones de validación sobre reglas de negocio, validaciones técnicas (duplicados, integridad, nulos...), normalización y homogeneización de códigos, cambios de formato, así como la ordenación, filtrados, cruces y agregados.
3. Carga de los datos: la fase de carga es la última del proceso, los datos transformados comienzan a cargarse en el data warehouse donde son registrados, pueden auditarse y tienen siempre un histórico a lo largo del tiempo.

Debido a la complejidad del proceso de ETL y dependiendo de las características de cada organización podemos encontrar varios de tipos de procesamiento.

¿Cuáles son los tipos de procesamiento en herramientas ETL?

1. De datos: se divide un archivo en pequeños archivos para que de esta manera pueda ser procesado en paralelo.
2. Pipeline (segmentación): permite el funcionamiento simultáneo de varios componentes dentro de un mismo archivo. Por ejemplo, se podría estar trabajando sobre la columna 1 de un archivo al mismo tiempo que se está haciendo sobre la segunda y la tercera, dando mucha más rapidez.
3. De componentes: funcionamiento simultáneo de múltiples procesos en diferentes flujos de datos en el mismo puesto de trabajo.

Uno de los aspectos más importantes a la hora de emprender un proceso de ETL es la elección de la herramienta ETL, pues dependerá del tamaño de la organización, del coste y el lugar del almacenamiento.

Principales herramientas ETL

Al elegir una herramienta ETL (Extract, Transform, Load), es fundamental tener en cuenta varios factores para asegurarse de que la herramienta se adapte a las necesidades y requisitos específicos de su organización.

1. Enterprise Software

Utilizadas por las empresas que cuentan con un mayor tamaño, de coste más elevado en comparación con otras opciones disponibles. Ejemplos: Oracle Data Integrator, SAP Data Services, IBM Infosphere DataStage, SAS Data Manager, Microsoft SQL Server Integration Services – SSIS.

2. Programación de ETLs a medida

Empresas que desarrollan sus propias herramientas con el objetivo de disponer de mayor flexibilidad. Ejemplos de lenguajes usados para esta programación: Java, .Net, Python, etc.

3. Open Source

Herramientas de código abierto gratuitos para todos los usuarios. Ejemplos: Pentaho Data Integration, Talend Open Studio.

4. Servicio en Cloud

Herramientas de Google, Microsoft o Amazon que tienen sus propios servicios de ETL en Cloud. Ejemplos: Amazon AWS Glue, Microsoft Azure Data Factory, Google Cloud Dataflow, Amazon AWS EMR.

Del mismo modo, para elegir el tipo de herramienta con mayor precisión recomendamos seguir las indicaciones de Gartner, consultora líder en tecnologías de la información.

Características que debería tener nuestra herramienta ETL según Gartner

• Conectividad/capacidades de adaptación (con soporte a orígenes y destinos de datos): habilidad para conectar con un amplio rango de tipos de estructura de datos, que incluyen bases de datos relacionales y no relacionales, formatos variados de ficheros, XML, aplicaciones ERP, CRM o SCM, formatos de mensajes estándar (EDI, SWIFT o HL7), colas de mensajes, emails, websites, repositorios de contenido o herramientas de ofimática.
• Capacidades de entrega de datos: habilidad para proporcionar datos a otras aplicaciones, procesos o bases de datos en varias formas, con capacidades para programación de procesos batch, en tiempo real o mediante lanzamiento de eventos.
• Capacidades de transformación de datos: habilidad para la transformación de los datos, desde transformaciones básicas (conversión de tipos, manipulación de cadenas o cálculos simples), transformaciones intermedias (agregaciones, sumarizaciones, lookups) hasta transformaciones complejas como análisis de texto en formato libre o texto enriquecido.
• Capacidades de metadatos y modelado de datos: recuperación de los modelos de datos desde los orígenes de datos o aplicaciones, creación y mantenimiento de modelos de datos, mapeo de modelo físico a lógico, repositorio de metadatos abierto (con posibilidad de interactuar con otras herramientas), sincronización de los cambios en los metadatos en los distintos componentes de la herramienta, documentación, etc.
• Capacidades de diseño y entorno de desarrollo: representación gráfica de los objetos del repositorio, modelos de datos y flujos de datos, soporte para test y debugging, capacidades para trabajo en equipo, gestión de workflows de los procesos de desarrollo, etc.
• Capacidades de gestión de datos (calidad de datos, perfiles y minería).
• Adaptación a las diferentes plataformas hardware y sistemas operativos existentes: Mainframes (IBM Z/OS), AS/400, HP Tandem, Unix, Wintel, Linux, Servidores Virtualizados, etc.
• Las operaciones y capacidades de administración: habilidades para gestión, monitorización y control de los procesos de integración de datos, como gestión de errores, recolección de estadísticas de ejecución, controles de seguridad, etc.
• La arquitectura y la integración: grado de compactación, consistencia e interoperabilidad de los diferentes componentes que forman la herramienta de integración de datos (con un deseable mínimo número de productos, un único repositorio, un entorno de desarrollo común, interoperabilidad con otras herramientas o via API), etc.

¿Cuándo es necesario usar un proceso de ETL en mi organización?

Un proceso de ETL ayuda a las empresas a crear un sistema de soporte de decisiones críticas y permite a los directivos empresariales acceder rápidamente a los datos, en un solo lugar.

Además, proporciona estructuras de datos limpias y filtradas para su explotación por las diferentes herramientas del usuario final, aumenta la calidad y valor de los datos y permite la optimización de las decisiones. Las bases de datos transaccionales no pueden responder preguntas complejas del negocio que pueden ser contestadas gracias al ETL.

Otro motivo de peso es que el almacén de datos se actualiza automáticamente. El modelo ETL ofrece un profundo contexto histórico para el negocio, ya que recoge una gran cantidad de datos históricos para el análisis de diferentes periodos de tiempo, para descubrir tendencias y hacer predicciones futuras. El data warehouse integra muchas fuentes de datos para reducir el procesamiento en el sistema de producción y permite reducir el tiempo total de respuesta en el análisis y la generación de informes, a la vez que facilita su elaboración.

¿Qué diferencia hay entre ETL y ELT?

ETL (Extract, Transform, Load) y ELT (Extract, Load, Transform) son dos enfoques diferentes utilizados en el proceso de integración y preparación de datos. Ambos son utilizados para mover datos desde diversas fuentes hacia un almacén de datos o data warehouse para su análisis. La principal diferencia entre ETL y ELT radica en el orden en que se llevan a cabo las etapas de transformación de datos.

En resumen, la aplicación del proceso ETL es la construcción y carga de un data warehouse con el objetivo de obtener una visión consolidada de los datos que impulsa a tomar mejores decisiones estratégicas. Por ello, las empresas con procesos definidos para el almacenamiento de datos sumado al desarrollo de tecnologías BI consiguen, aparte de ahorrar costes, ingresos añadidos a través de la monetización de sus archivos. Por ejemplo, para el propietario de un hotel que necesita recopilar información estadística sobre la ocupación media y la tarifa de la habitación, podemos, gracias al proceso de ETL y las herramientas BI, encontrar los ingresos agregados generados por habitación, recopilar estadísticas sobre la cuota de mercado y datos de encuestas de clientes de cada hotel para decidir su posición competitiva en varios mercados. Del mismo modo, podemos analizar tendencias año tras año, mes a mes y día a día para ofrecer descuentos en la reserva de habitaciones.