Com escollir l'eina ETL adequada?

Si estàs aquí és perquè ja hauràs sentit a parlar del procés ETL —si no, t'expliquem què és ETL— i segurament ja sàpigues que és imprescindible per tal que les empreses tinguin el control de les seves dades, prenguin millors decisions i optimitzin les seves estratègies empresarials de business intelligence. Si t'estàs plantejant dur a terme un procés ETL, a continuació et presentem les millors eines per fer-ho. 

Quines capacitats ha de tenir una eina ETL?

Abans de decantar-se per una opció o una altra, és important tenir en compte els requisits que ha de complir una eina ETL òptima. Segons Gartner, una de les empreses de consultoria i investigació tecnològica més importants a escala mundial, una eina ETL ha de tenir les següents capacitats: 

• Connectivitat i adaptació: Una eina ETL ha de tenir l'habilitat de connectar amb múltiples estructures de dades com, per exemple: bases de dades relacionals i no relacionals, aplicacions ERP, CRM o SCM, fitxers en diversos formats, pàgines web, correu electrònic, eines d'ofimàtica o repositoris de contingut. 
• Entrega de dades: Així mateix, l'eina ha de tenir la capacitat de proporcionar dades a altres aplicacions, processos o bases de dades en diversos formats. 
• Transformació de dades: Una eina ETL idònia ha de ser capaç de realitzar transformacions a les dades. Aquestes poden ser transformacions bàsiques (càlculs simples o conversió de tipus), transformacions intermèdies (agregacions, sumes, etc.) o transformacions complexes com anàlisis de textos. 
• Metadades i modelatge de dades: La nostra eina ha de poder recuperar els models de dades originals, crear i mantenir models, sincronitzar els canvis a les metadades i comptar amb un repositori de metadades obert. 
• Disseny i entorn de desenvolupament: De la mateixa manera, ha de disposar de competències per representar gràficament els objectes del repositori, els suports per test i debugging, gestionar workflows, etc. 
• Gestió de dades: Una eina adequada ha d'aconseguir validar la qualitat de les dades (data quality), crear perfils, tenir capacitat de mineria de dades, etc.
• Adaptació a altres plataformes: És essencial que l'eina s'adapti als altres sistemes operatius i plataformes hardware de l'organització.
• Operacions administratives: L'eina ha de poder gestionar i monitoritzar les integracions de dades, solucionar errors, executar controls de seguretat, etc.
• Arquitectura i integració: Una ETL ha de garantir la interoperabilitat entre els diferents elements que componen l'eina d'integració de dades.
• SOA (Arquitectura orientada a serveis). 

Tipus d'eines ETL

Una vegada tenim clares les capacitats tècniques que ha de tenir una eina ETL, és necessari conèixer les diferents categories d'eines que existeixen, ja que segons les característiques de la nostra empresa i la quantitat de dades que necessitem carregar i transformar, així com l'ús que els vulguem donar, ens serà més útil un tipus d'eina o un altre.

• ETL Enterprise: Aquesta tipologia d'eines disposa de moltes funcionalitats i pot connectar amb un ampli ventall de fonts de dades. Tot i això, tenen un cost superior a les altres i, per la qual cosa, solen ser escollides per empreses molt grans.
• ETL Open Source: Eines ETL gratuïtes i de codi lliure. Són eines que disposen d'un enfocament general i, per tant, solen requerir processos de personalització dificultosos, per tal que puguin adaptar-se a les necessitats i objectius de l'empresa. La personalització requereix experts —normalment externs a l'empresa— i acaba suposant que aquest tipus d'eines, tot i ser de lliure ús, suposin una despesa afegida. 
• ETL personalitzades: Les empreses poden desenvolupar les seves eines ETL fetes a mida. Si bé solen complir els requisits específics de la companyia, el seu desenvolupament és molt costós, precisa experts i suposa un gran esforç previ.
• ETL Cloud: Google, Microsoft i Amazon disposen dels seus propis serveis ETL integrats al núvol. Aquests tipus de serveis proporcionen més flexibilitat que els altres tipus d'eines.

Elements a considerar

Tenint clars els tipus d'eines ETL que podem trobar al mercat, també és fonamental saber en què ens hauríem de fixar per escollir una eina o una altra. És important recalcar que no hi ha eines millors o pitjors, sinó que, simplement, algunes seran més adequades que d'altres segons les particularitats, necessitats i quantitat de dades de la companyia. 

A l'hora d'escollir una eina ETL hem de considerar, almenys, aquests aspectes:

• El preu: No només el cost d'adquisició, sinó també les despeses afegides com les de consultoria, de suport, de formació, etc. Depenent de l'eina que escollim, els costos secundaris seran majors o menors. Com ja s'ha mencionat, escollir una eina Open Source sol implicar costos afegits.
• Usabilitat: És elemental tenir present que algunes eines tenen un ús més complex que d'altres i que cada una requereix un nivell de coneixement tècnic diferent. Per exemple, les eines amb una interfaç gràfica amigable solen ser més fàcils d'utilitzar per a les persones no expertes. 
• Compatibilitat: És elemental assegurar-nos que l'eina és compatible amb els altres sistemes operatius i plataformes de l'empresa.
• Velocitat: La velocitat d'una eina ETL depèn de la seva capacitat de càlcul i de la quantitat de dades que necessitem extreure i carregar. 
• Qualitat de les dades: Un aspecte clau del procés ETL és que suposa una garantia de la qualitat de les nostres dades. Per tant, a l'hora d'escollir l'eina hem d'estar segurs que validarà, netejarà i consolidarà les dades.
• Gestió i control: Així mateix, és pertinent escollir una eina que disposi de sistemes de control per poder identificar i solucionar els problemes o errors que puguin sorgir.

Eines líders al mercat: Quadrant Màgic de Gartner

A banda de la llista sobre les capacitats que han de tenir les eines ETL, Gartner també pública cada any un informe anomenat 'Quadrant Màgic de Garnter' on es llisten les millors eines per a la integració de dades en diferents categories: Challengers (Retadors), Leaders (Líders), Niche players (Actors de nínxol) i Visionaries (Visionaris). Les empreses que entren al rànquing són distribuïdes en un gràfic quadrat referenciat per cada un d'aquests termes a una de les puntes. 

L'últim informe de Gartner d'agost del 2020 situava a Informatica, IBM, Talend, SAP, Oracle, SAS, Denodo, Microsoft Azure, Qlik i TIBCO Software com els 10 millors proveïdors d'eines ETL. Pots consultar la llista completa a continuació:

Beneficis d'adquirir l'eina ETL adequada:

En aquest blog hem anomenat en diverses ocasions els beneficis d'implementar un procés ETL. Tot i això, repassem els avantatges competitius que suposaria escollir l'eina ETL oportuna:

• Data-driven decisions: Un dels guanys més rellevants del procés ETL és que permet a les organitzacions prendre millors decisions empresarials basades en dades de qualitat. Les data-driven decisions eviten errors i asseguren el desenvolupament d'estratègies empresarials més eficients i en menys temps.
• Data quality: En un procés ETL les dades són depurades i netejades. És a dir, s'eliminen aquelles dades redundants, innecessàries o que contenen errors; i es validen les dades útils i fiables.
• Integració de dades: El procés ETL permet disposar de dades en múltiples formats i originaries de múltiples fonts. En altres paraules, aquest procés permet que totes les dades de la nostra companyia estiguin integrades i ajuda a tenir una visió global i més real de l'activitat i situació de negoci.
• Automatització: Les eines ETL tenen la capacitat d'automatitzar certs processos, disminuint així les tasques innecessàries i el temps dedicat a elles per part de les persones encarregades de la gestió de dades.
• Big Data: Així mateix, el procés permet a les empreses processar, treballar i gestionar grans quantitats de dades.
• Intel·ligibilitat: El procés ETL transforma les dades —inclús aquelles menys llegibles— en informació comprensible, útil i llesta per ser tractada en aplicacions de data analysis com Power BI. Bismart, com empresa partner Power BI de Microsoft, utilitza aquesta eina per a desenvolupar reports i gràfics visualment atractius i impactants.
  

En definitiva, escollir l'eina ETL adequada és fonamental i fer-ho pot ajudar a agilitzar i millorar la presa de decisions d'un negoci. Si vols conèixer la nostra solució per a processos ETL, pots informar-te a la nostra pàgina web o posar-te en contacte amb nosaltres.