Data Quality: 3 mitos y una realidad sobre calidad de datos

Cada vez son más los altos cargos empresariales que comprenden la importancia de los datos. No obstante, la calidad de los datos sigue siendo una área por explotar e injustamente poco valorada. Exploramos qué es data quality a través de 3 mitos y una realidad sobre calidad de datos en el entorno empresarial.

En estos momentos, prácticamente todas las empresas trabajan con datos a diario. El análisis de datos se ha convertido en un proceso empresarial de vital importancia para el buen funcionamiento de las operaciones de negocio. 

Cada vez más empresas se están dando cuenta de la importancia de aprovechar los datos corporativos y externos para la toma de decisiones informadas (data-driven decisions), así como para comprender su propia actividad empresarial. 

He ahí la paradoja. Lo cierto es que, la gran mayoría de los datos empresariales no tienen la calidad suficiente como para ser transformados en valor.

• Según un informe de Harvard Business Review, solo el 3% de los datos de una empresa cumple con las normas de calidad que, según los expertos en data quality, deben tener los datos para ser aprovechables.
• Por otro lado, una investigación conjunta de IBM y la Universidad Carnegie Mellon reveló que el 90% de los datos de una organización nunca se emplean con éxito para ningún fin estratégico.

Sea cual sea el nivel de calidad de los datos de una organización, lo más probable es que los altos cargos de la misma ya están tomando decisiones basadas en ellos. Si las empresas están tomando decisiones basadas en datos de baja calidad, ¿cómo pueden tomar decisiones acertadas? 

Las compañías necesitan empezar a validar la calidad de sus datos de forma immediata y resolver sus limitaciones de data quality cuanto antes. 

• Descubre Bismart Data Quality Framework, la solución que centraliza todos los procesos de data quality en un único entorno y permite a usuarios de negocio validar la calidad de sus datos creando sus propias reglas de validación:

Las corporaciones se están esforzando por digitalizarse y por desarrollar una cultura data-driven y, sin embargo, lo están haciendo con datos de mala calidad.

Esta contradicción sitúa a las compañías en una encrucijada como mínimo peligrosa que puede comprometer su actividad. 

En Bismart solemos decir que la calidad de tus decisiones depende de la calidad de tus datos.

• Según Forrester, las empresas que utilizan datos para la toma de decisiones tienen una probabilidad casi tres veces mayor de alcanzar un crecimiento de dos dígitos. A medida que aumenta el valor añadido, también aumenta la posibilidad de que los datos generen una ventaja competitiva sostenible.

Pero, ¿qué es exactamente data quality?

¿Qué es data quality y para qué sirve?

Data quality, literalmente calidad de datos en español, es un término que se usa para definir los estándares de calidad que deben cumplir los datos para poder ser transformados en valor, así como los procesos que intervienen en asegurar la calidad de los datos.

Se considera que los datos son de calidad si son aptos para su uso en operaciones, en el proceso de toma de decisiones y si cumplen con las normas de protección de datos vigentes. En este sentido, la calidad de los datos está vinculada con la data governance y con la data compliance.

La evaluación de la calidad de los datos se fundamenta en distintos aspectos, tales como la precisión, la integridad, la coherencia y la fiabilidad de los datos, entre otros. Los procesos de análisis relativos a la calidad de los datos permiten determinar si son aptos para su propósito original. Dicha medición resulta de gran utilidad para las organizaciones, ya que les permite detectar errores y tomar medidas para solucionarlos.

A la práctica, asegurar la calidad de los datos mejora el rendimiento empresarial. Según un estudio, las empresas con madurez digital son un 26% más rentables que sus homólogas. Mckinsey descubrió que las empresas impulsadas por la información registran un crecimiento superior al del mercado y un aumento del EBITDA de hasta el 25%.

Sin embargo, hay muchos mitos asociados a la data quality que están creando ideas erróneas sobre la calidad de los datos. 

Los grandes mitos sobre la calidad de los datos o data quality

• Mito 1: Los datos son un activo empresarial

Cuando hablamos de datos solemos definirlos como un activo empresarial. No obstante, los datos, por sí solos, carecen de valor y solo llegan a ser un activo empresarial si se procesan, se gestionan bien y se asegura su calidad. En caso contrario, son un pasivo empresarial. Es decir, los datos deben refinarse o procesarse, igual que se refina el petróleo crudo para fabricar gasolina.

Los datos que constituyen un activo empresarial son aquellos cuyo aprovechamiento tiene el potencial de mejorar el funcionamiento de una empresa: ya sea a nivel de ingresos, de reducción de gastos, mitigación de riesgos... 

Por el contrario, los datos suelen convertirse en un pasivo para la empresa cuando su volumen es excesivo, cuando no cumplen con las normas de privacidad, cuando no cuentan con las medidas de seguridad de datos adecuadas y cuando su aprovechamiento no resulta de utilidad para mejorar ningún aspecto del negocio. 

En pocas palabras, los datos solo son un activo empresarial cuando su gestión es adecuada y se valida su calidad. 

• Mito 2: Invertir en data quality no resulta rentable

Uno de los grandes motivos por los cuales la gran mayoría empresas no están lo suficientemente avanzadas en términos de data quality es que se considera una inversión poco rentable. A pesar de que prácticamente todas las empresas han invertido en soluciones vinculadas a los datos en los últimos años, pocas han apostado por herramientas, software o procesos de data quality. 

No es que la calidad de los datos no sea rentable. Sin embargo, su rentabilidad es más difícil de visualizar, ya que tener datos de calidad óptima no suele generar valor de negocio de forma inmediata.

Sin embargo, a largo plazo, la calidad de los datos ofrece numerosos beneficios, como la detección temprana de posibles problemas vinculados a los datos antes de que los usuarios los descubran y notifiquen, evitando así consecuencias tardías que podrían afectar al negocio o las decisiones en curso. 

Otro beneficio indiscutible de contar con un sistema de data quality es la generación de confianza, tanto en los propios datos como en el equipo encargado de su preparación.

Por último, pero no menos importante, la inclusión de procesos de data quality en un proyecto puede acelerar y reducir los costos de desarrollo. La implementación de un sistema que garantiza la calidad de los datos de forma automática evita que el equipo tenga que invertir tiempo en realizar estas tareas de forma manual, lo que, a la práctica, se traduce en una gran cantidad de horas.

• Mito 3: Asegurar la calidad de los datos es una tarea fácil

Otra de las razones que explican la escasa inversión empresarial en calidad de datos es que muchos perfiles corporativos creen, erróneamente, que sus datos ya son de calidad o que asegurar la calidad de sus datos es una tarea fácil y que, por lo tanto, no necesitan una solución o sistema de data quality. No obstante, ninguna de las dos afirmaciones es cierta. 

Como ya se ha comentado, únicamente el 3% de los datos empresariales cumplen las expectativas de calidad recomendadas. Por otro lado, garantizar la calidad de los datos corporativos implica múltiples procesos que resultan en un proyecto mucho más complejo de lo que los usuarios de negocio puedan llegar a imaginar. 

• Certeza: Automatizar la calidad de los datos es extremadamente complejo

Además de la cantidad de procesos que implica garantizar la calidad de los datos, a su vez, estos procesos requieren de un equipo experto en data quality que las empresas no suelen tener en su plantilla. Esto, de nuevo, supone otro impedimento que frena a las empresas a la hora de trabajar en la calidad de los datos. 

Lo cierto es que, hasta hace pocos años, no existían sistemas que automatizaran la verificación de calidad de los datos y, por tanto, el proceso resultaba demasiado grande y complejo como para abordarlo a nivel empresarial. 

Los expertos en data quality llevan muchos años anticipando la necesidad de concebir una solución capaz de automatizar la calidad de los datos. No obstante, hasta hace poco tiempo, las soluciones siempre habían consistido en trozos de código hechos a medida que únicamente garantizaban niveles de calidad mínimos. 

Todo esto cambió en 2019 con la aparición de Great_Expectations, una solución de código abierto que permitía a los desarrolladores automatizar sus procesos de data quality. Esta solución solventa el gran handicap de la calidad de datos, pero sigue poniendo la calidad de los datos que, finalmente, son explotados por usuarios de negocio, en manos de unos pocos usuarios expertos en data quality. 

¿Cómo automatizar la data quality y hacerla accesible para usuarios de negocio?

Automatizar los procesos de data quality sin necesidad de disponer un equipo entero de expertos en data quality ya es posible. Ponerla en manos de los usuarios de negocio también. 

En Bismart llevamos años trabajando en procesos íntegros que permitan a otras organizaciones aprovechar el potencial de sus datos y transformarlos en mejores decisiones de negocio. Debido a que somos conscientes de que sin datos de calidad es imposible tomar decisiones de calidad, hemos creado la solución Bismart Data Quality Framework. 

Bismart Data Quality Framework, basada en Great_Expectations, es una tecnología pensada para entornos corporativos que quieren trabajar en la calidad de sus datos. La solución centraliza los procesos de calidad de datos en un entorno amigable y fácilmente accesible que permite a los usuarios de negocio validar la calidad de sus datos sin tener que recurrir a expertos. Al fin y al cabo, los usuarios de negocio son los usuarios finales de los datos y los principales consumidores. Poner a su disposición una herramienta donde pueden validar que los datos con los que trabajan son exactos, coherentes, fiables, están actualizados y no contienen errores, es de una importancia capital. 

Además, la solución permite a los usuarios definir sus propias reglas de validación para adaptarlas a sus necesidades de negocio y políticas internas.  

• Todos los procesos de data quality en un único lugar.

• Expectativas y estándares de calidad personalizaos. 

• Admite reglas de validación tanto técnicas como funcionales. 

• Detección automática de errores. 

• Permite la ejecución de medidas correctoras. 

• Incluye un sistema de alertas integrables en herramientas de monitoring —como Power BI— y herramientas de trabajo colaborativo como Microsoft Teams, cualquier tipo de email, etc. 

• Sistema abierto, fácilmente extensible y customizable.

Conclusión

Aún queda mucho camino por recorrer en cuanto a asegurar que los datos de calidad sean una generalización en el entorno empresarial. 

No obstante, el primer paso es que las empresas otorguen a la calidad de sus datos la importancia que merece. Comprender la relevancia de los datos, es decir, darse cuenta de su capacidad para resolver un problema empresarial concreto, es la base para llegar a comprender la relevancia de tener confianza en los datos.