3 problemas de calidad de los datos que podrían afectar su juicio La mala calidad de los datos puede llevar a una toma de decisiones deficiente y erosionar la confianza de la organización.

Google "big data" y autocompletar para la búsqueda cuenta la historia: " Big data es el futuro. Big data es el nuevo petróleo".

Estas son algunas declaraciones interesantes, pero lo que a menudo se pierde en la conversación sobre big data es el alto costo de los datos incorrectos .

Si su empresa se enorgullece de tomar decisiones basadas en datos , es importante reconocer que esas decisiones solo serán tan buenas como sus datos. La mala calidad de los datos le cuesta a la economía estadounidense 3,1 billones de dólares al año y está creando una crisis de fe en muchas industrias.

Según un informe reciente de Gartner , más de la mitad de los líderes senior de marketing están decepcionados con los resultados que han visto de las inversiones en análisis de datos. Como resultado, solo el 54% de sus actividades están influenciadas por los datos. Para 2023, Gartner predice que los CMO reducirán el tamaño de sus equipos de análisis debido a expectativas no cumplidas.

Relacionado: Por qué los datos incorrectos pueden costar millones a los emprendedores

No se puede exagerar la importancia de los datos de calidad, pero a menudo los líderes no saben dónde se está rompiendo su recopilación y análisis de datos. Aquí hay tres problemas de calidad de los datos que quizás no conozca ...

Las anomalías se vuelven más difíciles de gestionar como globos de datos

A menudo, los datos no siguen un patrón lógico. Eso no significa necesariamente que sus datos no sean precisos, pero se deben tener en cuenta los valores atípicos (como las fluctuaciones estacionales).

Si es dueño de una empresa de ropa que ve una gran demanda de suéteres rojos en el período previo a la Navidad, puede identificar fácilmente la causa raíz y manejarla de manera adecuada. Sin embargo, eliminar por completo los valores atípicos no es la respuesta, ya que algunos departamentos pueden necesitar esta información de valores atípicos, como sus equipos de compras y comercialización.

Esto se vuelve mucho más complicado a medida que su empresa comienza a recopilar y utilizar más datos. Cada nueva métrica tendrá sus propias tendencias y anomalías, y no puede investigar y ajustar manualmente todos estos valores atípicos. Como dijo Vincent Yates, director de datos de Credera, en una publicación de blog, "clasificar anomalías en los datos es un arte, y prácticamente ninguna organización tiene un mecanismo para codificar estas anotaciones a nivel mundial".

Con el tiempo, el problema de los conjuntos de datos inexactos crea un efecto de bola de nieve. Estos datos no se pueden utilizar para pronosticar la demanda futura con precisión, lo que erosiona la confianza de la organización en los datos.

Relacionado: Caminar con IA: cómo detectar, almacenar y limpiar los datos que necesita

Los modelos de datos se descomponen con el volumen

Así como los valores atípicos no administrados pueden sesgar los datos a lo largo del tiempo, muchos modelos de datos comienzan a fallar a medida que aumenta el volumen de datos. Esto no significa que los modelos de datos dejen de funcionar de repente. La mayoría de los problemas de calidad de los datos dentro de una organización existen desde el principio, pero no se hacen evidentes hasta que alcanzan una cierta escala.

Esto es particularmente relevante ahora, ya que los pedidos para quedarse en casa han provocado que los datos minoristas se agoten de la noche a la mañana . Cuando se levanten las restricciones, es poco probable que el comportamiento del consumidor sea exactamente como era antes. Es posible que los clientes estén gastando menos o pidiendo más productos en línea. Muchas empresas encontrarán que sus datos antiguos ya no son relevantes.

"Incluso las empresas que habían acumulado grandes volúmenes de datos de clientes antes de Covid -19 se encuentran en la misma posición de arranque en frío que las empresas que se aventuran en mercados desconocidos", escribió Angel Evan, profesor de la Universidad de Stanford .

Casi todas las empresas volverán a escalar sus datos en los próximos años. Tendrán que actualizar sus modelos para tener en cuenta los cambios en el comportamiento del consumidor.

Diferentes departamentos usan los mismos datos para diferentes propósitos.

Hoy en día, las empresas están produciendo cada vez más datos, y esos datos se utilizan para informar las decisiones de la empresa en todos los niveles. El departamento de marketing puede utilizar los indicadores clave de rendimiento (KPI) generados por un equipo de comercio electrónico para dirigirse a un nuevo segmento de clientes. O esos mismos datos podrían usarse en los niveles más altos para construir modelos en torno al desempeño financiero para informar las decisiones de contratación.

El problema es que las personas que crean esos datos generalmente no tienen idea de quién los está usando o cómo se están usando. No está claro quién es responsable de la precisión y la gestión de esos datos. Esto se vuelve problemático cuando se usa para impulsar la toma de decisiones.

Cómo controlar la calidad de los datos

Así como surgen nuevos desafíos cuando escala una empresa, debe reevaluar su enfoque a medida que escala sus datos. A continuación, se muestran tres prácticas recomendadas para mejorar la calidad de los datos:

1. Designe a un director de datos. El director de datos (CDO) será responsable de crear un plan para administrar los datos de la empresa y mantener la calidad de los datos a medida que crece. Debe ser un experto en extraer conocimientos de los datos y contextualizarlos para que el resto de su equipo pueda utilizar la información.

2. Cree una estrategia de datos. Los datos ya no son solo un subproducto útil de las actividades de marketing y ventas. Los datos son un activo. Al igual que cualquier otro activo, debe protegerse y administrarse continuamente .

Desafortunadamente, la mayoría de las empresas mantienen sus datos y actividades de datos aislados en diferentes departamentos. Si bien pueden tener discusiones elevadas sobre la calidad de los datos o la protección de datos, no existe una estrategia general sobre cómo deben administrarse o usarse esos datos. Esto puede conducir a grandes franjas de datos oscuros y al deterioro de los datos.

Una estrategia de datos sólida establece cómo su empresa administrará y compartirá los datos en toda la organización para que puedan utilizarse para su mayor beneficio. Esta estrategia debe ser escalable y repetible.

3. Actualice los modelos de datos a medida que escala. A medida que su base de clientes crece y comienza a recopilar más datos, usted o su CDO deben reevaluar continuamente los modelos que utilizan para dar sentido a esos datos. Es importante preguntarse qué ha cambiado desde que desarrolló inicialmente ese modelo y si ciertas métricas siguen siendo relevantes. Esto le permitirá obtener la imagen más clara a medida que procesa los números.

Relacionado: Desafíos clave para la gobernanza de datos

No podemos volver a una época anterior al big data, ni deberíamos hacerlo. Los macrodatos nos han ayudado a realizar enormes avances en todo, desde los vehículos autónomos hasta los resultados de los pacientes . El próximo año, nos dirá qué tan bien funcionan las vacunas Covid-19 y en qué grupos funcionan mejor. Pero para hacer que los macrodatos sean sostenibles, primero debe ser proactivo para mejorar la calidad de los datos dentro de su organización.