Data lakehouse. Hacer historia sin saberlo.

En un mundo tan cambiante, te ves forzado a innovar e inventar por la contracción de los mercados y tienes que adaptarte para conseguir alcanzar el objetivo en la cuenta de resultados. Muchas veces innovar no es hacer cosas nuevas sino hacer cosas diferentes.

Pues bien, justo esto fue lo que nos ocurrió en una empresa líder digital. Una situación donde los presupuestos no son los de antes, donde el mercado se empieza a contraer, donde la optimización de recursos y plataformas se hace necesario, etc…. Empezamos a pensar en los problemas que teníamos que resolver con Business Intelligence pero con la mentalidad de Big Data… y ¡sorprendente! creamos un Data LakeHouse. ¿Y qué es esto del Data Lakehouse?, esta palabra acuñada por la empresa Databricks, no es más que hacer convivir la necesidades y arquitectura de Big Data y Business Intelligence bajo una misma plataforma. Y no hablo de virtualización; hablo, literalmente, de hacerlas convivir en la misma tecnología y entorno. La siguiente pregunta debería ser ¿dónde está la magia? Pues bien, la magia se centra en varios aspectos que no solo tienen que ver con tecnología:

1.- Hacer que los equipos de operaciones, data scientist, producción y desarrollo tengan el mismo foco y convivan sin que por ello impacte en el día a día operativo, cumpliendo con los mismos niveles de servicio.

2.- Tener una mentalidad de simplificación: aprovechar dicho cambio para simplificar plataformas, reportes, procesos, etc…

3.- Desarrollar una arquitectura por capas: quizá este sea el punto más importante, usando la teoría del embudo, donde pasamos de la raw data a una visión única, integrada y de calidad sobre la información diaria. Donde cada capa de datos tenga la capacidad de resolver problemas de negocio concretos con propósitos diferentes. Igualmente, se hace imprescindible establecer procesos de control de calidad entre los distintos niveles de datos de manera que se cumpla con los estándares de compañía.

4.- Implementar aceleradores: que permitan entre capas hacer que los datos con mayor relevancia pasen al siguiente nivel de manera que se acelere su consolidación, integración y por ende su explotación.

5.- Gestión del cambio: hacia una compañía auto-gestionada en datos e información, donde el desarrollo de inteligencia ya no es propiedad de unos pocos sino de muchos, donde la visión 360 de compañía y el cliente se hacen realidad y donde la generación constante de reportes deja de ser lo más importante.

Para finalizar, esta filosofía de almacenamiento y procesamiento de información, no solo ahorra costes y simplifica plataformas, sino que minimiza errores de gestión y aumenta considerablemente la capacidad de llegar a disponer de una compañía auto-gestionable en data, información e inteligencia.

Conclusión… si asumes retos, no tienes miedo a equivocarte, y confías en tu equipo, puedes hacer historia sin saberlo.

Power by Juan Moises Pascual Leo (Chief Data & Analytics Officer).