Técnicas de modelado de datos para la pila de datos posmoderna | de Mahdi Karabiben | julio de 2024

Técnicas de modelado de datos para la pila de datos posmoderna |  de Mahdi Karabiben |  julio de 2024

Un conjunto de técnicas y principios genéricos para diseñar un modelo de datos robusto, rentable y escalable para su pila de datos posmoderna.

Foto por Michael Dziedzic seguro desempaquetar

En los últimos años, Modern Data Stack (MDS) ha introducido nuevos modelos y estándares para mover, transformar e interactuar con datos, y el modelado de datos dimensionales se ha convertido gradualmente en una reliquia del pasado. En cambio, los equipos de datos confiaron en One-Big-Tables (OBT) y apilaron capas sucesivas de modelos dbt para abordar nuevos casos de uso. Sin embargo, estos enfoques han llevado a situaciones desafortunadas en las que los equipos de datos se han convertido en un centro de costos con procesos no escalables. Entonces, a medida que entramos en una era de pila de datos “posmoderna”, definida por la búsqueda de reducir costos, limpiar plataformas de datos y limitar la proliferación de modelos, el modelado de datos está experimentando una resurrección.

Esta transición presenta a los equipos de datos un dilema: ¿volvemos a enfoques estrictos de modelado de datos definidos hace décadas para un ecosistema de datos completamente diferente, o podemos introducir nuevos principios definidos en base a los problemas tecnológicos y comerciales de hoy?

Creo que para la mayoría de las empresas la respuesta correcta está en algún punto intermedio. En este artículo, analizaré un conjunto de estándares de modelado de datos para alejarnos de…