josiete.com

Contratos De Datos

Schema Drift en ETL: cuando los datos cambian y el código no se entera

Línea temporal de septiembre: los datos pasan de Schema A a B y C antes de que el ETL cambie de v1.0 a v1.1 y v1.2; las franjas naranjas señalan periodos cuya compatibilidad debe comprobarse

Cada mañana, un ETL recibe un CSV, convierte la edad a entero y carga los clientes. Ayer funcionaba con este fichero:

id,name,age
1,John,25
2,Mary,30

Hoy, el proveedor añade el país:

id,name,age,country
1,John,25,USA
2,Mary,30,UK

Unos días después, llega otra sorpresa: