josiete.com

Calidad De Datos

RAPTOR: un árbol de resúmenes para consultar grandes colecciones de documentos

Ilustración conceptual de documentos distribuidos en grupos y tarjetas de síntesis sobre una mesa

Portada conceptual generada con IA. Evoca una colección documental y sus síntesis; no representa la arquitectura del método ni resultados experimentales.

Estos días me rondaba por la cabeza cuánto código se estaría generando con IA en el mundo y cuántos programadores seguirían escribiéndolo todo a mano. Para investigar esas preguntas habría que mirar en muchos sitios: encuestas, estudios de repositorios de GitHub, publicaciones de Stack Overflow e informes empresariales. Cada fuente podría aportar una parte de la historia, pero habría que comprobar qué permite medir y qué conclusiones podemos extraer de ella.

Schema Drift en ETL: cuando los datos cambian y el código no se entera

Línea temporal de septiembre: los datos pasan de Schema A a B y C antes de que el ETL cambie de v1.0 a v1.1 y v1.2; las franjas naranjas señalan periodos cuya compatibilidad debe comprobarse

Cada mañana, un ETL recibe un CSV, convierte la edad a entero y carga los clientes. Ayer funcionaba con este fichero:

id,name,age
1,John,25
2,Mary,30

Hoy, el proveedor añade el país:

id,name,age,country
1,John,25,USA
2,Mary,30,UK

Unos días después, llega otra sorpresa:

Cuando los bytes se disfrazan de texto: Unicode, Python y errores de codificación

Lluvia de caracteres verdes sobre fondo negro, con las palabras decode y encode resaltadas en el centro

Un fichero contiene José, pero después de pasar por un pipeline aparece José. Otro conserva las tildes, aunque una búsqueda de Jose devuelve también José. Y en un tercero los emojis se convierten en ?.

Los tres casos parecen problemas de texto, pero conviene investigar causas distintas: cómo interpretamos los bytes, cómo comparamos las cadenas y qué información se ha perdido durante el recorrido. Cambiar a UTF-8 sin localizar el fallo puede limitarse a guardar correctamente un texto que ya estaba estropeado.