TRADUCCIÓN INFORMÁTICA DE LAS REGLAS DE VALIDACIÓN Y CALIDAD DEL DATO

...

Llave Primaria o Foránea: Cuando el campo forma parte de la llave primaria colocar una sigla de Pk y cuando es llave foránea Fk.

Tipo de Datos: Tipo de datos de los campos del archivo o atributos de la tabla fuente, que intervienen en la operación estadística (Numérico, Cadena, Carácter, Entero, otro)

Longitud del Campo: Según el tipo de dato indicar la longitud del campo

Descripción de la Regla de Validación: Describir las reglas específicas de validación de cada uno de los campos del archivo o tabla

Observaciones: Indicar cualquier consideración adicional, a tener en cuenta con respecto a la regla de validación.

Selección de registros inválidos: En esta columna se hace la traducción de la regla de validación al lenguaje estructurado de consulta SQL, que permitirá encontrar los registros que no cumplen con la regla.

Total de registros inválidos: En esta columna se hace la traducción de la regla de validación al lenguaje estructurado de consulta SQL, que permitirá encontrar el total de registros inválidos.

---------------------------------------------------------------

ANEXO 1

REGLAS DE VALIDACIÓN

Las reglas de validación son aquellas que prueban la integridad de los datos. Los modelos de datos, cuando existen, ayudan a localizar dichas reglas. Debemos recordar que un dato válido no necesariamente significa que el dato sea correcto.

Durante los procesos de validación, se evalúa la integridad de los datos de cada archivo, mientras que en los procesos de limpieza se definen las acciones a tomar en caso de errores o inconsistencias en los mismos, por ejemplo, efectuar imputaciones. Por lo tanto, se puede afirmar que las reglas de validación y limpieza se implementan en dos pasos: a) las reglas que prueban la integridad de los datos y b) la especificación de las acciones a tomar cuando se encuentra una violación de integridad.

Las reglas de validación se pueden utilizar para evaluar la calidad de los datos y/o, para filtrarlos y/o, para corregirlos.

Recordemos que una estrategia de validación de los datos, tiene entre otros, uno o más de los siguientes objetivos:

- Entender y documentar la calidad y confiabilidad de los datos, es decir, su perfil.

- Descubrir en los datos los problemas de calidad que deben ser resueltos durante los procesos de validación y limpieza.

- Especificar las reglas de validación que deben aplicarse a los datos para asegurar el nivel de calidad que se requiere en una migración, una conversión o una carga de datos a un repositorio.

Los modelos lógicos de datos representados en un diagrama de entidad relación –ERD-, permiten identificar un conjunto relativamente robusto de reglas de validación, analizando su estructura. Por lo tanto, es de suponerse que el profesional responsable de la evaluación, no solo debe estar familiarizado con el modelamiento de datos, sino que además, ha debido elaborar, previamente al análisis y determinación de las reglas a validar, el modelo lógico correspondiente a los datos de su interés.

El modelo de datos que se muestra en la figura No. 1, corresponde a una porción del repositorio de los datos del Censo General 2005 en Colombia. La mayoría de los ejemplos utilizados para explicar los diferentes tipos de reglas de validación, son tomados de dicho modelo.

[pic 4]

Figura No. 1.- Diagrama Entidad Relación de la Unidad Censal

Las reglas de validación de los datos, las clasificamos de la siguiente manera[1]:

- Reglas de Identidad

- Reglas de Integridad Referencial

- Reglas de Cardinalidad

- Reglas de Herencia

- Reglas de Relaciones Dependientes

- Dependientes del Estado de la Entidad

- Mutuamente Dependientes

- Mutuamente Excluyentes

- Relaciones Recursivas

- Reglas de Dominio

- Reglas de Atributos Dependientes

- Dependientes del Estado de la Entidad

- Mutuamente Excluyentes

- Mutuamente Dependientes

- Derivadas

- Restringidas

- Por valor

- Por Relación

Los primeros cuatro tipos de reglas están “explícitas” en el modelo lógico de datos de entidad relación y pueden ser extraídas directamente del modelo cuando éste ya existe. Los tipos de reglas restantes están implícitas en el modelo de datos y requieren de algún análisis o investigación para descubrirlas o identificarlas específicamente. De todas maneras, ya sea el tipo de regla explícito o implícito, el método de usar el modelo de datos para documentarlas, es un paso importante y necesario para evaluar su calidad.

Las reglas de validación se pueden describir en términos comunes, o en términos técnicos -usando la terminología de las bases de datos-, v.g., llave primaria, llave foránea, valores nulos, tablas, columnas, etc. Se deben usar los términos adecuados, según la audiencia a la que se dirijan.

A continuación, pasamos a describir cada uno de los tipos de reglas, que en su conjunto representan una clasificación relativamente exhaustiva, para que sean utilizadas como referencia en una etapa de evaluación en la calidad de los datos.

En los ejemplos que se presentan usaremos términos comunes para describir las reglas.

Nombre

Reglas de Identidad

Código

RV100

Descripción

Cada ocurrencia de la entidad está unívocamente identificada. En términos técnicos, la llave primaria es única (no hay duplicados)