¿Está mi organización preparada para participar en un espacio de datos?
Antes de nada, vamos a establecer un hecho importante de partida: una organización puede participar en uno o varios espacios de datos desempeñando en cada uno de ellos un rol diferente.
En el primer post vimos que un espacio de datos no era un data lake, sino que era «algo más» que sólo funciona si existe un entorno de confianza en el que los participantes pueden interactuar sabiendo que sus derechos (y por tanto sus intereses y expectativas) están adecuadamente protegidos. Pero, como decía, la confianza no la crea la tecnología por sí sola: la crean las organizaciones que participan, los acuerdos a los que llegan, y los mecanismos establecidos para refrendar que dichos acuerdos se están cumpliendo. Siguiendo la «teoría del elemento más débil«, podemos decir que un espacio de datos es tan fiable como el participante menos respetuoso de los derechos de los demás.
Por otro lado, hay que considerar que, en ese espacio de datos, todos los participantes tendrán una implicación según el rol o los roles que desempeñen: en uno puede actuar como productor de datos, en otro como consumidor, y en otro como autoridad de gobierno del espacio de datos. No cumplir, o no ser capaz de cumplir con las responsabilidades asociadas al rol introduce riesgos. Bien es cierto, que no todos los roles tienen el mismo impacto en la operativa del espacio de datos. Así que, matizando esa misma «teoría del elemento más débil«, podemos concluir que si todos los participantes involucrados en un espacio de datos no tienen una «cantidad proporcional de habilidad para desempeñar su labor asociada al rol en el espacio de datos«, el espacio de datos no podrá mantener su estatus de entorno confiable y consistente. Determinar esa «cantidad proporcional de habilidad para desempeñar la labor asociada al rol» es la idea central de este post.
Un par de aspectos importantes antes de continuar: (1) por razones conceptuales, evito usar la palabra «capacidad» y prefiero usar la palabra «habilidad» como un sinónimo aproximado; (2) como corolario de la primera frase de esta sección se deduce que cada organización que participa en un espacio de datos con varios roles tendrá que tener una «cantidad proporcional de habilidad para desempeñar la labor asociada al rol» para cada uno de los roles que desempeñe. Asumo que esta última frase suena a una complejidad importante, y que pensarás que es necesario «ser práctico y simplificar«. Pero para evitar generar esa deuda técnica que luego nos cobrará intereses desmedidos, pensad que, en la vida, cada uno desempeñamos varios roles que requieren una «cantidad proporcional de habilidad para desempeñarlos«: podemos ser padres, hijos, hermanos, esposos, compañeros de trabajo, deportistas, viajeros… En cualquier caso, acepto simplificaciones al problema.
Pensemos en un ejemplo de una cooperativa agrícola que quiere ofrecer datos de cosechas en un espacio de datos agroalimentario. Quien los reciba querrá saber si esos datos están bien definidos, y si alguien se ha responsabilizado de ellos y de si ha hecho bien su trabajo; de si la calidad de estos datos se ha controlado, y si el alguien correspondiente ha hecho bien su trabajo; y de si la cooperativa sabe realmente qué puede compartir y qué no, y de si ha hecho bien su trabajo tomando decisiones. Así que todas estas preguntas no van sobre conectores, ni sobre tecnologías ni sobre protocolos : van sobre cómo realmente se gobiernan y se gestionan determinados aspectos del espacio de datos, por ejemplo los datos, o la participación de los implicados, o el aseguramiento de la soberanía de los datos.
Gobernar, gestionar y gestionar la calidad de datos dentro de la organización y como parte del espacio de datos: dos aspectos distintos
Entre las cosas gobernables y gestionables en un espacio de datos, vamos a concretar en un aspecto específico: los datos (UNE 0087 diferencia varios aspectos gobernables). Deseablemente, las organizaciones que participan en un espacio de datos tienen que ser capaces de gobernar y gestionar también los datos que usan y explotan internamente. Pero no todos esos datos van a ser compartidos, por lo que, por otro lado, tiene que enfocarse también, en cómo gobernar y gestionar los datos que sí se comparten en el espacio de datos.
Así que, llegados a este punto, cabría plantearse una pregunta importante: ¿es lo mismo el gobierno del dato que la cooperativa agrícola puede ejercer internamente que el gobierno del dato al que la cooperativa tiene que someterse cuando participa en el espacio de datos? Como los que tienen que rendir cuentas de los datos en uno y en otro escenario son distintos (la alta dirección de la organización para el caso de los datos internos no compartidos, y la autoridad de gobierno del dato en el caso del espacio de datos), entonces la respuesta es obviamente «no». No se trata de dos gobiernos internos independientes. Se trata de adaptar las capacidades de la organización a las obligaciones que asume al participar, con un rol concreto, en un espacio de datos. No obstante, lo más sencillo es que la organización extienda su forma de gobernar los datos internos con lo que se le requiera por el marco de gobierno del espacio de datos (manifestado a través del libro de reglas). Esta distinción también nos puede servir para la gestión y para la gestión de la calidad de los datos. Y esto es solo una parte más de todo lo que se puede gobernar y gestionar.
Para poder actuar adecuadamente en cada entorno, las organizaciones necesitan una referencia sobre cómo deben comportarse. En este sentido, las especificaciones UNE proporcionan directrices para los asuntos internos, y la EN 18352 para afrontar los asuntos relacionados con el gobierno y la gestión de los espacios de datos.
|
Aspecto (procesos) |
Para usar dentro de la organización |
Para usar dentro del espacio de datos |
|
Gobierno del dato |
(complementado por EAS 18245) |
|
|
Gestión del dato |
||
|
Gestión de la calidad de los datos |
||
|
Evaluación |
Lo interesante es que todos estos estándares están basados en los mismos principios: una aproximación a procesos, y un soporte para la evaluación del grado de madurez basada en la capacidad de dichos procesos. Por eso, si se entienden los principios básicos de las especificaciones UNE, será fácil entender, usar, y aplicar el EN 18352.
En este post nos vamos a centrar en este estándar europeo y vamos a describir cómo puede ayudar a las organizaciones que participan en un espacio de datos con un rol específico a describir sus procesos típicos. Importante: este estándar explica los «cómos actuar», pero para algunos detalles concretos, hay que revisar otros estándares (como los confiabilidad).
EN 18352: un marco de trabajo para el gobierno y la gestión del espacio de datos y para la gestión de la calidad de los productos de datos
Como se mencionó al principio, cada organización puede participar en uno o varios espacios de datos y, en cada uno, asumir roles distintos. Cada espacio de datos puede y debe estar regulado por un marco de gobierno del espacio de datos que se materializa en su propio libro de reglas (data space rulebook), el cual define y especifica qué se espera de cada participante y cómo se espera que participe. Por tanto, las organizaciones deben adaptar su forma de trabajar a lo requerido por el libro de reglas correspondiente para obtener el mayor beneficio de su participación en el rol específico en el espacio de datos de su elección.
Gestionar las diferentes combinaciones (organización, rol, espacio de datos) puede resultar una tarea sumamente compleja. Pero si las organizaciones pudieran destilar el conocimiento adquirido en sus participaciones previas a través de procesos genéricos que modelen cómo desarrollar y utilizar una «cantidad proporcional de habilidad para desempeñar su labor asociada al rol en el espacio de datos«, entonces su adaptación a nuevos espacios de datos, más allá de las particularidades de cada espacio de datos, les resultaría mucho más sencilla. Cuando una organización es capaz de hacer esto para varios procesos relacionados con el gobierno y la gestión del espacio de datos y con la gestión de la calidad de los productos de datos, se puede decir que alcanza un nivel de madurez.
Y con el tiempo, puede llegar a tener sentido que, los responsables de la autoridad del gobierno de un espacio de datos exijan a los participantes que acrediten un determinado nivel de madurez de una (organización, rol, espacio de datos) para asegurar la consistencia y sostenibilidad de la operativa del espacio de datos. Comparado, esto puede ser algo tan normal como que te exijan tener el nivel B1 o B2 de inglés para pedir una beca Erasmus.
El EN 18352 es la norma europea elaborada por el CEN/CENELEC JTC 25/WG 3 en respuesta al mandato M/614. Proporciona las bases con una aproximación a procesos (como la planteada en UNE 0077, UNE 0078, y UNE 0079) de gobierno y gestión del espacio de datos y de gestión de la calidad de los productos de datos para que cada organización pueda definir, evaluar y mejorar sus propios procesos según el rol que desempeñe en el espacio de datos. Para ello proporciona un modelo de referencia de procesos, y un modelo de evaluación de procesos.
Nueve principios de partida
La norma establece nueve principios: la confianza como fundamento; la continuidad del gobierno interno (extender lo que ya existe, no sustituirlo); la ética en el uso del dato; el respeto a los derechos sobre los datos; la coherencia transfronteriza; la adecuación al uso; el alineamiento con las reglas legales, contractuales y operativas; la proporcionalidad, con prácticas simplificadas para pymes; y el compromiso con la mejora continua. Todo ello desde una perspectiva de la colaboración entre roles.
Los roles
UNE 0087 identifica unas serie de roles (autoridad de gobierno, consumidor de datos / servicios, proveedor de datos y/o servicios, operador del espacio de datos). El estándar europeo distingue otros que son casi idénticos: la autoridad de gobierno del espacio de datos, el proveedor de datos, el usuario de datos, el titular de los derechos sobre los datos y el proveedor tecnológico del espacio de datos. Cada participante, debe asumir su propio rol en el espacio de datos y debe definir y ejecutar los procesos asociados a su rol. Por simplicidad, el estándar ofrece una definición genérica de todos los procesos, independientemente del rol, pero indica cómo cada organización debe definir sus propios procesos en función del rol que desempeñe. Además, el estándar propone una serie de procesos en los que cada rol participante debería ser más intensivo.
El modelo de referencia de procesos
El corazón de la norma es el modelo de referencia de procesos (PRM) con 17 procesos organizados en cuatro grupos. Cada proceso se describe de forma similar a como se describen los procesos en las UNE 0077, UNE 0078, UNE 0079, especificando su propósito, sus resultados esperados, y sus actividades. A diferencia de las UNE, aquí se añade una descripción de cómo debería actuar cada uno de los roles implicados. Los procesos aparecen en la siguiente tabla.
|
Grupo de procesos |
Procesos |
|
Gobierno del espacio de datos (5) |
Establecimiento de la estrategia para el espacio de datos · Establecimiento del marco de gobierno Establecimiento de estructuras organizativas internas Gobierno del riesgo Creación de valor. |
|
Gestión del espacio de datos (7) |
Gestión del espacio de datos Gestión de productos de datos Gestión de requisitos de productos de datos Gestión de requisitos de confiabilidad Gestión de requisitos de metadatos Gestión de la compartición confiable Gestión de contratos de compartición |
|
Gestión de la calidad del producto de datos (4) |
Planificación de la calidad de los productos de datos Control y monitorización de la calidad de los productos de datos Aseguramiento de la calidad de los productos de datos Mejora de la calidad de los productos de datos |
|
Soporte (1) |
Gestión de la configuración |
Es importante destacar que el protagonista ya no es «el dato» en general, sino el producto de datos: la unidad que se comparte, que empaqueta datos, metadatos y condiciones de licencia. Como no podía ser de otra forma, es el mismo concepto que usa la familia EN 18235 (su primera parte, EN 18235-1:2026 de transacciones confiables, que veremos en el post 4.
¿Cómo se mide cómo de bien lo hace cada organización?
El segundo componente de la norma es el modelo de evaluación de procesos (PAM). Esta es la análoga a nuestra española UNE 0080. Se apoya en dos estándares internacionales muy consolidados: la serie ISO/IEC 33000, para evaluar procesos, y la serie ISO 8000, en particular la parte 62, para el modelo de madurez organizacional en calidad de datos. La evaluación tiene dos dimensiones, y entenderlas es la clave de todo el post: se habla de dimensión de capacidad del proceso (por eso, y como indiqué al principio del post, necesitaba no usar esa palabra y elegí habilidad), y de dimensión de procesos.
La capacidad mide lo bien que se ejecuta un proceso concreto particularizado para un rol concreto. Es una escala de 0 a 5 que se aplica proceso a proceso. Para alcanzar un nivel de capacidad hay que cumplir todos los requisitos de los llamados «atributos de procesos» (que se centran en un aspecto específico del proceso) definidos hasta el nivel al que se quiere cumplir. La siguiente tabla recoge los niveles de capacidad y los atributos de procesos en los que nos centramos para cada uno de ellos.
|
Nivel de capacidad |
Atributos de proceso |
Descripción |
|
0 – Incompleto |
— |
El proceso no se realiza o no consigue sus resultados |
|
1 – Realizado |
PA 1.1 Realización del proceso |
Se hace y consigue sus resultados, aunque sea de forma artesanal |
|
2 – Gestionado |
PA 2.1 Gestión de la realización PA 2.2 Gestión de los productos de trabajo |
Se planifica, se controla el proceso y sus productos se mantienen en el tiempo |
|
3 – Establecido |
PA 3.1 Definición PA 3.2 Despliegue |
Se ejecuta según un proceso estándar definido para toda la organización |
|
4 – Predecible |
PA 4.1 Análisis cuantitativo PA 4.2 Control cuantitativo |
Se ejecuta dentro de límites medidos y conocidos |
|
5 – Innovador |
PA 5.1 Innovación PA 5.2 Implantación de la innovación |
Se mejora de forma continua para responder a los objetivos de negocio |
Cada atributo se puntúa a partir de evidencias (directa, indirecta, documentación y cuestionarios) de la actividad real de la organización en el espacio de datos con respecto a su participación: actas, contratos, registros de metadatos, informes de calidad, …
La dimensión de procesos agrupa los procesos en niveles de madurez crecientes, de menor a mayor complejidad, y especifica qué debe saber hacer una organización que desempeñe un rol, al menos en un determinado nivel de madurez.
La madurez mide a la organización en su potencial de desempeñar un rol en su conjunto. Agrupa los procesos en «escalones»: para estar en un nivel, los procesos de ese nivel y de los anteriores deben alcanzar al menos esa misma capacidad. Es acumulativo: no se llega al nivel 3 sin haber pasado por el 2. La infografía de la siguiente sección muestra los cinco escalones.
Infografía: la escalera de madurez
En el nivel 1 la organización solo gestiona lo imprescindible para operar; el gobierno del espacio de datos y la calidad del producto aparecen a partir del nivel 2 y se consolidan en el 3.
Así, para rematar este post, vamos a retomar el ejemplo de la cooperativa agrícola, que, para el interés del ejemplo, podemos asumir que participa como proveedora de un producto de datos sobre previsiones de cosecha. Para mejorar su proceso de gestión de requisitos del producto, el primer paso sería concretar qué necesita el consumidor (tendría que hablar con otra organización que desempeñe el rol de consumidor de datos): por ejemplo, previsiones semanales por cultivo y parcela, disponibles antes de que planifique su aprovisionamiento. La cooperativa tendría que traducir esas necesidades en requisitos documentados y reunir evidencias de cómo los atiende: una definición del producto, una persona responsable, una frecuencia de actualización acordada y registros de los controles realizados (todo esto forma parte de los requisitos de los atributos de procesos). Al revisar esas evidencias, podría detectar que sus previsiones solo se actualizan mensualmente y que nadie supervisa los plazos de publicación. La decisión, antes de ofrecer el producto a ese consumidor, sería adaptar la actualización, asignar responsabilidades y comprobar que puede cumplir lo acordado. Con todo esto, el modelo de procesos deja de ser una referencia abstracta y se convierte en una herramienta para identificar qué debe mejorar la organización para participar con su rol en un caso concreto. Y si hace todo esto, definiendo y particularizando sus procesos, por ejemplo, hasta el nivel de capacidad 2, entonces se podría decir que la cooperativa agrícola tiene un nivel de madurez 2 en su rol de proveedor de datos. Podría tener un nivel 3 de madurez en su rol de consumidor de datos. Ya es una cuestión de la dirección de la cooperativa si le interesa tener un nivel homogéneo de madurez para todos sus roles en un espacio de datos.
Cómo usar este estándar en la práctica, y cómo te podemos ayudar desde DQTeam
Este estándar te puede ayudar a:
-
- Diseñar tu participación con un rol específico en cada uno de los espacios de datos: esto implica decidir cómo particularizar los procesos en función del rol que desempeñas, quién los debe ejecutar y cómo debes adaptar estos procesos mediante procedimientos específicos de acuerdo con el libro de reglas del espacio concreto.
- Evaluar el nivel de madurez organizacional que tiene tu rol para participar en espacios de datos: recopilar y evaluar evidencias (por ejemplo, cómo define los requisitos de metadatos que exige a los proveedores) para puntuar la capacidad de cada proceso, y así determinar el nivel de capacidad de tus procesos, y por consiguiente definir tu nivel de madurez. Recuerda (organización, rol) → Nivel de madurez; (organización, rol, espacio de datos) → Participación en un espacio de datos con un nivel de madurez
- Planificar la mejora de tu nivel madurez con tu rol para participar en espacios de datos: identificar qué procesos te faltan para subir al siguiente escalón de madurez.
- Generar confianza mediante una certificación del nivel de madurez: mostrar a los demás participantes un resultado objetivo y comparable. Y, al tratarse de una norma europea, abrir la puerta a la certificación.
Desde DQTeam podemos darte soporte para el diseño e implantación de estos procesos, identificando cómo particularizar estos procesos en función de tu rol y adaptando los artefactos que usan esos procesos para que tengas un mayor desempeño en tu participación en un espacio de datos. Por ejemplo, si tu rol en un espacios de datos es el de autoridad de gobierno del dato, te ayudaremos a definir y a implantar los procesos de gobierno del espacio de datos y los artefactos que se necesitan en función del nivel de madurez que elijas.
Repaso final
En este post hemos visto que la confianza en un espacio de datos empieza dentro de cada organización. El EN 18352 ofrece un modelo de 17 procesos de gobierno, gestión y calidad del dato pensados para participar en espacios de datos, y una forma objetiva de medir su capacidad y la madurez de la organización en cinco niveles. España ya contaba con un marco muy cercano, las especificaciones UNE 0077 a 0080, que es una base excelente pero no equivalente.
En el próximo post cambiamos de escala: ya no evaluaremos a cada participante, sino al espacio de datos en su conjunto, de la mano de la especificación técnica CEN/CLC/TS 18331.
