Pensemos por un momento en cómo trabaja cualquier administración pública. Cada día se tramitan expedientes, se redactan informes técnicos, se levantan actas de reuniones y órganos colegiados, se intercambian miles de correos electrónicos, se publican contenidos en la sede electrónica, se digitalizan documentos en papel y se generan imágenes, grabaciones de audio y vídeos de todo tipo. Toda esa producción documental contiene información valiosa sobre cómo funciona la organización, qué decisiones toma y por qué las toma. Y, sin embargo, la mayor parte de esa información permanece fuera del radar de los sistemas de información tradicionales.

Cuando hablamos de los datos de una administración solemos pensar en bases de datos, hojas de cálculo, padrones, presupuestos o indicadores. Es lógico: durante décadas, la gestión del dato se ha centrado en este tipo de información estructurada. Sin embargo, esa visión solo muestra una pequeña parte de la realidad.

Gran parte del conocimiento que generan las administraciones no reside en sus bases de datos, sino en expedientes, informes, actas, resoluciones, correos electrónicos y contenidos multimedia que forman parte de su actividad diaria. Información que existe, que contiene un enorme valor y que, tradicionalmente, ha permanecido al margen de las estrategias de gobierno del dato.

La irrupción de la inteligencia artificial ha convertido ese patrimonio documental en una oportunidad sin precedentes, pero también ha puesto de manifiesto que la tecnología, por sí sola, no basta. En este artículo veremos por qué los datos no estructurados se han convertido en uno de los principales activos de las administraciones públicas, qué obstáculos impiden aprovechar todo su potencial y cómo una estrategia de gobierno del dato puede transformar ese enorme volumen de información en un recurso fiable, reutilizable y preparado para generar valor.

El dato que no vemos

La mejor forma de entender esta situación es imaginar un iceberg. La parte visible representa los datos estructurados sobre los que trabajan la mayoría de las aplicaciones corporativas, los cuadros de mando y las estadísticas oficiales. Bajo la línea de flotación, mucho más extensa, se encuentra el enorme volumen de información no estructurada que describe decisiones, procedimientos, conocimiento técnico y contexto administrativo.

Según estimaciones de firmas de análisis como IDG o Gartner, este tipo de contenido representa alrededor del 80 % de la información que maneja una organización, y todo apunta a que ese porcentaje seguirá creciendo.

Figura 1. Visual explicativo sobre el tipo de datos de una administración pública. Fuente: elaboración propia – datos.gob.es

La paradoja es evidente: la mayor parte del conocimiento de una administración no está en sus bases de datos, sino sumergida en sus documentos. Durante muchos años esa parte del iceberg apenas podía aprovecharse. Hoy, sin embargo, la situación ha cambiado radicalmente.

El valor latente que se está dejando pasar

Ignorar la parte sumergida del iceberg supone desperdiciar uno de los mayores activos de información del sector público. En esos contenidos se documentan la experiencia acumulada durante años, el conocimiento de los empleados públicos, las relaciones entre expedientes y buena parte del contexto que nunca llega a almacenarse en una base de datos. Su aprovechamiento tiene, por ello, un impacto directo y transversal en la gestión pública.

Cuando esa información puede localizarse, entenderse y relacionarse, un expediente deja de ser únicamente un conjunto de documentos para convertirse en una fuente de conocimiento reutilizable. El recorrido es siempre el mismo: los documentos contienen conocimiento institucional en forma de contexto, decisiones, criterios y evidencias, y es el gobierno del dato el que permite transformar ese conocimiento en valor público. Esto se traduce en mejores servicios para la ciudadanía, una mayor trazabilidad de la actividad administrativa, más transparencia, una mayor eficiencia interna y una mejor reutilización del conocimiento institucional.

Esta puesta en valor conecta, además, con una obligación legal muy concreta: el principio de "una sola vez", recogido en el artículo 28.2 de la Ley 39/2015, que reconoce el derecho de la ciudadanía a no aportar documentos que ya obren en poder de cualquier administración. Hacer efectivo ese derecho exige que la información que la administración ya posee, con frecuencia en forma de documentos, pueda localizarse, interpretarse e intercambiarse entre organismos: cada vez que se solicita a un ciudadano un dato que ya figura en un expediente, el problema no es normativo, sino de gestión e interoperabilidad de la información.

Pero hay un factor que ha convertido esta necesidad en una prioridad estratégica: la inteligencia artificial. Estos contenidos constituyen hoy la principal materia prima para las aplicaciones de IA, especialmente aquellas basadas en el procesamiento del lenguaje natural (PLN, por sus siglas en inglés) y los Grandes Modelos de Lenguaje (LLM, por sus siglas en inglés).

El aprovechamiento de la información no estructurada, sin embargo, no comenzó con la inteligencia artificial generativa. Desde hace años se utilizan técnicas como el reconocimiento óptico de caracteres, los procesos ETL (extraer, transformar, cargar, por sus siglas en inglés), el web scraping, las expresiones regulares, las taxonomías, los motores de reglas y las técnicas clásicas de procesamiento del lenguaje natural para extraer, clasificar, normalizar y trasladar información documental a estructuras explotables. Estas aproximaciones continúan siendo especialmente eficaces cuando las fuentes son relativamente homogéneas, los patrones son estables y las reglas de extracción pueden definirse de forma precisa. La inteligencia artificial no sustituye necesariamente estas técnicas, sino que amplía su alcance y permite abordar contenidos más variables, ambiguos o difíciles de procesar mediante reglas previamente definidas.

Hasta hace pocos años, gran parte de esta información podía explotarse mediante técnicas tradicionales, pero hacerlo exigía procesos muy específicos, dependientes del formato y difíciles de escalar o mantener cuando aumentaban la diversidad y la complejidad documental. Los documentos se generaban y almacenaban en sistemas y formatos muy diversos, su localización dependía a menudo de palabras clave o rutas de carpetas y la comprensión de los contenidos que no podían procesarse mediante reglas exigía una lectura manual lenta y costosa.La irrupción de la inteligencia artificial generativa ha cambiado completamente este escenario: hoy es posible resumir documentos, clasificar expedientes, extraer entidades relevantes, detectar relaciones entre documentos o responder preguntas sobre normativa de forma automática. La IA no ha creado el dato no estructurado; simplemente ha hecho posible aprovechar un patrimonio documental que llevaba décadas esperando su oportunidad.

El iceberg, por tanto, ya no es solo una metáfora sobre lo que no vemos: es una descripción bastante precisa de dónde está el valor que todavía no estamos capturando.

Sin embargo, existe un error frecuente: pensar que disponer de modelos de inteligencia artificial es suficiente para aprovechar todo ese conocimiento. Sin embargo, no lo es.

El obstáculo no es tecnológico, es de gobierno del dato

La tecnología ya está aquí: las herramientas capaces de procesar documentos y aplicar inteligencia artificial son cada vez más accesibles y evolucionan a un ritmo vertiginoso. Sin embargo, el verdadero reto no consiste en incorporar nuevos algoritmos, sino en gobernar adecuadamente la información sobre la que trabajan.

Un modelo de lenguaje puede resumir miles de expedientes en minutos, pero no puede determinar cuál es la versión válida de un documento, si su contenido sigue vigente o quién es responsable de mantenerlo actualizado. Únicamente puede trabajar con la información que recibe. Si esa información es incompleta, inconsistente o carece de contexto, sus respuestas heredarán esas mismas limitaciones.

 Figura 2. Visual explicativo sobre la inteligencia artificial sin gobierno del dato vs con gobierno del dato. Fuente: elaboración propia – datos.gob.es

Sin metadatos, catalogación, clasificación, criterios de calidad y responsabilidades claras, el dato no estructurado deja de ser un activo para convertirse en un pasivo organizativo: abundante, costoso de mantener y difícil de localizar, interpretar y reutilizar. Aplicar inteligencia artificial sobre documentación mal gobernada no genera conocimiento; genera respuestas aparentemente plausibles construidas sobre información poco fiable, probablemente el peor escenario posible para una administración pública.

Esta situación nos lleva directamente a un concepto que ya analizamos en el artículo De la ciénaga al lago: cómo evitar que tus datos se conviertan en un pantano. La acumulación de información sin gobierno acaba produciendo un data swamp, porque acumular información no equivale a generar conocimiento. Si esto ya es cierto para los datos estructurados, lo es aún más para los repositorios documentales, donde el volumen crece más rápido y el contexto se pierde antes. Sin gobierno del dato, la organización actúa como un simple trastero digital; con gobierno del dato, ese contenido se transforma en un activo útil, fiable y preparado para su explotación, tanto por las personas como por la inteligencia artificial.

La evolución natural del dato

El gobierno del dato cumple aquí otra función menos evidente y, sin embargo, fundamental: ayudar a identificar cuándo una información que nació como no estructurada debe dejar de serlo.

Muchas administraciones siguen almacenando determinados datos en documentos de texto, formularios PDF o campos de observaciones simplemente porque así se diseñó el proceso original. Con el paso del tiempo, esa información empieza a repetirse en miles de expedientes y deja de ser una excepción para convertirse en un patrón estable.

Figura 3. Visual explicativo sobre el paso del documento al dato. Fuente: elaboración propia – datos.gob.es

No todo dato no estructurado debe seguir siéndolo. Una de las funciones del gobierno del dato consiste precisamente en identificar cuándo ha llegado el momento de estructurarlo. Gobernar el dato significa decidir qué información debe conservar su riqueza documental y cuál conviene transformar en datos estructurados para facilitar su validación, interoperabilidad, explotación y reutilización. Es una decisión de diseño de la información, no una consecuencia inercial de cómo comenzaron a hacerse las cosas hace décadas.

Cómo activar ese valor: una hoja de ruta de gobernanza

Aprovechar este patrimonio documental no requiere comenzar implantando inteligencia artificial. Requiere construir primero unas bases sólidas de gobierno del dato. Los principios son los mismos que ya aplicamos al dato estructurado, extendidos ahora al conjunto de la información de la organización.

Figura 4. Tabla sobre los pilares y objetivos de la hoja de ruta de gobernanza. Fuente: elaboración propia - datos.gob.es

Como referencia metodológica para recorrer este camino, España dispone del ecosistema de normas UNE sobre gobierno, gestión y calidad del dato (UNE 0077, UNE 0078, UNE 0079, UNE 0080 y UNE 0081). Este marco permite abordar de forma homogénea la gestión tanto del dato estructurado como del no estructurado, apoyándose en procesos, responsabilidades y mejora continua para convertir la información en un activo gobernado y medible.

Más allá del almacenamiento

Durante años, las administraciones públicas han realizado un enorme esfuerzo por digitalizar documentos y expedientes. Ese proceso ha permitido sustituir el papel por archivos electrónicos, pero digitalizar no siempre significa gestionar mejor la información.

El verdadero reto de los próximos años no consiste en almacenar más documentos, sino en convertir ese inmenso patrimonio documental en un activo gobernado, reutilizable y preparado para generar valor: mejorar los servicios públicos, reforzar la transparencia y proporcionar una base fiable para las aplicaciones de inteligencia artificial que ya están transformando la gestión pública.

Y conviene no perder de vista que el iceberg seguirá creciendo. La producción documental de las administraciones continuará aumentando, y con ella el volumen de conocimiento que permanece bajo la superficie. La diferencia entre las organizaciones que conviertan esa masa oculta en una ventaja y las que la sufran como un lastre no estará en la tecnología que utilicen, sino en cómo gobiernen su información.

Porque, como en todo iceberg, el mayor valor no está en la parte visible. Está bajo la superficie, esperando a que las administraciones desarrollen las capacidades necesarias para descubrirlo, comprenderlo y ponerlo al servicio de la ciudadanía.

Contenido elaborado por Dr. Fernando Gualo, Profesor en UCLM y Consultor de Gobierno y Calidad de datos. El contenido y el punto de vista reflejado en esta publicación es responsabilidad exclusiva de su autor.

Imagina un edificio sin mantenimiento. Al principio funciona perfectamente: las puertas abren, la fontanería fluye, todo está en orden. Pasa el tiempo y nadie se ocupa de las pequeñas cosas: una tubería que gotea, una ventana que no cierra bien, papeles que se acumulan en los pasillos. Cinco años después, el edificio sigue en pie, pero usarlo se ha convertido en una odisea. Nadie sabe dónde está nada, hay habitaciones a las que ya nadie entra, y cada vez que intentas arreglar algo aparecen tres problemas más.

Con los datos pasa lo mismo. Una organización puede empezar con las mejores intenciones: sistemas bien diseñados, datos ordenados, todo documentado. Pero sin mantenimiento activo, esos datos que, al principio, eran un activo valioso acaban convirtiéndose en una ciénaga: un espacio donde la información existe, pero es imposible encontrarla, entenderla o confiar en ella.

Del data lake al data swamp: una diferencia clave

El concepto de data lake se presentó como la solución definitiva: un repositorio centralizado donde almacenar datos en su formato nativo para que analistas y científicos pudieran explorarlos libremente. Muchos de estos lagos, sin embargo, han terminado convirtiéndose en lo que la industria llama data swamp, o pantano de datos: un repositorio de datos que, aunque contiene mucha información, se ha vuelto inútil en la práctica.

La diferencia entre un lago y una ciénaga no está en la tecnología. Dos organizaciones pueden usar arquitecturas similares y obtener resultados muy distintos. Lo que marca la diferencia es cómo se gestionan los datos: si se conocen sus responsables, si están descritos, si se puede evaluar su calidad, si se mantienen actualizados y si existen reglas claras para incorporarlos, transformarlos o retirarlos. Un data lake aporta valor cuando está gobernado; el pantano aparece cuando el almacenamiento crece más rápido que la capacidad de entender y reutilizar lo que se guarda.

¿Cómo se forma una ciénaga de datos?

El paso de un entorno saludable a uno degradado suele ser silencioso. Los pantanos, rara vez, son el resultado de un gran error puntual; son el efecto acumulado de pequeñas decisiones cotidianas: datos que se cargan sin documentar, sistemas que cambian sin avisar, responsables que se van y nadie sustituye. Con el tiempo, el repositorio pasa de ser un activo estratégico a un lastre operativo. Y, lo peor, es que este deterioro suele ser invisible hasta que alguien intenta hacer algo con los datos y descubre que no puede.

• Ingesta sin propósito: se almacenan datos "por si acaso", sin un proceso de catalogación previo. Una organización empieza a capturar datos de nuevas fuentes (sensores, formularios, APIs externas) sin establecer quién los valida, cómo se documentan o dónde se almacenan de forma ordenada.

• Falta de documentación desde el origen: los datos se ingresan sin explicar qué significan, de dónde vienen, con qué frecuencia se actualizan o bajo qué reglas se capturan. No se registra el linaje ni el propósito de cada conjunto de datos.

• Acumulación sin criterio: se guarda "todo por si acaso", sin una política clara de qué datos son relevantes, cuánto tiempo deben conservarse o cuándo pueden archivarse o eliminarse.

• Cambios organizativos sin seguimiento: personas que conocían los datos dejan la organización, se reorganizan departamentos, se migran sistemas… y nadie actualiza la documentación ni traspasa el conocimiento.

• Proyectos piloto que se quedaron a medias: se cargan datos para un proyecto experimental, el proyecto termina (o nunca arranca), pero los datos se quedan ahí, sin contexto ni responsable.

• Ausencia de controles de calidad: no se validan los datos antes de ingresar al sistema ni se monitorizan después, por lo que los errores y las inconsistencias se acumulan silenciosamente.

Figura 1. Visual explicativo sobre el proceso de formación de una ciénaga de datos. Fuente: elaboración propia - datos.gob.es

Data drift: cuando los datos envejecen sin que te des cuenta

Relacionado con los pantanos, el data drift (deriva de datos) es un fenómeno especialmente relevante en proyectos de inteligencia artificial, aunque afecta a cualquier análisis basado en datos históricos. Ocurre cuando los datos dejan de representar la realidad actual, bien porque el contexto ha cambiado, bien porque las fuentes se han modificado sin que nadie lo haya documentado.

Podemos identificar varios tipos de deriva:

• Drift en las fuentes: un sistema de origen cambia su estructura, añade campos, elimina otros o modifica la lógica de cálculo de un indicador, pero nadie actualiza la documentación ni avisa a los usuarios de esos datos.

• Drift en los patrones: la realidad que los datos describen cambia. Por ejemplo, los patrones de movilidad urbana antes y después de una pandemia son radicalmente distintos. Un modelo entrenado con datos previos dejará de funcionar bien si no se recalibra.

• Drift en las definiciones: el significado de un campo cambia con el tiempo. Imaginemos que "vivienda vacía" se redefinió en 2022 para incluir segundas residencias, pero nadie actualizó la documentación. Quien compare datos de 2020 y 2024 estará mezclando conceptos distintos sin saberlo.

Como vimos en el post sobre estructuras organizativas de gobierno del dato para IA, un sistema de IA es tan bueno como los datos que lo alimentan. Si esos datos envejecen, el sistema empieza a fallar. Y si no hay mecanismos de monitorización activa, el problema puede pasar desapercibido durante meses. Un ejemplo claro es lo ocurrido durante la COVID-19, donde varios modelos predictivos vieron cómo su precisión caía drásticamente porque habían sido entrenados con patrones de comportamiento que dejaron de aplicarse de un día para otro. Es un caso extremo, pero ilustra bien el riesgo: un modelo es tan vigente como los datos que lo sustentan. Cuanto peor gobernados estén esos datos, más difícil será detectar estos cambios a tiempo.

Cómo evitar la ciénaga

Los pantanos de datos se pueden evitar. La clave está en adoptar un enfoque proactivo, basado en el mantenimiento continuo y en responsabilidades claras.

Figura 2. Visual explicativo sobre cómo evitar que un pantano de datos se convierte en una ciénaga. Fuente: elaboración propia - datos.gob.es

• Gobierno en la ingesta: no todo lo que existe merece entrar: el primer error que lleva a la ciénaga es la ausencia de filtros en la entrada. Establecer una zona de aterrizaje (landing zone) donde se verifiquen unos mínimos antes de mover los datos a las zonas de consumo es fundamental. Eso requiere definir quién es responsable de cada conjunto de datos (data owner), quién garantiza su calidad y documentación en el día a día (data steward), y bajo qué criterios se puede cargar algo al sistema. Sin este marco básico, cada dato que entra es una semilla potencial de desorden.

• El catálogo de datos: metadatos desde el origen: los metadatos son la capa de información que permite entender, encontrar y confiar en los datos. Sin ellos, un repositorio es una caja negra. Un buen catálogo responde a preguntas básicas: ¿qué contiene este conjunto de datos?, ¿de dónde viene?, ¿quién lo mantiene?, ¿cuándo se actualizó por última vez?, ¿qué significa cada campo? La catalogación no es una tarea que se hace una vez y se olvida. Es un proceso continuo: cada modificación actualiza la descripción, cada error detectado se documenta y corrige, cada reutilización genera información que mejora la documentación. Las herramientas de catalogación automatizada pueden ayudar a escanear repositorios y detectar cambios, pero la responsabilidad de validar esa información sigue siendo humana. En el ámbito de los datos abiertos, el perfil de metadatos DCAT-AP-ES ofrece un estándar común para describir conjuntos de datos de forma homogénea; el mismo enfoque puede aplicarse a cualquier repositorio interno.

• Calidad continua y detección del drift:  la calidad de los datos no es un estado, es un proceso. Un conjunto de datos puede ser excelente hoy y volverse inservible mañana sin monitorización activa. Las prácticas útiles incluyen validar los datos antes de cargarlos al sistema, establecer métricas de calidad revisadas periódicamente, configurar alertas que detecten desviaciones respecto a patrones históricos y hacer auditorías manuales para capturar errores que las métricas automáticas no ven. En España, la especificación UNE 0081 establece criterios para evaluar dimensiones como exactitud, completitud, consistencia o actualidad, lo que permite medir la calidad de forma objetiva y establecer compromisos concretos con los usuarios. En contextos donde los datos alimentan modelos de IA, las técnicas estadísticas de detección de drift permiten comparar la distribución actual de los datos con la de entrenamiento y lanzar alertas cuando la diferencia supera un umbral. Detectar el problema a tiempo permite reentrenar modelos antes de que su rendimiento se degrade.

• Trazabilidad: saber de dónde viene cada dato: en entornos complejos es necesario conocer el origen de cada dato, las transformaciones que ha sufrido, los procesos que lo han generado y los productos que dependen de él. El linaje de datos permite detectar el impacto de un cambio en origen, depurar errores o cumplir con obligaciones legales. Sin él, cualquier problema se convierte en una búsqueda en el laberinto.

• Ciclo de vida activo: revisar, archivar, eliminar: mantener datos obsoletos o irrelevantes aumenta el ruido, dificulta las búsquedas y consume recursos. Una política de ciclo de vida del dato define cuánto tiempo debe conservarse cada tipo de dato, cómo moverse a sistemas de almacenamiento más económicos cuando ya no se usan activamente, y cuándo pueden eliminarse —siempre respetando las obligaciones legales en materia de protección de datos—. Revisiones periódicas permiten identificar conjuntos que nadie ha consultado en meses, documentación desactualizada o datos que ya no tienen valor operativo. Esta "limpieza activa" evita que el repositorio crezca indefinidamente.

• Acceso y uso: claridad sobre quién puede hacer qué: un pantano también aparece cuando no está claro quién puede acceder a qué datos y para qué. Las políticas de acceso deben clasificar los datos según su sensibilidad, definir permisos, documentar restricciones legales o éticas y asegurar que los usuarios conocen las condiciones de uso. En el ámbito de los datos abiertos, la apertura debe ir acompañada de información clara sobre licencias, formatos, periodicidad y contexto.

• Cultura organizativa: las herramientas no bastan: las herramientas y los procesos son importantes, pero sin una cultura que valore la calidad del dato cualquier sistema acaba degradándose. Fomentar esa cultura requiere formación continua para que quienes generan o mantienen datos entiendan por qué importa la documentación, visibilidad directiva que sitúe la calidad del dato como prioridad estratégica, reconocimiento a los equipos que mantienen datos bien gestionados, y canales que permitan a quienes reutilizan datos reportar errores y sugerir mejoras.

Mantener datos limpios no puede depender del esfuerzo heroico de una persona. Tiene que ser parte del modo de trabajo habitual. La gobernanza bien diseñada es una ayuda para trabajar mejor, no un freno burocrático.

Marcos de referencia en España

Para abordar estos retos de forma estructurada existen marcos concretos. La familia de especificaciones UNE —impulsada desde la Dirección del Dato— cubre gobierno (UNE 0077), gestión (UNE 0078), gestión de calidad (UNE 0079), madurez de procesos de datos (UNE 0080), evaluación de datasets (UNE 0081), e implantación progresiva (UNE 0085). Para datos abiertos, DCAT-AP-ES establece requisitos sobre identificación, descripción, formatos y condiciones de uso. Estos marcos están pensados para aplicarse de forma incremental: se empieza por lo más crítico, se consolida y se avanza.

Conclusión: del pantano al valor, la gobernanza como sistema de depuración

Los pantanos de datos son prevenibles y, si ya existen, reversibles. Los datos solo generan valor cuando pueden encontrarse, entenderse y utilizarse con confianza. Almacenar información es necesario, pero sin gobierno, calidad, metadatos, trazabilidad y responsabilidades claras, incluso la plataforma más avanzada puede convertirse en un entorno confuso e inaprovechable.

Los beneficios de hacerlo bien son tangibles: equipos que dedican menos tiempo a buscar y limpiar datos, modelos de IA que se mantienen precisos porque el drift se detecta a tiempo, usuarios externos que confían en los datos porque saben que están actualizados. En un contexto donde los datos abiertos, los espacios de datos y la , , artificial adquieren cada vez más protagonismo, cuidar la base sobre la que se construyen estos ecosistemas es una decisión estratégica. El reto no es tener más datos, sino disponer de mejores datos: comprensibles, gobernados y listos para reutilizarse con confianza.

La adopción del nuevo perfil DCAT-AP-ES alinea a España con el perfil de aplicación en Europa (DCAT-AP), facilitando la federación automática entre catálogos de datos definidos en RDF (Resource Description Framework).

En este entorno de grafos RDF donde la flexibilidad es la norma, la ausencia de esquemas rígidos tradicionales puede derivar en una degradación silenciosa de la calidad de los datos, si no se sigue de forma rigurosa el estándar. Para mitigar este riesgo, existe el lenguaje de restricciones de formas SHACL (Shapes Constraint Language), recomendación del W3C. Estas pautas permiten definir «formas» que funcionan como verdaderos guardianes de la calidad y el cumplimiento de la interoperabilidad. 

Las etapas del proceso de validación SHACL son las siguientes:

1. Se dispone de un grafo de datos RDF
2. Se selecciona un subgrado del grafo anterior
3. Se comprueban las restricciones SHACL que aplican al subgrafo anterior
4. Se obtiene un informe de validación con los elementos conformes, con errores o con recomendaciones.

En la siguiente figura se muestran estas etapas:

Figura 1: Etapas principales del proceso de validación SHACL 

Objetivos y audiencia destino

Esta guía técnica tiene como objetivo ayudar a que los publicadores y reutilizadores incorporen la validación SHACL como una práctica continua de mejora de calidad, mediante un enfoque didáctico y accesible, inspirado en recursos claros y herramientas de validación abiertas del ecosistema de datos.

Además, se profundiza de forma especial en su relación con DCAT-AP-ES, detallando un caso práctico y exhaustivo del flujo de trabajo completo de validación y gobernanza de un catálogo conforme a dicho perfil.

Estructura y contenidos

El documento sigue un enfoque progresivo, partiendo de fundamentos teóricos hasta llegar a la implementación técnica e integración automática, estructurándose en los siguientes bloques clave:

• Fundamentos de la validación semántica: RDF y el desafío del mundo abierto que supone así como SHACL como mecanismo de realizar validaciones, definiendo conceptos clave como Shape o Validation Report.
• DCAT-AP-ES y la adopción de SHACL para su validación: se explican las formas SHACL definidas en DCAT-AP-ES y el caso de aplicación de las mismas en el proceso de federación del Catálogo Nacional.
• Caso práctico: Validación de grafos RDF: un tutorial paso a paso sobre cómo validar un catálogo con las formas SHACL de DCAT-AP-ES, resolución de problemas comunes y herramientas disponibles.
• Conclusiones: reflexiones sobre las ventajas de integrar validación SHACL para mejorar la gobernanza de catálogos de datos.

La validación mediante SHACL representa un cambio de paradigma en la gestión de la calidad de metadatos en los catálogos de datos. Esta guía recorre el proceso completo desde los fundamentos teóricos hasta la aplicación práctica, demostrando que la adopción de SHACL no es simplemente un requisito técnico, sino una oportunidad para fortalecer y mejorar la gobernanza de datos. 

Los datos abiertos son una pieza central de la innovación digital en torno a la inteligencia artificial ya que permiten, entre otras cosas, entrenar modelos o evaluar algoritmos de aprendizaje automático. Pero entre “descargar un CSV de un portal” y acceder a un conjunto de datos listo para aplicar técnicas de aprendizaje automático hay, todavía, un abismo.

Buena parte de ese abismo tiene que ver con los metadatos, es decir cómo se describen los conjuntos de datos (a qué nivel de detalle y con qué estándares). Si los metadatos se limitan a título, descripción y licencia, el trabajo de comprensión y preparación de datos se hace más complejo y tedioso para la persona que diseña el modelo de aprendizaje automático. Si, en cambio, se usan estándares que faciliten la interoperabilidad, como DCAT, los datos se vuelven más FAIR (Findable, Accessible, Interoperable, Reusable) y, por tanto, más fáciles de reutilizar. No obstante, es necesario metadatos adicionales para que los datos sean más fáciles de integrar en flujos de aprendizaje automático.

Este artículo realiza un itinerario por las diversas iniciativas y estándares necesarios para dotar a los datos abiertos de metadatos útiles para la aplicación de técnicas de aprendizaje automático.

DCAT como columna vertebral de los portales de datos abiertos

El vocabulario DCAT (Data Catalog Vocabulary) fue diseñado por la W3C para facilitar la interoperabilidad entre catálogos de datos publicados en la Web. Describe catálogos, conjuntos de datos y distribuciones, siendo la base sobre la que se construyen muchos portales de datos abiertos.

En Europa, DCAT se concreta en el perfil de aplicación DCAT-AP, recomendado por la Comisión Europea y ampliamente adoptado para describir conjuntos de datos en el sector público, por ejemplo, en España con DCAT-AP-ES. Con DCAT-AP se responde a preguntas como:

• ¿Qué conjuntos de datos existen sobre un tema concreto?
• ¿Quién los publica, bajo qué licencia y en qué formatos?
• ¿Dónde están las URL de descarga o las API de acceso?

El uso de un estándar como DCAT es imprescindible para descubrir conjuntos de datos, pero es necesario ir un paso más allá con el fin de saber cómo se utilizan en modelos de aprendizaje automático o qué calidad tienen desde la perspectiva de estos modelos.

MLDCAT-AP: aprendizaje automático en el catálogo de un portal de datos abiertos

MLDCAT-AP (Machine Learning DCAT-AP) es un perfil de aplicación de DCAT desarrollado por SEMIC y la comunidad Interoperable Europe, en colaboración con OpenML, que extiende DCAT-AP al dominio del aprendizaje automático.

MLDCAT-AP incorpora clases y propiedades para describir:

• Modelos de aprendizaje automático y sus características.
• Conjuntos de datos utilizados en el entrenamiento y la evaluación.
• Métricas de calidad obtenidas sobre los conjuntos de datos.
• Publicaciones y documentación asociadas a los modelos de aprendizaje automático.
• Conceptos relacionados con riesgo, transparencia y cumplimiento del contexto regulatorio europeo del AI Act.

Con ello, un catálogo basado en MLDCAT-AP ya no solo responde a “qué datos hay”, sino también a:

• ¿Qué modelos se han entrenado con este conjunto de datos?
• ¿Cuál ha sido el rendimiento de ese modelo según determinadas métricas?
• ¿Dónde se describe este trabajo (artículos científicos, documentación, etc.)?

MLDCAT-AP representa un gran avance en trazabilidad y gobernanza, pero se mantiene la definición de metadatos a un nivel que todavía no considera la estructura interna de los conjuntos de datos ni qué significan exactamente sus campos. Para eso, se necesita bajar a nivel de la propia estructura de la distribución de conjunto de datos.

Metadatos a nivel de estructura interna del conjunto de datos

Cuando se quiere describir qué hay dentro de las distribuciones de los conjuntos de datos (campos, tipos, restricciones), una iniciativa interesante es Data Package, parte del ecosistema de Frictionless Data.

Un Data Package se define por un archivo JSON que describe un conjunto de datos. En este archivo se incluyen no sólo metadatos generales (como el nombre, título, descripción o licencia) y recursos (es decir, los ficheros de datos con su ruta o una URL de acceso a su correspondiente servicio), sino también se define un esquema con:

• Nombres de campos.
• Tipos de datos (integer, number, string, date, etc.).
• Restricciones, como rangos de valores válidos, claves primarias y ajenas, etc.

Desde la óptica del aprendizaje automático, esto se traduce en la posibilidad de realizar una validación estructural automática antes de usar los datos. Además, también permite una documentación precisa de la estructura interna de cada conjunto de datos y mayor facilidad para compartir y versionar conjuntos de datos.

En resumen, mientras que MLDCAT-AP indica qué conjuntos de datos existen y cómo encajan en el ámbito de modelos de aprendizaje automático, Data Package especifica exactamente “qué hay” dentro de los conjuntos de datos.

Croissant: metadatos que preparan datos abiertos para aprendizaje automático

Aun con el concurso de MLDCAT-AP y de Data Package, faltaría conectar los conceptos subyacentes en ambas iniciativas. Por una parte, el ámbito del aprendizaje automático (MLDCAT-AP) y por otro el de las estructuras internas de los propios datos (Data Package). Es decir, se puede estar usando los metadatos de MLDCAT-AP y de Data Package pero para solventar algunas limitaciones que adolecen ambos, es necesario complementarlo. Aquí entra en juego Croissant, un formato de metadatos para preparar los conjuntos de datos para la aplicación de aprendizaje automático. Croissant está desarrollado en el marco de MLCommons, con participación de industria y academia.

Específicamente, Croissant se implementa en JSON-LD y se construye sobre schema.org/Dataset, un vocabulario para describir conjuntos de datos en la Web. Croissant combina los siguientes metadatos:

• Metadatos generales del conjunto de datos.
• Descripción de recursos (archivos, tablas, etc.).
• Estructura de los datos.
• Capa semántica sobre aprendizaje automático (separación de datos de entrenamiento/validación/test, campos objetivo, etc.)

Cabe destacar que Croissant está diseñado para que distintos repositorios (como Kaggle, HuggingFace, etc.) puedan publicar conjuntos de datos en un formato que las librerías de aprendizaje automático (TensorFlow, PyTorch, etc.) puedan cargar de forma homogénea. También existe una extensión de CKAN para usar Croissant en portales de datos abiertos.

Otras iniciativas complementarias

Merece la pena mencionar brevemente otras iniciativas interesantes relacionadas con la posibilidad de disponer de metadatos que permitan preparar a los conjuntos de datos para la aplicación de aprendizaje automático (“ML-ready datasets”):

• schema.org/Dataset: usado en páginas web y repositorios para describir conjuntos de datos. Es la base sobre la que se apoya Croissant y está integrado, por ejemplo, en las directrices de datos estructurados de Google para mejorar la localización de conjuntos de datos en buscadores.
• CSV on the Web (CSVW): conjunto de recomendaciones del W3C para acompañar ficheros CSV con metadatos en JSON (incluyendo diccionarios de datos), muy alineado con las necesidades de documentación de datos tabulares que luego se usan en aprendizaje automático.
• Datasheets for Datasets y Dataset Cards: iniciativas que permiten desarrollar una documentación narrativa y estructurada para describir el contexto, la procedencia y las limitaciones de los conjuntos de datos. Estas iniciativas son ampliamente adoptadas en plataformas como Hugging Face.

Conclusiones

Existen diversas iniciativas que ayudan a realizar una definición de metadatos adecuada para el uso de aprendizaje automático con datos abiertos:

• DCAT-AP y MLDCAT-AP articulan el nivel de catálogo, modelos de aprendizaje automático y métricas.
• Data Package describe y valida la estructura y restricciones de los datos a nivel de recurso y campo.
• Croissant conecta estos metadatos con el flujo de aprendizaje automático, describiendo cómo los conjuntos de datos son ejemplos concretos para cada modelo.
• Iniciativas como CSVW o Dataset Cards complementan las anteriores y son ampliamente utilizadas en plataformas como HuggingFace.

Estas iniciativas pueden usarse de manera combinada. De hecho, si se adoptan de forma conjunta, se permite que los datos abiertos dejen de ser simplemente “ficheros descargables” y se conviertan en una materia prima preparada para el aprendizaje automático, reduciendo fricción, mejorando la calidad y aumentando la confianza en los sistemas de IA construidos sobre ellos.

En todo entorno de gestión de datos (empresas, Administración pública, consorcios, proyectos de investigación), disponer de datos no basta: si no sabes qué datos tienes, dónde están, qué significan, quién los mantiene, con qué calidad, cuándo cambiaron o cómo se relacionan con otros datos, entonces el valor es muy limitado. Los metadatos —datos sobre los datos— son esenciales para:

• Visibilidad y acceso: permitir que usuarios encuentren qué datos existen y puedan acceder.

• Contextualización: saber qué significan los datos (definiciones, unidades, semántica).

• Trazabilidad / linaje: entender de dónde vienen los datos y cómo han sido transformados.

• Gobierno y control: conocer quién es responsable, qué políticas aplican, permisos, versiones, obsolescencia.

• Calidad, integridad y consistencia: asegurar la fiabilidad de los datos mediante reglas, métricas y monitoreo.

• Interoperabilidad: garantizar que diferentes sistemas o dominios puedan compartir datos, utilizando un vocabulario común, definiciones compartidas y relaciones explícitas.

En resumen, los metadatos son la palanca que convierte los datos “aislados” en un ecosistema de información gobernada. A medida que los datos crecen en volumen, diversidad y velocidad, su función va más allá de la simple descripción: los metadatos añaden contexto, permiten interpretar los datos y facilitan que puedan ser encontrados, accesibles, interoperables y reutilizables (FAIR).

En el nuevo contexto impulsado por la inteligencia artificial, esta capa de metadatos adquiere una relevancia aún mayor, ya que proporciona la información de procedencia (provenance) necesaria para garantizar la trazabilidad, la fiabilidad y la reproducibilidad de los resultados. Por ello, algunos marcos recientes amplían estos principios hacia FAIR-R, donde la “R” adicional resalta la importancia de que los datos estén listos para la IA (AI-ready), es decir, que cumplen una serie de requisitos técnicos, estructurales y de calidad que optimizan su aprovechamiento por parte de los algoritmos de inteligencia artificial.

Así, hablamos de metadatos enriquecidos, capaces de conectar información técnica, semántica y contextual para potenciar el aprendizaje automático, la interoperabilidad entre dominios y la generación de conocimiento verificable.

De los metadatos tradicionales a los “metadatos enriquecidos”

Metadatos tradicionales

En el contexto de este artículo, cuando hablamos de metadatos con un uso tradicional, pensamos en catálogos, diccionarios, glosarios, modelos de datos de base de datos, y estructuras rígidas (tablas y columnas). Los tipos de metadatos más comunes son:

• Metadatos técnicos: tipo de columna, longitud, formato, claves foráneas, índices, ubicaciones físicas.

• Metadatos de negocio / semánticos: nombre de campo, descripción, dominio de valores, reglas de negocio, términos del glosario empresarial.

• Metadatos operativos / de ejecución: frecuencia de actualización, última carga, tiempos de procesamiento, estadísticas de uso.

• Metadatos de calidad: porcentaje de valores nulos, duplicados, validaciones.

• Metadatos de seguridad / acceso: políticas de acceso, permisos, clasificación de sensibilidad.

• Metadatos de linaje: rastreo de transformación en los pipelines de datos.

Estos metadatos se almacenan usualmente en repositorios o herramientas de catalogación, muchas veces con estructuras tabulares o en bases relacionales, con vínculos predefinidos.

¿Por qué metadatos enriquecidos?

Los metadatos enriquecidos son aquella capa que no solo describe atributos, sino que:

• Descubren e infieren relaciones implícitas, identificando vínculos que no están expresamente definidos en los esquemas de datos. Esto permite, por ejemplo, reconocer que dos variables con nombres diferentes en sistemas distintos representan en realidad el mismo concepto (“altitud” y “elevación”), o que ciertos atributos mantienen una relación jerárquica (“municipio” pertenece a “provincia”).
• Facilitan consultas semánticas y razonamiento automatizado, permitiendo que los usuarios y las máquinas exploren relaciones y patrones que no están explícitamente definidos en las bases de datos. En lugar de limitarse a buscar coincidencias exactas de nombres o estructuras, los metadatos enriquecidos permiten formular preguntas basadas en significado y contexto. Por ejemplo, identificar automáticamente todos los conjuntos de datos relacionados con “ciudades costeras” aunque el término no aparezca literalmente en los metadatos.
• Se adaptan y evolucionan de manera flexible, ya que pueden ampliarse con nuevos tipos de entidades, relaciones o dominios sin necesidad de rediseñar toda la estructura del catálogo. Esto permite incorporar fácilmente nuevas fuentes de datos, modelos o estándares, garantizando la sostenibilidad del sistema a largo plazo.
• Incorporan automatización en tareas que antes eran manuales o repetitivas, como la detección de duplicidades, el emparejamiento automático de conceptos equivalentes o el enriquecimiento semántico mediante aprendizaje automático. También pueden identificar incoherencias o anomalías, mejorando la calidad y la coherencia de los metadatos.
• Integran de forma explícita el contexto de negocio, enlazando cada activo de datos con su significado operativo y su rol dentro de los procesos organizativos. Para ello utilizan vocabularios controlados, ontologías o taxonomías que facilitan un entendimiento común entre equipos técnicos, analistas y responsables de negocio.
• Favorecen una interoperabilidad más profunda entre dominios heterogéneos, que va más allá del intercambio sintáctico facilitado por los metadatos tradicionales. Los metadatos enriquecidos añaden una capa semántica que permite comprender y relacionar los datos en función de su significado, no solo de su formato. Así, datos procedentes de diferentes fuentes o sectores —por ejemplo, Sistemas de información Geográfica (GIS en inglés), Building Information Modeling (BIM) o Internet de las Cosas (IoT)— pueden vincularse de manera coherente dentro de un marco conceptual compartido. Esta interoperabilidad semántica es la que posibilita integrar conocimiento y reutilizar información entre contextos técnicos y organizativos diversos.

Esto convierte los metadatos en un activo vivo, enriquecido y conectado con el conocimiento del dominio, no solo un “registro” pasivo. 

La evolución de los metadatos: ontologías y grafos de conocimiento

La incorporación de ontologías y grafos de conocimiento representa una evolución conceptual en la manera de describir, relacionar y aprovechar los metadatos, de ahí que hablemos de metadatos enriquecidos. Estas herramientas no solo documentan los datos, sino que los conectan dentro de una red de significado, permitiendo que las relaciones entre entidades, conceptos y contextos sean explícitas y computables.

En el contexto actual, marcado por el auge de la inteligencia artificial, esta estructura semántica adquiere un papel fundamental: proporciona a los algoritmos el conocimiento contextual necesario para interpretar, aprender y razonar sobre los datos de forma más precisa y transparente. Ontologías y grafos permiten que los sistemas de IA no solo procesen información, sino que entiendan las relaciones entre los elementos y puedan generar inferencias fundamentadas, abriendo el camino hacia modelos más explicativos y confiables.

Este cambio de paradigma transforma los metadatos en una estructura dinámica, capaz de reflejar la complejidad del conocimiento y de facilitar la interoperabilidad semántica entre distintos dominios y fuentes de información. Para comprender esta evolución conviene definir y relacionar algunos conceptos:

Ontologías

En el mundo de los datos, una ontología es un mapa conceptual muy organizado que define claramente:

• Qué entidades existen (ej. ciudad, río, carretera).
• Qué propiedades tienen (ej. una ciudad tiene nombre, población, código postal).
• Cómo se relacionan entre sí (ej. un río atraviesa una ciudad, una carretera conecta dos municipios).

El objetivo es que personas y máquinas compartan un mismo vocabulario y entiendan los datos de la misma manera. Las ontologías permiten:

• Definir conceptos y relaciones: por ejemplo, “una parcela pertenece a un municipio”, “un edificio tiene coordenadas geográficas”.
• Poner reglas y restricciones: como “cada edificio debe estar exactamente en una parcela catastral”.
• Unificar vocabularios: si en un sistema se dice “parcela” y en otro “unidad catastral”, la ontología ayuda a reconocer que son análogos.
• Hacer inferencias: a partir de datos simples, descubrir nuevo conocimiento (si un edificio está en una parcela y la parcela en Sevilla, se puede inferir que el edificio está en Sevilla).
• Establecer un lenguaje común: funcionan como un diccionario compartido entre distintos sistemas o dominios (GIS, BIM, IoT, catastro, urbanismo).

En resumen: una ontología es el diccionario y las reglas del juego que permiten que diferentes sistemas geoespaciales (mapas, catastro, sensores, BIM, etc.) se entiendan entre sí y puedan trabajar de manera integrada.

Grafos de conocimiento (Knowledge Graphs)

Un grafo de conocimiento es una forma de organizar información como si fuera una red de conceptos conectados entre sí.

• Los nodos representan cosas o entidades, como una ciudad, un río o un edificio.

• Las aristas (líneas) muestran las relaciones entre ellas, por ejemplo: “está en”, “atraviesa” o “pertenece a”.

• A diferencia de un simple dibujo de conexiones, un grafo de conocimiento también explica el significado de esas relaciones: añade semántica.

Un grafo de conocimiento combina tres elementos principales:

1. Datos: los casos concretos o instancias, como “Sevilla”, “Río Guadalquivir” o “Edificio Ayuntamiento de Sevilla”.

2. Semántica (u ontología): las reglas y vocabularios que definen qué tipos de cosas existen (ciudades, ríos, edificios) y cómo pueden relacionarse entre sí.

3. Razonamiento: la capacidad de descubrir nuevas conexiones a partir de las existentes (por ejemplo, si un río atraviesa una ciudad y esa ciudad está en España, el sistema puede deducir que el río está en España).

Además, los grafos de conocimiento permiten conectar información de distintos ámbitos (por ejemplo, datos sobre personas, lugares y empresas) bajo un mismo lenguaje común, facilitando el análisis y la interoperabilidad entre disciplinas.

En otras palabras, un knowledge graph es el resultado de aplicar una ontología (el modelo de datos) a varios conjuntos de datos individuales (elementos espaciales, otros datos del territorio, registros de pacientes o productos de catálogo, etc.). Los grafos de conocimiento son ideales para integrar datos heterogéneos, porque no requieren un esquema rígido previamente completo: se pueden ir creciendo de forma flexible. Además, permiten consultas semánticas y navegación con relaciones complejas. A continuación, se pone un ejemplo para datos espaciales con los que entender las diferencias:

Casos de uso

Para entender mejor el valor de los metadatos inteligentes y los catálogos semánticos, nada mejor que mirar ejemplos donde ya se están aplicando. Estos casos muestran cómo la combinación de ontologías y grafos de conocimiento permite conectar información dispersa, mejorar la interoperabilidad y generar conocimiento accionable en distintos contextos.

Desde la gestión de emergencias hasta la planificación urbana o la protección del medio ambiente, diferentes proyectos internacionales han demostrado que la semántica no es solo teoría, sino una herramienta práctica que transforma datos en decisiones.

Algunos ejemplos relevantes incluyen:

• LinkedGeoData que convirtió datos de OpenStreetMap en Linked Data, enlazándolos con otras fuentes abiertas.
• Virtual Singapore un gemelo digital 3D que integra datos geoespaciales, urbanos y en tiempo real para simulación y planificación.
• JedAI-spatial una herramienta para interconectar datos espaciales en 3D mediante relaciones semánticas.
• SOSA Ontology, estándar ampliamente usado en proyectos de sensores e IoT para observaciones ambientales con componente geoespacial.
• Proyectos europeos de permisos digitales de construcción (ej. ACCORD), que combinan catálogos semánticos, modelos BIM y datos GIS para validar automáticamente normativas de construcción.

Conclusiones

La evolución hacia metadatos enriquecidos, apoyados en ontologías, grafos de conocimiento y principios FAIR-R, representa un cambio sustancial en la manera de gestionar, conectar y comprender los datos. Este nuevo enfoque convierte los metadatos en un componente activo de la infraestructura digital, capaz de aportar contexto, trazabilidad y significado, y no solo de describir información.

Los metadatos enriquecidos permiten aprender de los datos, mejorar la interoperabilidad semántica entre dominios y facilitar consultas más expresivas, donde las relaciones y dependencias pueden descubrirse de forma automatizada. De este modo, favorecen la integración de información dispersa y apoyan tanto la toma de decisiones informadas como el desarrollo de modelos de inteligencia artificial más explicativos y confiables.

En el ámbito de los datos abiertos, estos avances impulsan la transición desde repositorios descriptivos hacia ecosistemas de conocimiento interconectado, donde los datos pueden combinarse y reutilizarse de manera flexible y verificable. La incorporación de contexto semántico y procedencia (provenance) refuerza la transparencia, la calidad y la reutilización responsable.

Esta transformación requiere, sin embargo, un enfoque progresivo y bien gobernado: es fundamental planificar la migración de sistemas, garantizar la calidad semántica, y promover la participación de comunidades multidisciplinares.

En definitiva, los metadatos enriquecidos son la base para pasar de datos aislados a conocimiento conectado y trazable, elemento clave para la interoperabilidad, la sostenibilidad y la confianza en la economía de los datos.

A continuación, se recogen dos infografías con la definición de diversos términos relacionados con los datos abiertos y la reutilización de datos del sector público.

Glosario de términos sobre datos abiertos

Descarga la versión accesible

Glosario de términos sobre reutilización de datos del sector público

Los datos abiertos tienen un rol relevante en el desarrollo tecnológico por muchos motivos. A modo de ejemplo, son un componente fundamental en la toma de decisiones informadas, en la evaluación de procesos o incluso en el impulso de la innovación tecnológica. Siempre y cuando, cuenten con la calidad óptima, estén actualizados y respeten los aspectos éticos, los datos pueden ser el ingrediente clave para el alcanzar el éxito de un proyecto.

A fin de aprovechar plenamente las ventajas de los datos abiertos en la sociedad, la Unión Europea cuenta con diversas iniciativas para impulsar la economía del dato, un modelo digital único que fomenta el intercambio de datos, destacando la soberanía y el gobierno de los mismos, el marco ideal y necesario para los datos abiertos.

En la economía del dato, tal y como recoge la regulación vigente, se garantiza la privacidad de las personas y la interoperabilidad de los datos. El marco regulatorio se encarga de velar por el cumplimiento de esta premisa.  Ejemplo de ello puede ser la modificación de la Ley 37/2007 para la reutilización de información del sector público en cumplimiento de la Directiva Europea 2019/1024. Esta regulación se alinea con la Estrategia de datos de la Unión Europea que define un horizonte con un mercado único de datos en el que se facilite un intercambio mutuo, libre y seguro entre el sector público y el privado.

Para lograr este objetivo, se deben abordar cuestiones clave, como preservar ciertas garantías jurídicas o acordar unas características comunes de descripción de metadatos que deben cumplir los dataset para facilitar el acceso y uso de los datos entre sectores, es decir, utilizar un lenguaje común que permita la interoperabilidad entre catálogos de conjuntos de datos.

¿Qué son los estándares de metadatos?

Un primer paso hacia la interoperabilidad y reutilización de los datos es desarrollar mecanismos que habiliten una descripción homogénea de los mismos y que, además, dicha descripción sea fácilmente interpretable y procesable tanto por humanos como por máquinas. En este sentido, se han ido creando diferentes vocabularios que, con el tiempo, se han ido consensuando hasta convertirse en estándares. 

Los vocabularios estandarizados ofrecen una semántica que sirve como base para la publicación de conjuntos de datos que actúa como "leyenda" para facilitar la comprensión del contenido de los datos. Al fin y al cabo, se puede decir que estos vocabularios proporcionan una colección de metadatos para describir los datos que se publican; y como todos los usuarios de esos datos tienen acceso a los metadatos y entienden su significado, es más fácil interoperar y reutilizar los datos.

W3C: Estándares DCAT y DCAT-AP

A nivel internacional, se pueden destacar varias organizaciones que crean y mantienen estándares:

• World Wide Web Consortium (W3C): desarrolla el Vocabulario de Catálogos de Datos (DCAT): un estándar de descripción diseñado con el objetivo de facilitar la interoperabilidad entre catálogos de conjuntos de datos publicados en la web.

  • Posteriormente, tomando como base DCAT, se desarrolló DCAT-AP, una especificación para el intercambio de descripciones de datos publicados en los portales de datos en Europa que cuenta con extensiones de DCAT-AP más específicas como:

    • GeoDCAT-AP que extiende DCAT-AP para la publicación de datos  espaciales.
    • StatDCAT-AP que igualmente, extiende DCAT-AP para describir datasets de contenidos estadísticos.

ISO: Organización de Estandarización Internacional

Además de World Wide Web Consortium, existen otras organizaciones que se dedican a la estandarización, por ejemplo, la Organización de Estandarización Internacional (ISO, por sus siglas en inglés Internacional Standarization Organisation).

• Entre otros muchos tipos de estándares, ISO también ha definido normas de estandarización de metadatos de catálogos de datos:
  
  • ISO 19115 para describir información geográfica. Como ocurre en DCAT, también se han desarrollado extensiones y especificaciones técnicas a partir de ISO 19115, por ejemplo:
    • ISO 19115-2 para datos ráster e imágenes.
    • ISO 19139 proporciona una implementación en XML del vocabulario.

El horizonte en los estándares de metadatos: retos y oportunidades

Tanto W3C como ISO trabajan en el desarrollo y mantenimiento de vocabularios estandarizados y adaptados a las necesidades de los usuarios. Su trabajo contribuye a lograr un ecosistema de datos abiertos interoperables que facilite la reutilización. Sin embargo, la interoperabilidad a menudo se encuentra con obstáculos derivados de debilidades de calidad, como pueden ser datos obsoletos, dificultades para acceder e interoperar con ellos o metadatos incompletos.

A pesar de ello, como se ha demostrado, la compartición de datos es un mecanismo fundamental en la economía del dato. Así que garantizar la interoperabilidad y reutilización de estos es una acción clave para abordar el desarrollo de la economía de los datos en línea con las expectativas de las organizaciones en lo que se refiere a innovación.

Entre las múltiples ventajas que ofrece la reutilización de conjuntos de datos y su interoperabilidad se puede destacar la creación de aplicaciones y servicios que aportan un valor a la sociedad o ayudan en la evaluación de políticas, por ejemplo.

Además, la reutilización e interoperabilidad de los conjuntos de datos favorece el desarrollo económico en general, y la economía del dato, en particular. Se estima que esta industria alcanzará un valor de 829.000 millones de euros en 2025, según previsiones de la Unión Europea. Para poder aprovechar los beneficios que ofrece compartir datos, primero, se deben acordar y respetar unas normas de descripción comunes: los estándares para describir metadatos de catálogos de conjuntos de datos.

El pasado diciembre el Congreso de los Diputados aprobó el Real Decreto-ley 24/2021, que incluía la transposición de la Directiva (UE) 2019/1024, relativa a los datos abiertos y la reutilización de la información del sector público. Con este Real Decreto se modifica la Ley 37/2007 sobre reutilización de la información del sector público, incluyendo nuevos requisitos para los organismos públicos, entre los que se encuentra el facilitar el acceso a los datos de alto valor.  

Los datos de alto valor son aquellos cuya reutilización está asociada a considerables beneficios para la sociedad, el medio ambiente y la economía. Inicialmente, la Comisión Europea destacó como datos de alto valor aquellos pertenecientes a las categorías de datos geoespaciales, ambientales, meteorológicos, estadísticos, relativos a sociedades y de movilidad, aunque estas clases pueden ser ampliadas tanto por, la Comisión como por el Ministerio de Asuntos Económicos y Transformación Digital a través de la Oficina del Dato. De acuerdo con la Directiva, este tipo de datos “se pondrán a disposición para su reutilización en un formato legible por máquina, a través de interfaces de programación de aplicaciones adecuadas y, cuando proceda, en forma de descarga masiva”. Es decir, entre otras cuestiones, se hace necesario el contar con una API. 

¿Qué es una API? 

Una interfaz de programación de aplicaciones o API (la abreviatura en inglés de Application Programming Interfaces) es un conjunto de definiciones y protocolos que permite el intercambio de información entre sistemas. Cabe destacar que existen distintos tipos de APIs en base a su arquitectura, protocolos de comunicación y sistemas operativos. 

Las APIs suponen una serie de ventajas para los desarrolladores, ya que permiten automatizar el consumo de datos y metadatos, facilitan la descarga masiva y optimizan la recuperación de información al admitir funcionalidades de filtrado, ordenación y paginación. Todo ello repercute en un ahorro tanto económico como de tiempo.  

En este sentido, muchos portales de datos abiertos de nuestro país ya cuentan con sus propias APIs para facilitar el acceso a datos y metadatos. En la siguiente infografía puedes ver algunos ejemplos a nivel nacional, autonómico y local, incluyendo información sobre la API de datos.gob.es. La infografía también incluye información breve sobre qué es una API y qué se necesita para poder utilizarlas. 

Haz clic aquí para ver la infografía en tamaño completo y en su versión accesible

Estos ejemplos ponen de manifiesto el esfuerzo que los organismos públicos de nuestro país están haciendo para facilitar el acceso a la información que custodian de forma más eficiente y automatizada, con el fin de impulsar la reutilización de sus datos abiertos.  

En datos.gob.es contamos con una Guía práctica para la publicación de datos abiertos usando APIs donde se detallan una serie de pautas y buenas prácticas para definir e implementar este mecanismo en un portal open data. 

Contenido elaborado por el equipo de datos.gob.es.

Diariamente en el mundo, se generan grandes cantidades de datos que constituyen un potencial increíble para la creación de conocimiento. Muchos de estos datos son generados por organizaciones que los ponen a disposición de los ciudadanos.

Es recomendable que la publicación de estos datos en portales de datos abiertos, como el de datos.gob.es, siga los principios que caracterizan el Open Goverment Data desde sus orígenes, es decir, que los datos sean completos, primarios, en tiempo, accesibles, legibles por máquinas, no discriminatorios, en formatos libres y con licencias abiertas.

Para cumplir con estos principios y garantizar la trazabilidad de los datos, es muy importante su catalogación y para ello hay que conocer su ciclo de vida.

Ciclo de vida de los datos

Cuando hablamos de “ciclo de vida del dato” nos referimos a las diferentes etapas por las que pasa un dato desde su nacimiento hasta el fin. El dato no es un activo estático durante su ciclo de vida, sino que pasa por distintas fases, como recoge la siguiente imagen.

Fuente:El ciclo de Vida del Dato, @FUOC, Marcos Pérez. PID_00246836.

Dentro de las administraciones, se crean nuevas fuentes de datos continuamente, y es necesario mantener un registro que permita documentar los flujos de información a través de los distintos sistemas dentro de las organizaciones. Para ello, necesitamos establecer lo que se conoce como trazabilidad del dato.

La trazabilidad del dato es la capacidad de conocer todo el ciclo de vida del dato: la fecha y hora exacta de extracción, cuándo se produjo su transformación, y cuándo se cargó desde un entorno fuente a otro destino. A este proceso se le conoce como Data Linage.

Y para conocer cómo se ha comportado el dato durante su ciclo de vida, necesitamos una serie de metadatos.

Hablemos de los metadatos

La definición más concreta sobre los metadatos es que son los datos acerca de los datos y sirven para suministrar información sobre los datos que queremos usar. Los metadatos consisten en información que caracteriza datos, describe su contenido y estructura, las condiciones de uso, su origen y transformación, entre otra información relevante. Por ello son un elemento fundamental para conocer la calidad de los mismos.

La etimología del término metadatos también nos pone sobre la pista de su significado. Del griego meta, "después de" y de "data" plural del latín datum "datos”, literalmente significa "más allá de los datos", aludiendo a datos que describen otros datos.

Según el framework de trabajo DMBOK2 de la organización DAMA Internacional, existen tres tipos de metadatos:

• Metadatos técnicos: como su nombre indica, proporcionan información sobre detalles técnicos de los datos, los sistemas que los almacenan y los procesos que los mueven entre sistemas.
• Metadatos operacionales: describen detalles del procesamiento y acceso a los datos.
• Metadatos de negocio: se enfocan principalmente en el contenido y la condición de los datos e incluyen detalles relacionados con la gobernabilidad de los datos.

Como ejemplo, los conjuntos de metadatos que necesitamos para la catalogación y  descripción de datos están recogidos en la Norma Técnica de Interoperabilidad (NTI) de Reutilización de recursos de la información y, entre otros, contienen:

• Título o denominación del conjunto de datos.
• Descripción que detalla aspectos relevantes del contenido de los datos.
• Organismo que publica los datos. Por ejemplo, Ayuntamiento de Madrid.
• Temática, que debemos seleccionar de la taxonomía de sectores primarios.
• Formato del set de datos.
• Conjunto de etiquetas que mejor describa el dataset para facilitar su descubrimiento.
• Periodicidad de actualización de la información.

Además, si la norma de referencia para describir metadatos permite incluir propiedades para ello, se puede agregar la siguiente información, aunque no los recoja la NTI:

• Si existen datos que han sufrido transformaciones, se deben comentar que métrica se ha utilizado.
• Indicador sobre la calidad de los datos. Se puede definir utilizando el vocabulario diseñado para tal fin, Data Quality Vocabulary (DQV)
• Trazo del linaje de los datos, es decir, como un árbol genealógico de los datos donde se explica de dónde viene cada fuente.

El beneficio de catalogar

Como hemos visto, gracias a la catalogación por medio de metadatos se proporciona información al usuario de los datos sobre dónde se han creado, cuándo se han creado, quién los ha creado, y cómo se han transformado cuando son objeto de flujos de información entre sistemas estando sujetos a operaciones extracción, transformación y carga.

De esta manera, estamos proporcionando una información muy valiosa para el usuario sobre cómo se ha obtenido el resultado final y así garantizar que se tiene la traza completa del dato objeto de reutilización.

En concreto, una correcta catalogación nos ayuda a:

• Aumentar la confianza en los datos, proporcionando un contexto de los mismos permitiendo además medir su calidad.
• Aumentar el valor de los datos estratégicos, como por ejemplo a través de los datos maestros que caracterizan a los datos transaccionales.
• Evitar el uso de datos desactualizados o que ya han llegado a la fase final de su ciclo de vida.
• Reducir el tiempo que invierte el usuario en investigar si los datos que necesita cumplen con sus requisitos.

El éxito de un portal de datos abiertos se encuentra en poseer unos datos bien descritos y fiables, ya que éstos constituyen un activo informacional muy importante para la generación de conocimiento. El buen gobierno de los datos debe garantizar que los datos empleados para tomar decisiones sean verdaderamente fiables y para ello, una adecuada catalogación es esencial. La catalogación de los datos proporciona respuestas y ofrece una mayor interpretabilidad de los datos, de modo que se pueda entender qué datos son los mejores para incorporar a mi análisis informacional.

Contenido elaborado por David Puig, Graduado en Información y Documentación y responsable del grupo de trabajo de Datos Maestros y de Referencia en DAMA ESPAÑA.

Los contenidos y los puntos de vista reflejados en esta publicación son responsabilidad exclusiva de su autor.

Los datos de investigación son muy valiosos, y su acceso permanente es uno de los mayores retos para todos agentes involucrados en el mundo científico: personal investigador, organismos de financiación, editores e instituciones académicas. La conservación a largo plazo de los datos y la cultura del acceso abierto son fuente de nuevas oportunidades para la comunidad científica. Son cada vez más las universidades y centros de investigación que ofrecen repositorios con los datos de sus investigaciones, permitiendo el acceso permanente a los mismos. Así, debido a los requisitos de cada disciplina académica, los repositorios existentes son muy variados.

El personal investigador se enfrenta día a día a este universo de múltiples repositorios, herramientas, formatos… en los que consultar los datos deseados sin una guía o pauta supone muchos recursos de tiempo y esfuerzo. Re3data.org es un registro internacional de repositorios de datos de investigación (Registry of Research Data Repositories) donde se recopilan metadatos de los repositorios especializados en almacenar datos procedentes de investigación. Gracias a este trabajo de compilación, el personal investigador, las organizaciones financiadoras, bibliotecas y editores pueden buscar y visualizar los principales repositorios de datos de investigación, siendo posible realizar búsquedas y vistas facetadas por disciplina, materia, país, contenidos, formatos, licencias, idioma, etc.

El registro re3data.org nació como un proyecto conjunto de varias organizaciones alemanas, financiado por la Fundación Alemana de Investigación (DFG). El lanzamiento oficial se produjo en mayo del 2013 y posteriormente se integró el catálogo DataBib para evitar la duplicación y confusión por la existencia de dos registros similares paralelos. El proyecto de unificación estuvo auspiciado por DataCite, una organización internacional sin ánimo de lucro cuyo objetivo es mejorar la calidad de las citas de datos. Además, re3data.org colabora con otros proyectos de Ciencia Abierta como BioSharing u OpenAIRE.

Múltiples editores, instituciones de investigación y organizaciones financiadoras hacen referencia al registro re3data.org en sus políticas editoriales o directrices, como la herramienta idónea para la identificación de repositorios de datos. Uno de los ejemplos más destacables es la Comisión Europea (junto con Nature y Springer), ya que la menciona en el documento “Directrices para las reglas sobre acceso abierto de publicaciones científicas y acceso abierto de los datos de investigación en el programa Horizon 2020” (Guidelines to the Rules on Open Access to Scientific Publications and Open Access to Research Data in Horizon 2020).

Actualmente, los metadatos de los repositorios que se almacenan son aquellos que se encuentran enumerados en la versión 3 del “Esquema de metadatos para la descripción de repositorios de datos de investigación” (Metadata Schema for the Description of Research Data Repositories).

El registro identifica y enumera cerca de 2.000 repositorios de datos de investigación, lo que hace al re3data.org el más grande y completo de los registros de repositorios de datos disponibles en la web. Su crecimiento ha sido constante desde su lanzamiento, cubriendo una amplia gama de disciplinas.

En lo referente a España, y a fecha de 1 de diciembre de 2017, se catalogan 23 repositorios de datos de investigación en los que participa España.

La promoción de la ciencia abierta, la cultura del intercambio, la reutilización de información y el acceso abierto se encuentra en los cimientos del proyecto re3data.org. Y sobre esos cimientos sólidos la herramienta sigue y sigue aumentando los metadatos recopilados, y por ende la visibilidad de los datos de investigación. Seguir trabajando en incrementar esta visibilidad y potenciar la ciencia abierta no sólo es fundamental para garantizar el trabajo investigador basado en los hitos anteriores, sino que permite expandir exponencialmente los horizontes de la labor científica.