Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Metadato inferido: dataModified #162

Open
lucaslavandeira opened this issue Sep 19, 2019 · 0 comments
Open

Metadato inferido: dataModified #162

lucaslavandeira opened this issue Sep 19, 2019 · 0 comments

Comments

@lucaslavandeira
Copy link
Contributor

Contexto

Hay campos que no esperamos que los nodos completen o utilicen correctamente, generalmente porque son tediosos de mantener y deberían ser automatizados.

Propuesta

Implementar como parte de la rutina de lectura de catálogos de django-datajsonar, el cálculo de algunos campos de metadatos adicionales (y los auxiliares que sea necesario) y su agregado a los catálogos que se leen (ie. estos metadatos nuevos deben servir para su uso dentro de monitoreo, pero también deben llegar al nodo central, cuando se federan).

Campos de manejo de fechas (aplicar a nivel catalog, dataset y distribution):

  • dataModified: este campo no existe en el perfil nacional de metadatos. Se llena con la última fecha en la que el hash de la distribución descargada fue distinto que el anterior (donde se verifica una modificación de los datos). Se "hereda" hacia arriba: un dataset cambia su dataModified cuando alguna de las distribuciones contenidas en él lo cambia. Un catálogo cambia su dataModified cuando alguno de los datasets contenidos en él lo cambia. Atención! Para esto se usa un hash interno calculado por monitoreo apertura, pero no el hash que viene (o no viene) de los metadatos.

Estos 4 campos deben calcularse a nivel de catálogo, dataset y distribución. Siempre siguen la misma lógica y se "heredan hacia arriba".

Hay que implementarlos siempre como "lo busco en el data.json y, si no está, actúo por mi cuenta para completarlo".

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Projects
None yet
Development

No branches or pull requests

1 participant