samples/caso-uso-3-pydatajson-xlsx-justicia-valido.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Caso de uso 3 - Validación, transformación y harvesting con el catálogo del Ministerio de Justicia"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Caso 3: catálogo válido remoto\n",
    "\n",
    "En esta prueba se realiza el proceso completo de validación, transformación y harvesting a partir de un archivo xlsx que contiene los metadatos pertenecientes al catálogo del Ministerio de Justicia. Nota: Se trata de un catálogo conocido y  válido en cuanto a su estructura y metadatos. Archivo utilizado: https://raw.githubusercontent.com/datosgobar/libreria-catalogos/master/justicia/data.json"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Importación de metodos y clases"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 31,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "from pydatajson import DataJson #lib y clase\n",
    "from pydatajson.pydatajson import read_catalog # lib, modulo ... metodo Lle el catalogo -json o xlsx o (local o url) dicc- y lo transforma en un diccionario de python\n",
    "from pydatajson.xlsx_to_json import write_json_catalog\n",
    "import arrow"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Declaración de variables y paths"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 32,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "#completar con lo que corresponda\n",
    "ORGANISMO = 'justicia'  #ORGANISMO = 'XXXXXXXX' \n",
    "catalogo = \"https://raw.githubusercontent.com/datosgobar/pydatajson/master/tests/samples/catalogo_justicia.json\""
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 33,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "#no modificar\n",
    "HOY = arrow.now().format('YYYY-MM-DD-HH_mm')\n",
    "catalogo_a_json = \"archivos-generados\\\\jsons\\\\catalogo-{}-{}.json\".format(ORGANISMO, HOY)#ej:tests\\excel_validos\\catalogo-justicia-2017-01-12.xlsx\n",
    "reporte_datasets=\"archivos-generados\\\\reportes\\\\reporte-catalogo-{}-{}.xlsx\".format(ORGANISMO, HOY)\n",
    "archivo_config_sin_reporte=\"archivos-generados\\\\configuracion\\\\archivo-config_-{}-{}-sinr.csv\".format(ORGANISMO, HOY)\n",
    "archivo_config_con_reporte=\"archivos-generados\\\\configuracion\\\\archivo-config-{}-{}-conr.csv\".format(ORGANISMO, HOY)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Validación del catalogo en json y harvesting"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Validación del catálogo en json"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "collapsed": false,
    "scrolled": true
   },
   "source": [
    "Instanciación de la clase DataJson"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 34,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "dj = DataJson()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "\n",
    "Validación -V/F- del catálogo en json"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 36,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "True"
      ]
     },
     "execution_count": 36,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "dj.is_valid_catalog(catalogo)\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Validación detallada del catálogo en json"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 37,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{u'error': {u'catalog': {u'errors': [],\n",
       "   u'status': u'OK',\n",
       "   u'title': u'Datos Justicia Argentina'},\n",
       "  u'dataset': [{u'errors': [],\n",
       "    u'status': u'OK',\n",
       "    u'title': u'Base de datos legislativos Infoleg'},\n",
       "   {u'errors': [],\n",
       "    u'status': u'OK',\n",
       "    u'title': u'Centros de Acceso a la Justicia -CAJ-'},\n",
       "   {u'errors': [],\n",
       "    u'status': u'OK',\n",
       "    u'title': u'Sistema de Consulta Nacional de Rebeld\\xedas y Capturas - Co.Na.R.C.'},\n",
       "   {u'errors': [],\n",
       "    u'status': u'OK',\n",
       "    u'title': u'Declaraci\\xf3n Jurada Patrimonial Integral de car\\xe1cter p\\xfablico'},\n",
       "   {u'errors': [],\n",
       "    u'status': u'OK',\n",
       "    u'title': u'Entidades constituidas en la Inspecci\\xf3n General de Justicia'},\n",
       "   {u'errors': [],\n",
       "    u'status': u'OK',\n",
       "    u'title': u'Estad\\xedstica de Inscripciones Iniciales de Automotores y Motoveh\\xedculos'},\n",
       "   {u'errors': [],\n",
       "    u'status': u'OK',\n",
       "    u'title': u'Internos del Servicio Penitenciario Federal - SPF'},\n",
       "   {u'errors': [],\n",
       "    u'status': u'OK',\n",
       "    u'title': u'Listado de Registros Seccionales de la Direcci\\xf3n Nacional de Registros Nacionales de la Propiedad Automotor y Cr\\xe9ditos Prendarios'},\n",
       "   {u'errors': [],\n",
       "    u'status': u'OK',\n",
       "    u'title': u'Magistrados de la Justicia Federal y de la Justicia Nacional'},\n",
       "   {u'errors': [],\n",
       "    u'status': u'OK',\n",
       "    u'title': u'Estad\\xedstica de mediaciones prejudiciales y judiciales'},\n",
       "   {u'errors': [],\n",
       "    u'status': u'OK',\n",
       "    u'title': u'Registro, Sistematizaci\\xf3n y Seguimiento de Femicidios y Homicidios Agravados por el G\\xe9nero'},\n",
       "   {u'errors': [],\n",
       "    u'status': u'OK',\n",
       "    u'title': u'Registro Unificado de V\\xedctimas del Terrorismo de Estado -RUVTE-'},\n",
       "   {u'errors': [],\n",
       "    u'status': u'OK',\n",
       "    u'title': u'Sistema Nacional de Estad\\xedsticas sobre Ejecuci\\xf3n de la Pena \\u2013 SNEEP'},\n",
       "   {u'errors': [],\n",
       "    u'status': u'OK',\n",
       "    u'title': u'Solicitudes de Condici\\xf3n de Leg\\xedtimo Usuario de Armas de Fuego'},\n",
       "   {u'errors': [],\n",
       "    u'status': u'OK',\n",
       "    u'title': u'Solicitudes de Autorizaci\\xf3n de Portaci\\xf3n de Armas de Fuego'},\n",
       "   {u'errors': [],\n",
       "    u'status': u'OK',\n",
       "    u'title': u'Registro, Sistematizaci\\xf3n y Seguimiento de Hechos de Violencia Institucional'}]},\n",
       " u'status': u'OK'}"
      ]
     },
     "execution_count": 37,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "dj.validate_catalog(catalogo)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Harvesting"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Generación del archivo de reporte de datasets"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 38,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "dj.generate_datasets_report(catalogo, harvest='valid',export_path=reporte_datasets)\n",
    "# proceso el repote, 0 y 1s"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Generación del archivo de configuración para el harvester"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 39,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "#  usando el reporte\n",
    "dj.generate_harvester_config(harvest='report', report=reporte_datasets, export_path=archivo_config_con_reporte)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "# sin usar el reporte\n",
    "dj.generate_harvester_config(catalogs=catalogo, harvest='valid', export_path=archivo_config_sin_reporte)\n",
    "#(catalogs=None, harvest=u'valid', report=None, export_path=None)\n"
   ]
  }
 ],
 "metadata": {
  "anaconda-cloud": {},
  "kernelspec": {
   "display_name": "Python [default]",
   "language": "python",
   "name": "python2"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 2
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython2",
   "version": "2.7.12"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 1
}