From 3d98e01f96e7bee385b8fcd4b89cce49c3514f5c Mon Sep 17 00:00:00 2001 From: Santiago Crespo Date: Sun, 30 Oct 2022 20:53:58 +0000 Subject: [PATCH] Upload files to 'src/pipelines/Ayto-API' --- src/pipelines/Ayto-API/api.csv | 62 +++++ .../get_madrid_features_from_ayto-API.sh | 225 ++++++++++++++++++ .../Ayto-API/prefill_excel_from_ayto-API.sh | 26 ++ src/pipelines/Ayto-API/process_api.csv.sh | 66 +++++ src/pipelines/Ayto-API/rdf.dcat | 116 +++++++++ 5 files changed, 495 insertions(+) create mode 100644 src/pipelines/Ayto-API/api.csv create mode 100644 src/pipelines/Ayto-API/get_madrid_features_from_ayto-API.sh create mode 100644 src/pipelines/Ayto-API/prefill_excel_from_ayto-API.sh create mode 100644 src/pipelines/Ayto-API/process_api.csv.sh create mode 100644 src/pipelines/Ayto-API/rdf.dcat diff --git a/src/pipelines/Ayto-API/api.csv b/src/pipelines/Ayto-API/api.csv new file mode 100644 index 0000000..e6b75e0 --- /dev/null +++ b/src/pipelines/Ayto-API/api.csv @@ -0,0 +1,62 @@ +URLDCAT;NAME;TAG;VALUE;DESCRIPTION +https://datos.madrid.es/egob/catalogo/201544-0-centros-salud.dcat;Madrid Salud. Relación de centros municipales;amenity;clinic;Centros de Salud Municipales Centros de Atención a Drogodependencias Centros especializados Centros monográficos Datos de ubicación, transporte, contacto, horario y servicios. Referencias a Barrios y Distritos de ubicación del centro y su área de influencia de servicios. +https://datos.madrid.es/egob/catalogo/212769-0-atencion-medica.dcat;Sedes. Centros de Atención Médica;amenity;clinic;Relación de centros de atención médica en la ciudad de Madrid: Clínicas, Sanatorios y Hospitales públicos y privados Centros de salud: atención primaria y de especialidades Centros municipales de salud Centros muncipales de atención a drogodependientes Centros de prevención de riesgos laborales Centros de vacunación Centros para conductores Otros centros Importante: La información proporcionada puede no ser exhaustiva, es la disponible actualmente en madrid.es. +https://datos.madrid.es/egob/catalogo/212827-0-administracion-justicia.dcat;Sedes. Administración de Justicia;amenity;courthouse;Relación de juzgados, tribunales y otras sedes de la Administración de Justicia en la ciudad de Madrid. Se aportan datos de dirección, transportes, horarios de atención y coordenadas para su georreferenciación. Importante: La información proporcionada puede no ser exhaustiva, es la disponible actualmente en madrid.es. +https://datos.madrid.es/egob/catalogo/201000-0-embajadas-consulados.dcat;Embajadas y Consulados;amenity;embassy;Datos de localización, horarios, contacto y servicios de embajadas y consulados destacados en la ciudad de Madrid. +https://datos.madrid.es/egob/catalogo/211642-0-bomberos-parques.dcat;Bomberos. Parques de bomberos;amenity;fire_station;El Cuerpo de Bomberos del Ayuntamiento de Madrid es el responsable de prestar a los ciudadanos el servicio de prevención y extinción de incendios y salvamentos . En este conjunto de datos, puede encontrar la relación de los doce parques de bomberos existentes en la ciudad de Madrid. La división de los parques es la siguiente: Zona centro: con los Parques 2, 3 y 6. Zona este: con los Parques 8, 7 y 11. Zona sur: con los Parques 5, 10 y 12. Zona norte: con los Parques 9, 4 y 1. También puede consultar la relación existente en la web municipal www.madrid.es para ver la ficha asociada a cada instalación. +https://datos.madrid.es/egob/catalogo/207037-0-idiomas-oficial.dcat;Centros de la Escuela Oficial de Idiomas en Madrid;amenity;language_school;Relación de Centros de la Escuela Oficial de Idiomas en la ciudad de Madrid. Son centros oficiales de nivel no universitario dedicados a la enseñanza especializada de idiomas modernos Las EEOOII son dependientes de la Consejería de Educación de la Comunidad Autónoma de Madrid y están enmarcadas dentro de los centros de régimen especial. En el apartado 'Documentación asociada' tiene un documento explicativo. +https://datos.madrid.es/egob/catalogo/201747-0-bibliobuses-bibliotecas.dcat;Bibliotecas y bibliobuses en la ciudad de Madrid;amenity;library;Relación de todas la Bibliotecas Públicas sitas en la ciudad de Madrid, de titularidad nacional, comunitaria o local. Incluye también bibliobuses. Datos de dirección, horario, servicios y coordenadas para su georeferenciación. Existen en el Portal otros 3 conjuntos de datos, que se encuentran relacionados con este como son: Actividades gratuitas en Bibliotecas Municipales en los próximos 60 días Bibliotecas municipales: Catálogo Bibliotecas Municipales: Préstamos Activos Sigue a Bibliotecas del Ayuntamiento de Madrid en Redes sociales en: - Twitter: @bpmmadrid - Facebook: https://www.facebook.com/bpmmadrid - YouTube: https://www.youtube.com/user/bpmmadrid - Pinterest: https://www.pinterest.com/bpmmadrid/ +https://datos.madrid.es/egob/catalogo/212763-0-biblioteca-universitaria.dcat;Sedes. Bibliotecas Especializadas Universitarias y Nacionales;amenity;library;Relación de Biliotecas Especializadas Universitarias y Nacionales con indicaciones de horarios y especialidad. Importante: La información proporcionada puede no ser exhaustiva, es la disponible actualmente en madrid.es. +https://datos.madrid.es/egob/catalogo/217921-0-salas-estudio.dcat;Salas de estudio y lectura;amenity;libraryFIXME;Se presenta la relación de las salas de estudio municipales. La mayoría están ubicadas en los centros culturales de los distritos. Se proporcionan los datos de localización y contacto de cada sala y las coordenadas para su localización georreferenciable. +https://datos.madrid.es/egob/catalogo/202105-0-mercadillos.dcat;Mercadillos en la vía pública;amenity;marketplace;Mercadillos Municipales en vía pública. Ubicación, fechas y horario de celebración. +https://datos.madrid.es/egob/catalogo/200967-0-mercados.dcat;Mercados Municipales;amenity;marketplace;"Los mercados municipales constituyen un servicio público profundamente arraigado en la cultura de los madrileños; mantienen una relevante función como referentes del comercio tradicional de alimentos frescos y de la vida social de los barrios. Se relacionan los 46 mercados que conforman la red municipal, aportando datos de: dirección contacto horarios transportes servicios coordenadas para su localización sobre plano Este conjunto de datos, complementa a otro publicado en este portal que es 'Mercados Municipales: locales comerciales, nombres comerciales y actividades', donde esta la información de locales comerciales, actividad, nombre comercial y planta o ubicación." +https://datos.madrid.es/egob/catalogo/203868-0-ceramica-danza-musica-dramatico.dcat;Centros municipales de enseñanzas artísticas;amenity;music_school;La red de centros municipales de educación artística proporciona formación de Arte Dramático, de Cerámica, de Música y de Danza. La forrmación musical se imparte en 13 centros y las clases de danza española, contemporánea y clásica en uno de ellos. La Escuelas municipales de Música y Danza en ocasiones están en el mismo edificio que un Centro Cultural, por lo que, tanto los espacios comunes como el Salón de Actos, son compartidos por ambos servicios. En el apartado 'Documentación asociada' tiene un documento explicativo. +https://datos.madrid.es/egob/catalogo/202625-0-aparcamientos-publicos.dcat;Aparcamientos públicos municipales;amenity;parking;Relación de los aparcamientos destinados a la provisión de plazas de de uso público de la ciudad de Madrid, en la que se incluyen aquellos que tienen zonas reservada para residentes. La gestión de estos aparcamientos se realiza a través de un concesionario. Su régimen de utilización característico es el transitorio, en el que cualquier usuario puede acceder a cualquier plaza con estancia, generalmente, de corta o media duración. +https://datos.madrid.es/egob/catalogo/202584-0-aparcamientos-residentes.dcat;Aparcamientos residentes PAR y aparcamientos públicos mixtos;amenity;parking;El Ayuntamiento de Madrid ofrece a los ciudadanos una amplia red de aparcamientos para residentes (PAR) Las plazas de estos aparcamientos son de gestión municipal, y se adjudican a los residentes empadronados, mediante sorteo, por un período de 40 años. Pueden acceder al uso de estas plazas las personas físicas que, disponiendo de vehículo, residan de hecho y estén empadronadas en el área de influencia que se establece para cada aparcamiento. Adicionalmente, el servicio público de aparcamientos en su modalidad de mixtos o con reserva de plaza, viene prestándose en la práctica totalidad mediante gestión indirecta, a través de la figura intermedia de un concesionario. En estos casos, el gestor del aparcamiento se obliga a mantener durante todo el período de tiempo pactado una plaza de aparcamiento a disposición plena del usuario, por lo que suelen existir espacios o plantas completas reservadas para este uso. Existen en el Portal de Datos Abiertos, los siguientes conjuntos de datos relacionados con esta información: Ofrecimientos de plazas libres en aparcamientos de residentes (PAR) Listas de espera de aparcamientos de residentes PAR Aparcamientos públicos municipales +https://datos.madrid.es/egob/catalogo/300227-0-grua-depositos.dcat;Depósitos de la grúa del Ayuntamiento de Madrid;amenity;parkingFIXME;Relación de depósitos de la grúa municipal con los datos relativos a su ubicación y coordenadas geográficas. En el apartado ' Documentación asociada' está disponible el documento descriptivo de la estructura del fichero y las recomendaciones sobre el uso de los datos. También está disponible en este portal el conjunto de datos relativo a la Retirada de vehículos en vía pública: grúa municipal . +https://datos.madrid.es/egob/catalogo/209426-0-templos-catolicas.dcat;Templos e iglesias católicas;amenity;place_of_worship;Relación de los templos e iglesias católicas en la Ciudad de Madrid. Nota: la información que se ofrece es la existente en http://www.madrid.es/ , y está actualizada en septiembre de 2017. La frecuencia de actualización de los datos es bianual. Es posible que no se trate de una relación completa de todos los templos de Madrid Capital. +https://datos.madrid.es/egob/catalogo/209434-0-templos-otros.dcat;Templos e iglesias no católicas;amenity;place_of_worship;Relación de los templos e iglesias de distintas religiones y confesiones, no católicos, en la Ciudad de Madrid. Nota: la información proporcionada es la existente en http://www.madrid.es/ , y los datos están actualizados en septiembre de 2017. La frecuencia de actualización de los datos es bianual. Es posible que no se trate de una relación completa de todos los templos de Madrid Capital. +https://datos.madrid.es/egob/catalogo/212846-0-oficinas-dni.dcat;Sedes. Oficinas de elaboración de DNI y Pasaporte;amenity;police;Relación de oficinas de elaboración de documentos de identificación oficiales. Importante: La información proporcionada puede no ser exhaustiva, es la disponible actualmente en madrid.es. +https://datos.madrid.es/egob/catalogo/207044-0-oficina-policia.dcat;Unidades Integrales de Distrito de Policía Municipal;amenity;police;Relación de las Oficinas de Atención al Ciudadano de Policía Municipal ( OACs ). Se ubican en las 22 Unidades Integrales de Distrito, y en ellas se atienden comunicaciones o demandas de servicios no urgentes. Además de las oficinas fijas relacionadas, Policía Municipal dispone de oficinas móviles de atención al ciudadano que se ubican en lugares de alta concentración de personas. +https://datos.madrid.es/egob/catalogo/212841-0-oficinas-correos.dcat;Sedes. Oficinas de Correos;amenity;post_office;Relación de oficinas de correos de la ciudad de Madrid. Incluye dirección, horarios, información de transportes y coordenadas para su georreferenciación. Importante: La información proporcionada puede no ser exhaustiva, es la disponible actualmente en madrid.es. +https://datos.madrid.es/egob/catalogo/200284-0-puntos-limpios-fijos.dcat;Puntos Limpios Fijos;amenity;recycling;Información de datos, ubicación, características, horarios , coordenadas de localización y servicios de los distintos puntos limpios fijos municipales de la ciudad de Madrid. En la ciudad de Madrid, aparte de estos puntos, también existen los siguientes para favorecer el reciclaje: Puntos Limpios Móviles Puntos Limpios de Proximidad Contenedores de Ropa Autorizados del Ayuntamiento de Madrid Contenedores de Aceite Vegetal Usado Contenedores de Pilas en marquesinas de autobús Y por supuesto, los contenedores de papel, vidrio y envases ubicados en la vía pública. También es muy interesante este otro conjunto de datos relacionado: Tipos de residuos y donde depositarlos Revise horarios y dias disponibles, antes de acercarse a uno de ellos. También puede consultar la relación existente en la web municipal www.madrid.es para ver la ficha asociada a cada instalación. +https://datos.madrid.es/egob/catalogo/212816-0-investigacion.dcat;Sedes. Institutos de Investigación;amenity;research_institute;Relación de Centros e Institutos de investigación en la ciudad de Madrid, tanto de ámbito público como privado. Importante: La información proporcionada puede no ser exhaustiva, es la disponible actualmente en madrid.es. +https://datos.madrid.es/egob/catalogo/212790-0-centros-educacion.dcat;Sedes. Centros de Educación;amenity;school;Relación de Centros de Estudios en la ciudad de Madrid, de ámbito público y privado. Incluye: Escuelas Infantiles Colegios Institutos de Enseñanza Secundaria Institutos de estudios privados y Centros de Estudios Profesionales Centros de Formación Profesional Liceos Centros de Educación Especial Casas de Niños Aulas Municipales paras Personas Adultas Otros centros académicos Importante: La información proporcionada puede no ser exhaustiva, es la disponible actualmente en madrid.es. +https://datos.madrid.es/egob/catalogo/212904-0-centros-ensenanza.dcat;Sedes. Centros de Enseñanza;amenity;school;Relación de Centros de Enseñanzas no regladas en la ciudad de Madrid, tanto de ámbito público como privado. Incluye: Escuelas Oficiales de Idiomas y sus extensiones. Centros de Idiomas Escuelas de Música y Conservatorios Escuelas y centros de formación de enseñanzas artísticas: arte dramático, cinematografía, etc. Institutos y Centros especializados Escuelas de Tiempo Libre Importante: La información proporcionada puede no ser exhaustiva, es la disponible actualmente en madrid.es. +https://datos.madrid.es/egob/catalogo/200304-0-centros-culturales.dcat;Centros Culturales Municipales (incluyen Socioculturales y Juveniles);amenity;social_facility;Este conjunto de datos incluye los Centros Culturales , los Socioculturales y los Juveniles del Ayuntamiento de Madrid (incluídos aquellos en los que el Ayuntamiento es miembro del consorcio titular). También están incluidas las Salas de Estudio y Lectura. El fichero contiene los datos de localización (dirección, distrito y barrio), contacto, horario, servicios y actividades tipo que se pueden celebrar. Existe en el portal otro conjunto de datos relacionado como es: Actividades Culturales y de Ocio Municipal en los próximos 100 días , donde se incluyen la programación de actividades culturales que hay en la ciudad, y que incluye las celebradas en Centros Culturales, los Socioculturales, los Juveniles, las Bibliotecas, etc. En el apartado 'Documentación asociada', hay un documento con la estructura del fichero y las recomendaciones sobre el uso de los datos. +https://datos.madrid.es/egob/catalogo/205244-0-infancia-familia-adolescentes.dcat;Centros de Atención para Menores y Familia;amenity;social_facility;Centros que ofrecen información, asesoramiento, formación y atención a menores y familias, así como programas de prevención y atención a situaciones de desprotección infantil: el Ayuntamiento de Madrid cuenta con diferentes recursos entre los que se encuentran una serie de centros de atención social especializada, con servicios orientados a dar respuesta a necesidades que afectan a la infancia, a la adolescencia y a las familias, llevándose a cabo en: Centros de Apoyo a las Familias, CAF , cuyas actuaciones tienen por finalidad ayudar a las familias ante las dificultades que puedan surgir en la convivencia familiar, colaborando en la prevención y contención de situaciones de crisis o de conflicto. Centros de Atención a la Infancia, CAI , ofrecen servicios de prevención, apoyo y atención a los menores en situación de riesgo grave o presunto desamparo y a sus familias , garantizando el buen trato a los menores y el fortalecimiento de las familias mediante el acompañamiento, la supervisión y el tratamiento especializado, aplicando en su intervención estrategias psicológicas, educativas y sociales. Junto con los Servicios de Atención Social Primaria (Centros de Servicios Sociales), configuran la red municipal de protección de menores en la ciudad de Madrid. Puntos de Encuentro Familiar, PEF , dirigidos a familias con menores en las que se haya producido una ruptura en la convivencia familiar por separación o divorcio de los padres o por acogimiento familiar, y en las que el grado de conflictividad impide o dificulta gravemente el desarrollo del régimen de visitas. Tienen como objetivo favorecer el derecho de los menores a relacionarse con sus familiares. Facilitan a las familias un entorno idóneo y neutral para el desarrollo temporal de comunicación y visitas, siguiendo las pautas que establezcan las instancias judiciales o administrativas competentes. Centros de Día Infantiles , ofrecen soporte social y educativo en horario no escolar para favorecer el desarrollo personal y social de los menores entre 3 y 12 años, cuyas familias demandan apoyo para desempeñar su tarea educativa, ya sea porque tienen dificultades para atender a dichos menores o bien porque estos permanecen mucho tiempo solos sin un adulto de referencia. Centros de Apoyo Socioeducativo y Prelaboral para Adolescentes, ASPA, donde se desarrollan proyectos dirigidos a: adolescentes de 12 a 18 años en situación de desprotección social o que hayan protagonizado situaciones de violencia en diferentes contextos, y a jóvenes de 16 a 21 años que por factores personales, familiares y sociales, hayan abandonado procesos previos de inserción social y escolar y se encuentren inmersos en situación de riesgo de exclusión, necesitando un acompañamiento para su incorporación al mercado laboral. +https://datos.madrid.es/egob/catalogo/209094-0-centros-servicios-sociales.dcat;Centros de Servicios Sociales Municipales;amenity;social_facility;Listado de Centros de Servicios Sociales Municipales, donde se ofrecen los siguientes servicios: Información, orientación y asesoramiento sobre derechos y recursos sociales Tramitación y gestión de servicios sociales municipales (ayudas a domicilio, teleasistencia, centros de día municipales, pisos tutelados, etc. ) y prestaciones económicas necesarias en la intervención social. Gestión y tramitación de servicios y prestaciones de la Comunidad de Madrid (Dependencia, residencias de mayores, discapacitados, mujer, menores, etc. ) Renta Mínima de Inserción (RMI) y diferentes prestaciones económicas de inserción social. Información y gestión de los programas de prevención dirigidos a menores, adolescentes, adultos, mayores, etc. +https://datos.madrid.es/egob/catalogo/205736-0-atencion-mujeres.dcat;Puntos de atención a mujeres;amenity;social_facility;Relación de espacios de igualdad y de agentes de igualdad. Atención a violencia de género. +https://datos.madrid.es/egob/catalogo/212774-0-atencion-social.dcat;Sedes. Centros de Atención Social;amenity;social_facility;Relación de centros de atención social en la ciudad de Madrid. Incluye direcciones, transportes y horarios de atención, tanto públicos como privados. Todos los centros municipales de atención social: Centros de día de mayores, de menores, de Servicios Sociales, de Acogida, de Atención a Inmigrantes, de mayores, de Igualdad, de Atención a la Violencia de Género, de Protección a la Familia, Centros Comunitarios, Agentes de Igualdad, etc. Centros y talleres ocupacionales Centros residenciales y residencias de mayores Pisos tutelados Albergues Federaciones y asociaciones Otras tipologías Importante: La información proporcionada puede no ser exhaustiva, es la disponible actualmente en madrid.es. +https://datos.madrid.es/egob/catalogo/208862-7650164-ocio_salas.dcat;Salas de espectáculos artísticos: teatros, cines, filmotecas, auditorios y salas de conciertos;amenity;theatre;Relación de salas de espectáculos artísticos en la ciudad de Madrid. Se incluyen tanto las de titularidad pública como las de titularidad privada. Se incluyen salas de proyección cinematográfica, filmotecas, salas de teatro, salas de concierto y auditorios, tanto al aire libre como cubiertos. La información proporcionada es la existente en http://www.madrid.es/ +https://datos.madrid.es/egob/catalogo/203166-0-universidades-educacion.dcat;Universidades, colegios mayores, residencias universitarias y otros;amenity;university;Relación de distintos tipos de centros educativos, públicos y privados, que ofrecen formación universitaria en la ciudad de Madrid, incluidos campus o centros ubicados fuera de la ciudad, pero cuya sede central si esté en Madrid. La información de facultades, colegios mayores, escuelas universitarias y otros centros universitarios es la que consta en la web del Ayuntamiento de Madrid. Se proporciona información relativa a titulaciones impartidas. +https://datos.madrid.es/egob/catalogo/205026-0-cementerios.dcat;Cementerios de Madrid;cemetery;yes;Listado de cementerios de la ciudad de Madrid. También puede consultar la relación existente en la web municipal www.madrid.es para ver la ficha asociada a cada instalación. +https://datos.madrid.es/egob/catalogo/208844-0-monumentos-edificios.dcat;Edificios de carácter monumental;historic;monument;Relación de edificios artísticos de la ciudad de Madrid, con datos de dirección y de localización para georeferenciarlos. No se trata de una relación exhaustiva, sino de aquellos monumentos y edificios de los cuales ya figura información en la web municipal ( http://www.madrid.es/ ) +https://datos.madrid.es/egob/catalogo/300356-0-monumentos-ciudad-madrid.dcat;Monumentos de la ciudad de Madrid;historic;monument;El Ayuntamiento dispone de la web https://patrimonioypaisaje.madrid.es , donde se recoge una información más amplia de monumentos y edificios históricos, analizados por un amplio equipo de historiadores, documentalistas, restauradores y arquitectos. Este conjunto de datos ofrece en formato reutilizable la base de datos de monumentos urbanos que se publican en la web https://patrimonioypaisaje.madrid.es . Los tipos de monumentos incluidos son: estatuas, grupos escultóricos, fuentes y estanques ornamentales, fuentes monumentales, puertas y arcos triunfales, lápidas y placas conmemorativas, laminas de agua y estanque simples y otros varios. +https://datos.madrid.es/egob/catalogo/216619-0-wifi-municipal.dcat;Instalaciones municipales con zonas wifi gratuitas;internet_access;wlan;Instalaciones municipales donde los madrileños y visitantes de la ciudad pueden acceder a Internet mediante sus propios dispositivos a través de conexión WiFi gratuita. Actualmente existe conexión en las bibliotecas municipales y en otros edificios: Centros Culturales, Centros de Mayores, Oficinas de Atención al Ciudadano, Centros de Servicios Sociales, etc. La conexión a la red WiFi se realiza de forma autenticada, recibiendo el usuario un mensaje SMS gratuito en el móvil que ha de introducir antes de iniciar la navegación. En el apartado Documentación asociada está disponible la información relativa al SSID ( Service Set Identifier ), fecha de puesta en marcha y tipo de instalación. Nota: La cafetería Cibeles, que es una instalación diferenciada de los servicios municipales de CentroCentro, también dispone de conexión Wifi. +https://datos.madrid.es/egob/catalogo/200761-0-parques-jardines.dcat;Principales parques y jardines municipales;leisure;park;Madrid ofrece un patrimonio verde de excepcional extensión y diversidad (más de 6.000 hectáreas, que suponen más de 18 metros cuadrados de parques y zonas verdes públicas por habitante de la ciudad). La relación siguiente corresponde a los principales parques y zonas verdes de Madrid cuya conservación corresponde al Ayuntamiento de Madrid, con sus características detalladas. En el listado se incluyen tanto jardines y pequeñas zonas verdes, como los clasificados como parques históricos, singulares o forestales, así como las rosaledas y colecciones botánicas. Conviene aclarar que esta información corresponde a los parques y jardines más significativos de cada distrito, pero no a todas las zonas verdes, ya que existen también multitud de pequeños espacios verdes, medianas, rotondas, isletas, etc. que no están descritos en esta relación. +https://datos.madrid.es/egob/catalogo/200186-0-polideportivos.dcat;Deportes. Centros Deportivos Municipales (Polideportivos);leisure;sports_centre;En la Ciudad de Madrid, existen diversas instalaciones para la práctica deportiva y que son de propiedad municipal. Principalmente están: los Centros Deportivos Municipales (Polideportivos) que existen del orden de 70 actualmente, distribuidos por los distintos barrios, y en los cuales se pueden practicar distintos deportes y las Instalaciones Básicas, que existen del orden de 475. Estas últimas suelen ser de uso libre, y suele ser para la práctica de un deporte (por ejemplo, una pista de futbol o baloncesto) En este mismo portal, tiene el conjunto de datos: Deportes: Instalaciones Deportivas Básicas Municipales En los ficheros que hay más abajo, tiene datos de ubicación, transporte, contacto, horario, servicios, superficies disponibles de las instalaciones municipales deportivas básicas. Cada una de ellas se ubica y referencia espacialmente. En el apartado 'Documentación asociada', hay un documento con la estructura del fichero y las recomendaciones y/o advertencias, que le permitirá usar y comprender mejor los datos. También puede consultar la relación existente en la web municipal www.madrid.es para ver la ficha asociada a cada instalación. +https://datos.madrid.es/egob/catalogo/200215-0-instalaciones-deportivas.dcat;Deportes. Instalaciones Deportivas Básicas Municipales;leisure;sports_centre;En la Ciudad de Madrid existen diversas instalaciones para la práctica deportiva que son de propiedad municipal. Principalmente están: los Centros Deportivos Municipales (Polideportivos) que existen del orden de 70 actualmente, distribuidos por los distintos barrios, y en los cuales se pueden practicar distintos deportes y las Instalaciones Básicas, que existen del orden de 475. Estas últimas suelen ser de uso libre y para la práctica de un deporte (por ejemplo, una pista de futbol o baloncesto). En este mismo portal tiene el conjunto de datos: Deportes: Centros Deportivos Municipales (Polideportivos) En los ficheros que hay más abajo, tiene datos de ubicación, transporte, contacto, horario, servicios, superficies disponibles de las instalaciones municipales deportivas básicas. Cada una de ellas se ubica y referencia espacialmente. En el apartado 'Documentación asociada', hay un documento con la estructura del fichero y las recomendaciones y/o advertencias, que le permitirá usar y comprender mejor los datos. También puede consultar la relación existente en la web municipal www.madrid.es para ver la ficha asociada a cada instalación. +https://datos.madrid.es/egob/catalogo/210227-0-piscinas-publicas.dcat;Deportes: Piscinas municipales en la ciudad de Madrid.;leisure;swimming_pool;La información proporcionada se refiere al centro deportivo municipal (o instalaciones deportivas que cuentan con participación municipal) donde exista piscina, indicando adicionalmente el resto de instalaciones deportivas o deportes practicables en dicho centro. Tenga en cuenta, que algunas pueden ser cubiertas y otras al aire libre. Esta información la puede revisar en el campo 'Descripción', en el cual se refleja las 'Unidades deportivas al aire libre' y las 'Unidades deportivas cubiertas'. +https://datos.madrid.es/egob/catalogo/300213-0-estaciones-regeneradoras-agua.dcat;Estaciones regeneradoras de aguas residuales de la ciudad de Madrid;man_made;wastewater_plant;"Este conjunto de datos ofrece la información de las estaciones depuradoras de aguas residuales, las cuales permiten tratar, desde 1984, el 100% de las aguas residuales correspondientes a más de cuatro millones de habitantes de la población de Madrid y de varios de los municipios limítrofes. Todas las estaciones depuradoras, de titularidad municipal, disponen de tratamiento primario y secundario por vía biológica, al igual que cuentan con sistemas de eliminación de fósforo por vía química mediante la adición de cloruro férrico. No obstante, las plantas de Viveros de la Villa, La Gavia y Sur Oriental cuentan con un tratamiento de reducción de nutrientes (fósforo y nitrógeno) ambos por vía biológica. En este portal tambien están disponibles otros conjuntos de datos relacionados con la calidad del agua y las estaciones regeneradoras: Calidad de las aguas regeneradas Estaciones depuradoras del municipio de Madrid. Calidad del vertido de las aguas residuales depuradas Asímismo, puedes encontrar más información sobre estos datos en el Portal de transparencia > Agua . También puede consultar la relación existente en la web municipal www.madrid.es para ver la ficha asociada a cada instalación." +https://datos.madrid.es/egob/catalogo/212086-0-oficinas-empleo.dcat;Oficinas de la Agencia Municipal de Empleo;office;employment_agency;Relación de las Oficinas de zona de la Agencia Municipal de Empleo en la ciudad de Madrid. +https://datos.madrid.es/egob/catalogo/300216-0-entidades-colaboradoras-licencia.dcat;Entidades Colaboradoras Urbanísticas (ECU);office;geodesist;Las Entidades Colaboradoras Urbanísticas ( ECU) del Ayuntamiento de Madrid son entidades privadas debidamente habilitadas para colaborar en la realización de actuaciones de verificación, inspección y control del cumplimiento de la normativa en el ámbito urbanístico municipal. Este conjunto de datos ofrece el detalle de estas entidades: dirección, datos de contacto, horarios y coodenadas geográficas. También puede consultar la relación de ECU en el portal www.madrid.es +https://datos.madrid.es/egob/catalogo/206688-0-juntas-distrito.dcat;Juntas Municipales de Distrito;office;government;Relación de las veintiuna sedes de Juntas municipales de distrito en la ciudad de Madrid. También puede consultar la relación existente en la web municipal www.madrid.es para ver la ficha asociada a cada instalación. +https://datos.madrid.es/egob/catalogo/202923-0-oficinas-omic.dcat;Oficina Municipal de Información al Consumidor;office;government;Fichero de datos en el que se incluyen las direcciones, horario de atención al público y datos de contacto de las 22 sedes con que cuenta la OMIC del Ayuntamiento de Madrid, una central, y 21 oficinas de distrito. +https://datos.madrid.es/egob/catalogo/200149-0-oficinas-linea-madrid.dcat;Oficinas de Línea Madrid;office;government;Línea Madrid es la marca que identifica la atención al ciudadano dentro de Ayuntamiento de Madrid, integrando los distintos medios y canales existentes para relacionarse con el Ayuntamiento. Estos canales son en la actualidad el telefónico (teléfono 010), el presencial (red de oficinas Línea Madrid) y los dos canales de Internet: la página web www.madrid.es y la cuenta de Twitter @Lineamadrid. En este conjunto de datos se presenta la relación de oficinas presenciales, que complementan a la atención telefónica y la atención via Twitter. No hay que confundir las oficinas de Linea Madrid con las oficinas de atención al contribuyente. Estas últimas (son 5 y no están incluidas en este conjunto de datos) son las oficinas que presenta la Agencia Tributaria del Ayuntamiento de Madrid para la atención ciudadana con respecto a impuestos, tributos, tasas, ... etc. +https://datos.madrid.es/egob/catalogo/202139-0-oficinas-registro.dcat;Oficinas de registro;office;government;Las Oficinas de Registro del Ayuntamiento de Madrid están facultadas para recoger escritos dirigidos a cualquier órgano administrativo, ya sea de la Administración General del Estado, de la Administración Autonómica o de la Administración Local. Estos registros municipales se cuentran en: Áreas de Gobierno y Tribunal Económico-Administrativo Oficinas de Atención Integral al contribuyente Oficinas de Línea Madrid Agencias y Organismos Autónomos municipales Se relacionan los 47 puntos que conforman la red de registro municipal, aportando datos de: dirección contacto horarios transportes servicios (idiomas, accesibilidad, etc .) coordenadas para su localización sobre plano También puede consultar la relación existente en la web municipal www.madrid.es para ver la ficha asociada a cada oficina. +https://datos.madrid.es/egob/catalogo/212747-0-administracion-central.dcat;Sedes. Administración Central;office;government;Relación de sedes de la Administración Central con direcciones y horarios de atención al público. Importante: La información proporcionada puede no ser exhaustiva, es la disponible actualmente en madrid.es. +https://datos.madrid.es/egob/catalogo/212822-0-comunidad-madrid.dcat;Sedes. Comunidad de Madrid;office;government;Relación de las sedes de la Comunidad de Madrid en la ciudad, con datos de direcciones, datos de transporte, horarios de atención y coordenadas para su georreferenciación. Incluye: Presidencia Consejerías Asamblea Agencias Cámaras Institutos Juntas arbitrales Consejo Consultivo Otros: Centros, Comisiones, BOCM, Oficinas, Servicios, Observatorios, Ventanilla Única Importante: La información proporcionada puede no ser exhaustiva, es la disponible actualmente en madrid.es. +https://datos.madrid.es/egob/catalogo/212836-0-tributaria-estatal.dcat;Sedes. Oficinas de la Agencia Tributaria Estatal;office;tax;Relación de las Oficinas de la Agencia Tributaria Estatal, con direcciones, medios de transporte, datos de georreferenciación y horarios de atención al público. Incluye: Las administraciones Agencia Estatal de Administración Tributaria (AEAT) Las Administraciones de Aduanas e Impuestos Especiales en ferrocarriles y aeropuerto Importante: La información proporcionada puede no ser exhaustiva, es la disponible actualmente en madrid.es. +https://datos.madrid.es/egob/catalogo/300322-0-oficinas-contribuyente.dcat;Oficinas de Atención Integral al Contribuyente (OAIC);office;tax_advisor;La Agencia Tributaria Madrid, a través de las Oficinas de Atención Integral al Contribuyente, ofrece un servicio de atención integral y polivalente capaz de resolver en el acto los trámites habituales sobre cualquier tributo municipal así como facilitar información y asesoramiento en relación con las obligaciones fiscales con el Ayuntamiento, además de prestar asistencia en la realización de trámites administrativos. Este conjunto de datos ofrece los datos en formato reunitilizable de las Oficinas de Atención Integral al Contribuyente. También puede consultar esta información en www.madrid.es . +https://datos.madrid.es/egob/catalogo/202162-0-instalaciones-accesibles-municip.dcat;Instalaciones accesibles municipales;place;yesFIXME;Instalaciones accesibles municipales. +https://datos.madrid.es/egob/catalogo/202180-0-instalaciones-accesibles-no-muni.dcat;Instalaciones accesibles no municipales;place;yesFIXME;Relación de todas aquellas instalaciones accesibles no municipales de las que posee conocimiento expreso el Ayuntamiento de Madrid: Hoteles, Centros de Salud, Hospitales, Universidades, Ministerios, Museos. etc. +https://datos.madrid.es/egob/catalogo/300048-0-ancianos-residencias-apartamento.dcat;Residencias de ancianos y apartamentos tutelados existentes en la ciudad de Madrid (datos georreferenciados);social_facility;assisted_living;Se relacionan tanto los apartamentos tutelados como las residencias de ancianos que figuran publicadas en http://www.madrid.es/ . No se trata de una relación exhaustiva de la totalidad de centros existentes en la ciudad de Madrid. Se ofrece información de servicios, datos de contacto, dirección, información de barrio y distrito y coordenadas para su georreferenciación,. Se incluyen centros municipales y centros privados, incluidos en ellos los que están concertados con la Comunidad de Madrid. Los datos de titularidad no municipal tienen una frecuencia de actualización anual. +https://datos.madrid.es/egob/catalogo/200342-0-centros-dia.dcat;Centros de Día;social_facility;day_care;Centros día municipales y concertados de la ciudad de Madrid. Los centros de día son instalaciones especializadas en tercera edad, donde un grupo de profesionales se dedica a la prevención, tratamiento y cuidado de las personas mayores. Los mayores pueden continuar en sus casas, pasando las noches y fines de semana, de este modo no existe una desvinculación total con su ambiente de referencia, su entorno, ya que no se encuentran en situaciones de total dependencia. +https://datos.madrid.es/egob/catalogo/200337-0-centros-mayores.dcat;Centros Municipales de Mayores;social_facility;day_care;Relación de los Centros de Mayores de titularidad municipal de la ciudad de Madrid. Los Centros Municipales de Mayores son espacios donde se realizan actividades de prevención de la dependencia y promoción del ocio y envejecimiento activo, con el fin de mejorar la calidad de vida de las personas mayores. Se incluye una pormenorizada relación de los servicios e instalaciones que se proporcionan en cada centro. +https://datos.madrid.es/egob/catalogo/205712-0-centros-discapacidad.dcat;Centros para personas con discapacidad;social_facility;day_care;Centros de atención a discapacitados físicos e intelectuales. Relación de centros de día, residencias y centros de rehabilitación en la ciudad de Madrid. En el apartado 'Documentación asociada' tiene un documento explicativo. +https://datos.madrid.es/egob/catalogo/205732-0-centros-sin-hogar.dcat;Centros para personas sin hogar;social_facility;shelter;Centros de atención social para personas sin hogar: Albergues sociales y centros de acogida de titularidad municipal o con los que el Ayuntamiento de Madrid tiene suscrito convenio de colaboración. En el apartado 'Documentación asociada' tiene un documento explicativo. +https://datos.madrid.es/egob/catalogo/212808-0-espacio-deporte.dcat;Sedes. Centros con Espacios Deportivos;sports;yesFIXME;Relación de agrupaciones y centros con espacios deportivos, tanto de ámbito público como privado. Incluye: Agrupaciones deportivas Campos de golf Clubs deportivos Centros Deportivos Municipales Centros de tecnificación Importante: La información proporcionada puede no ser exhaustiva, es la disponible actualmente en madrid.es. +https://datos.madrid.es/egob/catalogo/206577-0-oficinas-turismo.dcat;Oficinas de turismo en Madrid;tourism;information;Este conjunto de datos incluye tanto puntos de información turistica municipales, referentes a la ciudad de Madrid, así como otras oficinas referentes a la Comunidad de Madrid u otras comunidades autónomas, y tambien oficinas turísticas de otros paises. +https://datos.madrid.es/egob/catalogo/201105-0-informacion-turismo.dcat;Puntos de información turística;tourism;information;Datos y coordenadas de localización, accesibilidad, servicios y transporte de los puntos fijos de información turística municipales. +https://datos.madrid.es/egob/catalogo/201132-0-museos.dcat;Museos de la ciudad de Madrid;tourism;museum;Datos de los Museos de la ciudad de Madrid. Localización, transportes, horarios, visitas, datos de contacto. diff --git a/src/pipelines/Ayto-API/get_madrid_features_from_ayto-API.sh b/src/pipelines/Ayto-API/get_madrid_features_from_ayto-API.sh new file mode 100644 index 0000000..b638e4c --- /dev/null +++ b/src/pipelines/Ayto-API/get_madrid_features_from_ayto-API.sh @@ -0,0 +1,225 @@ +#!/bin/bash +# Download and extract Madrid features from Madrid's city council open data API, sort and renumber +# +# Santiago Crespo 2022 + +xsltproc -V >/dev/null 2>&1 || { echo "Error: Hace necesitas instalar xsltproc."; echo ""; echo "sudo apt-get install xsltproc -y"; exit 1; } + +if [ $# -eq 0 ]; then + echo "Use: $0 initialID CONFIG_FILE" + echo "Example: +$0 9000920000 202625" + exit 1 +fi + +INITIALID=$1 + +DIA=`date +%Y-%m-%d` +HORA=`date +%H-%M-%S` + +CONFIGFILE="./config/"$2".config" + + +if [ ! -f "$CONFIGFILE" ]; then + echo "ERROR: $CONFIGFILE don't exist!" + exit 1 +fi + +TAG=`grep ADDTAG $CONFIGFILE | awk -F '=' '{print $2}'` +VALUE=`grep ADDTAG $CONFIGFILE | awk -F '=' '{print $3}'` + +mkdir -p data +mkdir -p "source-data/"$TAG$VALUE"/"$DIA"-"$HORA && cd "source-data/"$TAG$VALUE"/"$DIA"-"$HORA || exit 1 + +CONFIGFILE="../../../config/"$2".config" + +echo "Downloading RDF..." +echo "PENDING: if MODIFIEDDATE no ha cambiado desde la última vez, no descargar!" +RDFURL=`grep RDFURL $CONFIGFILE | awk -F '=' '{print $2}'` +wget -nv $RDFURL -O rdf.dcat + +SOURCEDATE=`grep modified rdf.dcat | awk -F '>' '{print $2}' | awk -F '<' '{print $1}' | sort -n | tail -n1 | awk -F 'T' '{print $1}'` +XMLURL=`grep '\.xml' rdf.dcat | head -n1 | awk -F '>' '{print $2}' | awk -F '<' '{print $1}'` + +echo "Downloading source data..." +wget -nv $XMLURL + +CAPA=`ls -1 *xml | awk -F '.' '{print $1}'` + +OUT_FILE=`grep "' '{print $2}' | awk -F '<' '{print $1}' | perl -pe 's/ /_/g'` +echo "Procesando conjunto de datos: $OUT_FILE" | perl -pe 's/_/ /g' +# preprocesamiento xml +perl -pe 's///g' | perl -pe 's/atributo nombre=//g' | tr -d '"' | sed '/^\s*$/d' | sed '1,9d' | perl -pe 's/>\n/XXXXX/g' | perl -pe 's/\n//g' | perl -pe 's/XXXXX/>\n/g' | grep -vi '' | grep -v atributos | grep -v DATOSCONTACTOS | grep -v LOCALIZACION | grep -v "atributos idioma" | perl -pe 's/vgnextchannel=bfa48ab43d6bb410VgnVCM100000171f5a0aRCRD&//g' > $OUT_FILE.xml + +# ampersands +perl -pe 's/&/--FIXME--/g' $OUT_FILE.xml > foo ; mv foo $OUT_FILE.xml + +echo "" > $OUT_FILE-clean.xml +while IFS='' read -r line || [[ -n "$line" ]]; do + + if echo $line | egrep --quiet "^<[A-Z]" ; then + if echo $line | grep --quiet '<' ; then + CLAVE=`echo $line | awk -F '<' '{print $2}' | awk -F '>' '{print $1}'` + echo $line | perl -pe "s/atributo/"$CLAVE"/g" >> $OUT_FILE-clean.xml + else + echo $line >> $OUT_FILE-clean.xml + fi + fi +done < $OUT_FILE.xml + +perl -pe 's//s///' > foo ; mv foo $OUT_FILE-clean.xml +echo " " >> $OUT_FILE-clean.xml + +# Fix para Edificios_de_carácter_monumental-clean.xml (queremos la URL con el PDF) +perl -pe 's/CONTENT-URL/urls-ko/g' Edificios_de_carácter_monumental-clean.xml 2>/dev/null | perl -pe 's/FICHAPDF/CONTENT-URL/g' 2>/dev/null | perl -pe 's/ID-EDIFICIO/ID-ENTIDAD/g' 2>/dev/null > a ; mv a Edificios_de_carácter_monumental-clean.xml 2>/dev/null + +echo ' + + + <?xml version="1.0" encoding="UTF-8"?> + <osm version="0.6" generator="'$0'"> + + + <node id="" lat="" lon="" > + <tag k="name" v=""/> + <tag k="description" v=" "/> + <tag k="opening_hours" v=""/> + <tag k="phone" v="+34 "/> + <tag k="fax" v="+34 "/> + <tag k="addr:street" v=" "/> + <tag k="addr:housenumber" v=""/> + <tag k="addr:postcode" v=""/> + <tag k="addr:city" v=""/> + <tag k="addr:province" v=""/> + <tag k="addr:suburb" v=""/> + <tag k="addr:district" v=""/> + <tag k="wheelchair" v=""/> + <tag k="url" v=""/> + <tag k="email" v=""/> + <tag k="source" v="Ayuntamiento de Madrid"/> + <tag k="source:date" v="'$SOURCEDATE'"/> + </node> + + + + + +' > $OUT_FILE.xsl + +# Procesado del xsl y xml limpio +rm -f $OUT_FILE.osm +# Fix for Edificios de carácter monumental: +#perl -pe 's/ a ; mv a Edificios_de_carácter_monumental-clean.xml +xsltproc $OUT_FILE.xsl $OUT_FILE-clean.xml > $OUT_FILE.osm + +echo "" >> $OUT_FILE.osm + +grep -v '" v="&' $OUT_FILE.osm | grep -v '" v="+34 &' | perl -pe 's/<//g' | sed '0,//s///' | perl -pe 's/ <\?/<\?/g' | sed '/^\s*$/d' > tmp0.osm + +echo "Adding main tags..." +HORA=`date +%H:%M:%S` +perl -pe 's/id="/version="1" changeset="1" timestamp="'$DIA'T'$HORA'Z" id="/g' "tmp0.osm" | perl -pe 's/ref="-/ref="/g' > tmp.osm + +perl -pe 's/>/>\n/g' tmp.osm > tmp2.osm + +echo "Removing tags..." +grep "REMOVETAG=" "$CONFIGFILE" | grep -v '"MXASSETNUM"' | perl -pe 's/REMOVETAG=//g' > tags_to_remove +while IFS= read -r tagtoremove +do + echo "Removing "$tagtoremove"..." + grep -v '"'$tagtoremove'"' tmp2.osm > a && mv a tmp2.osm +done < tags_to_remove + +echo "Adding tags..." +grep "ADDTAG=" "$CONFIGFILE" | perl -pe 's/ADDTAG=//g' > tags_to_add +while IFS= read -r tagstoadd +do + ADDTAG=`echo $tagstoadd | awk -F '=' '{print $1}'` + ADDVALUE=`echo $tagstoadd | awk -F '=' '{print $2}'` + echo "Adding $ADDTAG=$ADDVALUE..." + perl -pe 's/ a && mv a tmp2.osm +done < tags_to_add + +echo "Translating tags..." +grep "MAPTAG=" "$CONFIGFILE" | perl -pe 's/MAPTAG=//g' > tags_to_map +while IFS= read -r tagstomap +do + OLDTAG=`echo $tagstomap | awk -F '-' '{print $1}'` + NEWTAG=`echo $tagstomap | awk -F '>' '{print $2}'` + echo "Mapping $OLDTAG to $NEWTAG..." + perl -pe 's/"'$OLDTAG'"/"'$NEWTAG'"/g' tmp2.osm > a && mv a tmp2.osm +done < tags_to_map + +#echo "Removing some spaces..." +#grep "REMOVESPACES=" "$CONFIGFILE" | perl -pe 's/REMOVESPACES=//g' > tagstoremovespaces +#while IFS= read -r tagtoremovespaces +#do +# TAGWITHOUTSPACES=`echo $tagtoremovespaces | perl -pe 's/ //g'` +# echo "Removing spaces from $tagtoremovespaces to $TAGWITHOUTSPACES..." +# perl -pe 's/"'$tagtoremovespaces'"/"'$TAGWITHOUTSPACES'"/g' tmp2.osm > a && mv a tmp2.osm +#done < tagstoremovespaces + + +echo "Translating tags removing the original..." +grep "MAPTAGVALUEREMOVINGORIGINAL=" "$CONFIGFILE" | perl -pe 's/MAPTAGVALUEREMOVINGORIGINAL=//g' > tags_to_map_removing_the_original || echo ERROR +while IFS= read -r tagstomap +do + OLDTAG=`echo $tagstomap | awk -F '=' '{print $1}'` + OLDVALUE=`echo $tagstomap | awk -F '=' '{print $2}' | perl -pe 's/ /\\\s/g'` + NEWTAG=`echo $tagstomap | awk -F '>' '{print $2}' | awk -F '=' '{print $1}'` + NEWVALUE=`echo $tagstomap | awk -F '>' '{print $2}' | awk -F '=' '{print $2}'` + echo "Mapping $OLDTAG=$OLDVALUE to $NEWTAG=$NEWVALUE removing the original..." + perl -pe 's///g' tmp2.osm | perl -pe 's/\\\s/ /g' > a && mv a tmp2.osm +done < tags_to_map_removing_the_original + +echo "Translating tags keeping the original..." +echo 'PENDIENTE: cambia "s" por espacios, debería mantener los espacios en el tag o valor' +grep "MAPTAGVALUEKEEPINGORIGINAL=" "$CONFIGFILE" | perl -pe 's/MAPTAGVALUEKEEPINGORIGINAL=//g' > tags_to_map_keeping_the_original || echo ERROR +while IFS= read -r tagstomap +do + OLDTAG=`echo $tagstomap | awk -F '=' '{print $1}'` + OLDVALUE=`echo $tagstomap | awk -F '=' '{print $2}' | perl -pe 's/ /\\\s/g'` + NEWTAG=`echo $tagstomap | awk -F '>' '{print $2}' | awk -F '=' '{print $1}'` + NEWVALUE=`echo $tagstomap | awk -F '>' '{print $2}' | awk -F '=' '{print $2}'` + echo "Mapping $OLDTAG=$OLDVALUE to $NEWTAG=$NEWVALUE keeping the original..." + perl -pe 's// /g' tmp2.osm | perl -pe 's/\\\s/ /g' > a && mv a tmp2.osm +done < tags_to_map_keeping_the_original + +echo "Removing empty tags..." +grep -v '""' tmp2.osm > a && mv a tmp2.osm + +echo "Removing elements with no coordinates..." +grep '.' tmp2.osm | perl -pe 's/node>\n/node>/g' | perl -pe 's/node> \n a && mv a tmp2.osm +echo "Elements with no coordinates and no ID. Added fake data but will be deleted next:" +grep 999999999 tmp2.osm +perl -pe 's/\n//g' tmp2.osm | perl -pe 's/ \n/>\n/g' > a && mv a tmp2.osm + +echo "WARNING: CUTTING LINES > 220 char to avoid tag value too long con osmium" +grep -v '.\{220\}' tmp2.osm > a ; mv a tmp2.osm + +echo "Sorting and renumbering from $INITIALID..." +echo "Si falla con "OSM tag value is too long", abrir tmp2.osm en JOSM, editar/borrar descripciones o campos largos manualmente, guardar y ejecutar osmium renumber de nuevo: ????" +echo "osmium sort -o tmp-sorted.osm tmp2.osm --overwrite" +osmium sort -o tmp-sorted.osm tmp2.osm --overwrite || exit 1 +echo "Si falla por "Node ID twice", abrir tmp-sorted.osm en JOSM, guardar y ejecutar osmium renumber de nuevo:" +echo "osmium renumber --start-id=$INITIALID -o $TAG$VALUE.osm tmp-sorted.osm --overwrite && cp $TAG$VALUE.osm ../../../" +osmium renumber --start-id=$INITIALID -o tmp2.osm tmp-sorted.osm --overwrite || exit 1 + +if grep -q "SCRIPT=" $CONFIGFILE; then + echo "Running external script $TAG$VALUE.sh..." + chmod +x "../../../scripts/$TAG$VALUE.sh" + cat tmp2.osm | "../../../scripts/$TAG$VALUE.sh" > a && mv a tmp2.osm +fi + +echo "Filtrado teléfono y fax vacíos..." +grep -v '" v="+34 "' tmp2.osm > a ; mv a tmp2.osm + +mv tmp2.osm $TAG$VALUE.osm + +FIRSTID=`grep 'id="' $TAG$VALUE.osm | awk -F 'id="' '{print $2}' | awk -F '"' '{print $1}' | sort -n | head -n1` +LASTID=`grep 'id="' $TAG$VALUE.osm | awk -F 'id="' '{print $2}' | awk -F '"' '{print $1}' | sort -n | tail -n1` +echo "Range used: $FIRSTID-$LASTID" + +cp $TAG$VALUE.osm ../../../data/$TAG$VALUE-$CAPA-Ayto-Madrid-API.osm && echo "$TAG$VALUE-$CAPA-Ayto-Madrid-API.osm generated OK!" && exit 0 + diff --git a/src/pipelines/Ayto-API/prefill_excel_from_ayto-API.sh b/src/pipelines/Ayto-API/prefill_excel_from_ayto-API.sh new file mode 100644 index 0000000..97eba67 --- /dev/null +++ b/src/pipelines/Ayto-API/prefill_excel_from_ayto-API.sh @@ -0,0 +1,26 @@ +#!/bin/bash +# Prefill excel to later fill manually, with all possible data from madrid.es API + +TMPDIR=/tmp/apimadrid + +INITIALDIR=`pwd` +mkdir -p $TMPDIR +cd $TMPDIR + +wget -nv "https://datos.madrid.es/egobfiles/api.datos.madrid.es.json" -O api.json + +perl -pe 's/}/\n/g' api.json | grep catalogo | grep formato | perl -pe 's/,"/https:\/\/datos.madrid.es\/egob/g' | perl -pe 's/{formato/dcat/g' > dcats.txt + +echo '"URLDCAT";"NAME";"TAG";"VALUE";"DESCRIPTION"' > api.csv + +while IFS='' read -r dcats || [[ -n "$dcats" ]]; do + URLDCAT=$dcats + wget -nv "$URLDCAT" -O rdf.dcat + NAME=`grep "dct:title xml" rdf.dcat | grep -v '>Catálogo de datos abiertos del Ayuntamiento de Madrid<' | grep -v '>Consulta el API de datos.madrid.es<' | head -n1 | awk -F '>' '{print $2}' | awk -F '<' '{print $1}' | perl -pe 's/"//g'` + DESCRIPTION=`grep "description xml" rdf.dcat | grep CDATA | awk -F '[' '{print $3}' | awk -F ']' '{print $1}' | perl -pe 's/"//g'` + echo '"'$URLDCAT'";"'$NAME'";"";"";"'$DESCRIPTION'"' >> api.csv +done < dcats.txt + +cp api.csv $INITIALDIR && cd $INITIALDIR && echo "api.csv creado! :)" + + diff --git a/src/pipelines/Ayto-API/process_api.csv.sh b/src/pipelines/Ayto-API/process_api.csv.sh new file mode 100644 index 0000000..36e1ce1 --- /dev/null +++ b/src/pipelines/Ayto-API/process_api.csv.sh @@ -0,0 +1,66 @@ +#!/bin/bash +# Process api.csv, download and process data from madrid.es API +# Unos 20 minutos en qi + +CURRENTID="9000100000" +CURRENTDIR=`pwd` + +mkdir -p config + +grep -v URLDCAT api.csv | grep '.' > /tmp/api2.csv + +while IFS= read -r line +do + RDFURL=`echo $line | awk -F ';' '{print $1}' | perl -pe 's/"//g'` + NAME=`echo $line | awk -F ';' '{print $2}' | perl -pe 's/"//g'` + TAG=`echo $line | awk -F ';' '{print $3}' | perl -pe 's/"//g'` + VALUE=`echo $line | awk -F ';' '{print $4}' | perl -pe 's/"//g'` + DESCRIPTION=`echo $line | awk -F ';' '{print $5}' | perl -pe 's/"//g'` + CONFIGFILE=`echo $line | awk -F ';' '{print $1}' | perl -pe 's/"//g' | awk -F 'catalogo/' '{print $2}' | awk -F '-' '{print $1}'` + +echo "####################### PROCESANDO $NAME -> $TAG=$VALUE" + + wget -nv $RDFURL -O rdf.dcat + XMLURL=`grep '\.xml' rdf.dcat | head -n1 | awk -F '>' '{print $2}' | awk -F '<' '{print $1}'` + echo "Downloading source data (again) PENDING:FIXME..." + rm -rf /tmp/tmpxml && mkdir /tmp/tmpxml && cd /tmp/tmpxml + wget -nv $XMLURL + CAPA=`ls -1 *xml | awk -F '.' '{print $1}'` +echo "CURRENTDIR ===========================$CURRENTDIR" + cd "$CURRENTDIR" + + + echo "# $NAME +# $DESCRIPTION + +# PENDIENTE: + +RDFURL=$RDFURL + +ADDTAG=$TAG=$VALUE + +MAPTAG=NOMBRE->name + +REMOVETAG=COORDENADA-X +REMOVETAG=COORDENADA-Y + +MAPTAGVALUEREMOVINGORIGINAL=wheelchair=0=>wheelchair=no +MAPTAGVALUEREMOVINGORIGINAL=wheelchair=1=>wheelchair=yes +MAPTAGVALUEREMOVINGORIGINAL=wheelchair=2=>wheelchair=partial +MAPTAGVALUEREMOVINGORIGINAL=wheelchair=3=>wheelchair=unknown +MAPTAGVALUEREMOVINGORIGINAL=wheelchair=4=>deaf=sign_language +MAPTAGVALUEREMOVINGORIGINAL=wheelchair=5=>tactile_paving=yes +MAPTAGVALUEREMOVINGORIGINAL=wheelchair=6=>deaf=induction_loop + +" > config/$CONFIGFILE.config + + ./get_madrid_features_from_ayto-API.sh $CURRENTID $CONFIGFILE + + LASTID=`grep 'id="' data/$TAG$VALUE-$CAPA-Ayto-Madrid-API.osm | awk -F 'id="' '{print $2}' | awk -F '"' '{print $1}' | sort -n | tail -n1` + NUMBERUSED=$((LASTID - CURRENTID)) + INCREMENT=$((NUMBERUSED * 3)) + CURRENTID=$((CURRENTID + INCREMENT)) + +done < /tmp/api2.csv + + diff --git a/src/pipelines/Ayto-API/rdf.dcat b/src/pipelines/Ayto-API/rdf.dcat new file mode 100644 index 0000000..f11e985 --- /dev/null +++ b/src/pipelines/Ayto-API/rdf.dcat @@ -0,0 +1,116 @@ + + + + + Catálogo de datos abiertos del Ayuntamiento de Madrid + + Catálogo de datos abiertos del Ayuntamiento de Madrid + + es + + + https://datos.madrid.es/egob/catalogo + + + + + 1 + 1 + + + + + + + + + + + https://datos.madrid.es/egob/catalogo/201132-0-museos + Museos de la ciudad de Madrid + + + + 2014-03-12T00:00:00 + 2022-10-29T23:34:56 + + + + + anual + + + anual + 1 + + + + + + es + + + + + + + + https://datos.madrid.es/egob/catalogo/201132-0-museos.csv + text/csv + + + + + https://datos.madrid.es/egob/catalogo/201132-0-museos.geo + application/rss+xml + + + + + https://datos.madrid.es/egob/catalogo/201132-0-museos.json + application/json + + + + + https://datos.madrid.es/egob/catalogo/201132-0-museos.rdf + application/rdf+xml + + + + + https://datos.madrid.es/egob/catalogo/201132-0-museos.xml + application/xml + + + + + Consulta el API de datos.madrid.es + https://datos.madrid.es/egob/catalogo/api + text/html + + + + + + + + + 2014-03-12T09:00:00 + + + + +