Re: [Talk-es] Importación de Catastro
Hola. El 5 de enero de 2018, 0:45, Alejandro S. escribió: > > 7000 proyectos no se si habrá problema en moverlo (el gestor del HOT tiene > más de 3000), pero habría otras máquinas que se podrían usar si hace falta > más potencia. Lo que veo inviable es crearlos a mano y no estoy seguro de > que la API del gestor de tareas funcione [0]. Se podría plantear usar el > pasar a la nueva versión del gestor (la 3). ¿Igual se podrían agrupar las > tareas pequeñas por comarcas (o equivalente)? > > En cualquier caso tengo poca experiencia con el gestor porque nunca a dado > problemas y tiene muy poco uso, para este uso bestial habrá que ver como > aguanta. > Este va a ser un trabajo que va a durar años. Ten en cuenta que no habría activos de forma simultánea más de uno o dos proyectos por provincia y que para completar cada proyecto se pueden tardar semanas. Suerte tendremos si surgen voluntarios para todas las provincias, así que hablamos de pocas decenas de proyectos activos simultáneamente. El programa genera el archivo geojson como parte del proceso de transformación de los datos del municipio que mi idea es que realice gente con conocimiento local para que comprueben los nombres de las calles. Con el archivo geojson generar el proyecto a mano es cosa de un minuto y sencillo. No creo que haga falta hacerlo de forma automática. La única tarea un poco más elaborada es agrupar varios archivos en uno solo o dividirlo por barrios (pero vamos, media hora con JOSM o QGIS). Si dentro de unos meses se ve que faltan recursos hardware y no humanos (ojalá) ya veríamos si hay posibilidades de ampliarlo o si se eliminan los proyectos completados pasando un resumen a la Wiki. La idea de actualizar a la versión 3 es buena. Instalemos la versión local para probarla y vemos si merece la pena. Igual se podría gestionar que un usuario no pueda hacer mas de n tareas al > día, para evitar que se suban ficheros a cascoporro y sin revisar. > No es necesario. Cualquiera puede descargarse CatAtom2Osm y generar datos para subir sin necesidad de pasar por el Gestor de Tareas. Tengo que mirarme esto: http://osm-hall-monitor.herokuapp.com/ Creo que sirve justo para lo que necesitamos. Podrían estar en los mismo servidores, pero igual haría falta invertir en > algo de almacenamiento. Creo que sería interesante también generar los > ficheros en estas máquinas, así se evita que todo el mundo tenga que > generarlos de propio. > Creo que el espacio de almacenamiento no será un problema. Para que te hagas una idea, con los archivos comprimidos toda la provincia de Santa Cruz de Tenerife ocupa 127 MB, pero no los subiría simultáneamente. Suponiendo que use los 11 proyectos que he calculado estamos hablando de 20M por proyecto y no habría más de uno, dos como mucho, en el servidor por vez, luego se van borrando. Mi provincia tiene justo el tamaño promedio (está en la propuesta, en el anexo), por lo que multiplica por provincias activas (dos por ahora). Si te parece complicado hacerlo en el servidor también podríamos alojar los archivos externamente. Se me ocurre crear un proyecto en GitHub, aunque no se si es correcto usarlo para alojar algo que no es código. Respecto a generar los archivos de forma automática no es necesario ni posible. Lo primero por que Catastro actualiza los datos cada seis meses y yo creo que hace falta más tiempo para revisar y subir una provincia entera. Si generas los datos de toda España, en 6 meses estarán obsoletos y habrá que reemplazarlos sin que la mayoría se hayan utilizado para nada. Por otro lado hace falta conocimiento local para revisar los nombres de las calles y las direcciones. Por eso es mejor que un responsable o grupo de ellos se encargue de generar los archivos para su zona. Es una tarea bastante más fácil de lo que pueda parecer y si alguien necesita ayuda puede contar con mi ayuda y con la de los voluntarios que quieran ayudar. > Mientras los gestores tengan cuidado con el gestor no habría problema (no > estoy seguro de si los usuarios con permiso para crear tareas no se si > pueden cerrar la de otros). Por provincias parece un reparto razonables (el > mismo que se usó para cat2osm original). > Estoy trabajando en la propuesta en la parte de la guía de importación. Ya está definido paso por paso lo que tienen que hacer las personas que quieran trabajar en proyectos ya creados (solicito la ayuda de quien me esté leyendo para leer la guía y, si no se entiende algo o se puede mejorar, lo diga). Lo siguiente va a ser escribir una guía similar explicando lo que hay que hacer para gestionar proyectos. La parte que implica ser administrador para crear un proyecto es muy sencilla. Por supuesto incluiremos que antes de abrir un proyecto lo revise alguien con más experiencia. > Creo que sería interesante incorporar las direcciones, pero eso requiere > mucho más trabajo de revisión de la información. ¿Habría opción de dejar > preparados lo polígonos preparados para añadirles el número posteriormente
Re: [Talk-es] Importación de Catastro
Buenos días, ¡Menuda currada! Respondo entre lineas. 2017-12-30 22:34 GMT+01:00 Javier Sánchez Portero : > > > Validar el programa > -- > > (...) > > Definir el plan de trabajo > > > Los problemas que se están observando al validar el programa son en > realidad de Catastro (falsos edificios, edificios desplazados, etc). Debido > a ellos, creo que hay una cosa bien clara: no se puede importar los datos > de forma automática, será necesario revisar manualmente cada objeto a > importar. Como se trata de una cantidad de datos enorme, no conseguiremos > importarlos si no es con la participación de bastante gente. Sin embargo, > el trabajo de revisar es siempre menor que el de dibujar los edificios a > mano. > Y sobre todo no se puede importar de manera automática porque va contra la filosofía de OSM ;) > Tenemos que definir cómo se importarían los datos. Por lo que se ha > hablado anteriormente creo que está claro las ventajas de usar el Gestor de > Tareas [2]. Eso implicaría dos niveles de participación: el de "gestores" > (número a definir) con permiso administrativo para crear proyectos en el > gestor de tareas y el resto de colaboradores que participarían completando > y revisando tareas en los proyectos que se creen. Hay que evaluar cuantos > proyectos sería necesario crear y en que orden se irían creando. El > programa generará un proyecto por municipio. Eso supone más de 7000 > proyectos, unos pocos enormes, muchos muy pequeños. ¿Sería conveniente > combinar los municipios más pequeños y dividir los más grandes para tener > un número menor de proyectos y de tamaño más similar? ¿Qué opinas > Alejandro, como administrador de [2]? > 7000 proyectos no se si habrá problema en moverlo (el gestor del HOT tiene más de 3000), pero habría otras máquinas que se podrían usar si hace falta más potencia. Lo que veo inviable es crearlos a mano y no estoy seguro de que la API del gestor de tareas funcione [0]. Se podría plantear usar el pasar a la nueva versión del gestor (la 3). ¿Igual se podrían agrupar las tareas pequeñas por comarcas (o equivalente)? En cualquier caso tengo poca experiencia con el gestor porque nunca a dado problemas y tiene muy poco uso, para este uso bestial habrá que ver como aguanta. > Mi propuesta es: > > * Cualquiera no debe coger el programa y empezar a importar municipios por > su cuenta. Esto hay que controlarlo de alguna forma. A mi se me ocurre > montar una base de datos OSM con actualizaciones diarias, una consulta del > número de edificios que se hayan subido ese día en España y un correo en > caso de sobrepasar un valor. Esto enlaza con "manuel" [3]. > Igual se podría gestionar que un usuario no pueda hacer mas de n tareas al día, para evitar que se suban ficheros a cascoporro y sin revisar. > * Para facilitar que pueda participar cualquiera en los proyectos creados, > los ficheros a importar deberían estar disponibles para su descarga. De > esta forma no es necesario que todo el mundo instale el programa. El > espacio necesario sería limitado por que sólo hace falta almacenar > temporalmente los ficheros de los proyectos en marcha, se borrarían según > terminen los proyectos. ¿Se puede disponer de un ftp en [2]? > Podrían estar en los mismo servidores, pero igual haría falta invertir en algo de almacenamiento. Creo que sería interesante también generar los ficheros en estas máquinas, así se evita que todo el mundo tenga que generarlos de propio. > * Si alguien quiere empezar a "gestionar" una zona, tendría que decirlo > para crearle una cuenta en [2]. Su trabajo consistirá en decidir si se van > a importar direcciones o no, ir generando los proyectos, contactar con los > usuarios activos en la zona para animarles a participar... La guía en la > wiki explicará como desarrollar ese proceso y si alguien lo necesita > siempre puede contar con ayuda de los demás. En cuanto al tamaño de la zona > a gestionar creo que debería ser por Provincias. > Mientras los gestores tengan cuidado con el gestor no habría problema (no estoy seguro de si los usuarios con permiso para crear tareas no se si pueden cerrar la de otros). Por provincias parece un reparto razonables (el mismo que se usó para cat2osm original). > * Si sólo se importan edificios sin direcciones, las revisiones a realizar > son menores. Si se quieren incluir direcciones es necesario haber > comprobado primero que en OSM están todos los nombres de las calles del > municipio, que son correctos, si coinciden las direcciones de Catastro con > las reales, para finalmente generar los ficheros a importar con los nombres > de las calles corregidos y excluyendo aquellas direcciones para las que > existan dudas.El trabajo es mayor, pero creo que merece la pena hacerlo por > que si solo se importan edificios, a la larga seguirá haciendo falta > hacerlo para añadir direcciones con el suplemento de tener que combinarlas > con los edificios (si son nodos de entrada unir
Re: [Talk-es] WMS Cartociudad
Hola Javier, Supongo que algún otro puede comentarte con más detalle cómo está el tema de las licencias de Cartociudad para la importación a OSM, si no recuerdo mal es la misma que tenemos para otros productos del IGN pero espera que te lo confirme alguien con más criterio en estr sentido que yo. Lo que quería comentarte es que este producto del IGN hasta dónde yo se está bastante desactualizado en muchos lugares. Es más, una de las cuestiones que se hablaron del interés que tenía el IGN para colaborar con nosotros estaba en que habían contrastado que nuestros datos mejoraban sustancialmente ese producto suyo. De la experiencia que yo tengo del uso de varias fuentes el catastro, los números y nombres de calle, siempre es la que más se acerca a la realidad. O sea, no encontré necesidad, para este tema, de recurrir a cartociudad. A ver si alguien más puede arrojar más luz sobre el tema. Un saludo y enhorabuena por el trabajo que estás haciendo, la verdad es que está genial que le estéis dando un repaso a la Wiki para dejarla en condiciones. Miguel -- *Miguel Sevilla-Callejo* Doctor en Geografía 2018-01-04 13:55 GMT+01:00 Javier Sánchez Portero : > Hola > > Para la Importación de Catastro que está abierta en otro hilo, si además > de edificios queremos importar direcciones, habrá que revisar los nombres > de las calles y números de portales. La comprobación sobre el terreno es la > mejor opción, pero se puede complementar consultando otras fuentes. > Revisando otras fuentes externas de direcciones, la única alternativa a > nivel nacional a Catastro que encuentro es Cartociudad/INE. Cartociudad [1] > es un producto que agrega datos de varias fuentes y en sus especificaciones > técnicas leo que la fuente utilizada para las direcciones es el INE [2]. > Comparando Catastro y Cartociudad, ambas pueden contener errores y datos > desfasados, pero no son una réplica la una de la otra, hay diferencias que > pueden servir para contrastar los nombres de las calles y ver donde hace > falta revisión o descartar en caso de duda. > > Los datos originales del INE están en un formato muy especial. Lo que yo > estoy buscando es una imagen de fondo que se pueda utilizar cuando los > editores revisen los datos a importar de Catastro y eso lo proporciona el > servicio WMS de Cartociudad. Cartociudad pertenece al Ministerio de > Fomento/IGN y según se recoge en un borrador de importación [3] que surgió > a raíz de la discusión en esta lista hace un año [4] podemos usar los datos > de Cartociudad. Mi duda es que en dicha página [3] hace referencia a los > datos en formato SHP y yo estoy interesado en la imagen de fondo WMS [5]. > En la página de fuentes de datos potenciales [6] (marcada para su limpieza) > sólo se menciona a Cartociudad (un producto a nivel nacional) en el > apartado de fuentes regionales para Madrid y no tengo claro el estado del > WMS. > > Por tanto, una pregunta: > > ¿Se puede usar la imagen de fondo WMS de Cartociudad? Al menos para el uso > concreto de revisar nombres de viales y números de portal. > > En caso afirmativo, puedo actualizarlo en las fuentes de datos [6] y hacer > que aparezca en el listado de JOSM. > > Si es necesario solicitar autorización, puedo enviar una carta a > Cartociudad solicitando el uso de su WMS. > > Si se considera que con lo que ya se ha hablado en las reuniones con el > IGN es suficiente con hacer una mención en la página de contribuidores [7] > puedo añadir en ella expresamente el producto Cartociudad. > > Saludos, Javier > > [1] http://www.cartociudad.es/portal/web/guest > [2] http://www.ine.es/ss/Satellite?L=es_ES&c=Page&cid= > 1254735624326&p=1254735624326&pagename=ProductosYServicios%2FPYSLayout > [3] https://wiki.openstreetmap.org/wiki/ES:Espa%C3%B1a/ > Importaci%C3%B3n_IGN > [4] https://lists.openstreetmap.org/pipermail/talk-es/2016- > December/014735.html > [5] http://www.ign.es/wms-inspire/ign-base > [6] https://wiki.openstreetmap.org/wiki/ES:Fuentes_de_datos_ > potenciales_de_Espa%C3%B1a > [7] https://wiki.openstreetmap.org/wiki/Contributors# > Instituto_Geogr.C3.A1fico_Nacional_.28IGN.29 > > ___ > Talk-es mailing list > Talk-es@openstreetmap.org > https://lists.openstreetmap.org/listinfo/talk-es > > ___ Talk-es mailing list Talk-es@openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-es
Re: [Talk-es] WMS Cartociudad
Los productos y servicios de Cartociudad están bajo la misma licencia CC del IGN http://datos.gob.es/en/catalogo/e00125901-cartociudad No veo ninguna diferencia entre esto y el uso del wms del PNOA. Sugiero este esquema de atribución: -Si se copian los datos que vemos, se añade a las vías correspondientes source=Cartociudad y source:date la que tengan en el municipio que se está mapeando: http://www.cartociudad.es/recursos/Cobertura/municipios.xls -Atribución en el conjunto de cambios. Creo que con "IGN - Cartociudad" debería valer. Además, el texto explicativo de la licencia pone que para usar servicios sin datos acoplados, se incluye lo que ponga en la etiqueta . Eso sería "© Instituto Geográfico Nacional de España". Que supongo quedaría bien en el wiki. -- Sent from: http://gis.19327.n8.nabble.com/Spain-f5409873.html ___ Talk-es mailing list Talk-es@openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-es
[Talk-es] WMS Cartociudad
Hola Para la Importación de Catastro que está abierta en otro hilo, si además de edificios queremos importar direcciones, habrá que revisar los nombres de las calles y números de portales. La comprobación sobre el terreno es la mejor opción, pero se puede complementar consultando otras fuentes. Revisando otras fuentes externas de direcciones, la única alternativa a nivel nacional a Catastro que encuentro es Cartociudad/INE. Cartociudad [1] es un producto que agrega datos de varias fuentes y en sus especificaciones técnicas leo que la fuente utilizada para las direcciones es el INE [2]. Comparando Catastro y Cartociudad, ambas pueden contener errores y datos desfasados, pero no son una réplica la una de la otra, hay diferencias que pueden servir para contrastar los nombres de las calles y ver donde hace falta revisión o descartar en caso de duda. Los datos originales del INE están en un formato muy especial. Lo que yo estoy buscando es una imagen de fondo que se pueda utilizar cuando los editores revisen los datos a importar de Catastro y eso lo proporciona el servicio WMS de Cartociudad. Cartociudad pertenece al Ministerio de Fomento/IGN y según se recoge en un borrador de importación [3] que surgió a raíz de la discusión en esta lista hace un año [4] podemos usar los datos de Cartociudad. Mi duda es que en dicha página [3] hace referencia a los datos en formato SHP y yo estoy interesado en la imagen de fondo WMS [5]. En la página de fuentes de datos potenciales [6] (marcada para su limpieza) sólo se menciona a Cartociudad (un producto a nivel nacional) en el apartado de fuentes regionales para Madrid y no tengo claro el estado del WMS. Por tanto, una pregunta: ¿Se puede usar la imagen de fondo WMS de Cartociudad? Al menos para el uso concreto de revisar nombres de viales y números de portal. En caso afirmativo, puedo actualizarlo en las fuentes de datos [6] y hacer que aparezca en el listado de JOSM. Si es necesario solicitar autorización, puedo enviar una carta a Cartociudad solicitando el uso de su WMS. Si se considera que con lo que ya se ha hablado en las reuniones con el IGN es suficiente con hacer una mención en la página de contribuidores [7] puedo añadir en ella expresamente el producto Cartociudad. Saludos, Javier [1] http://www.cartociudad.es/portal/web/guest [2] http://www.ine.es/ss/Satellite?L=es_ES&c=Page&cid=1254735624326&p=1254735624326&pagename=ProductosYServicios%2FPYSLayout [3] https://wiki.openstreetmap.org/wiki/ES:Espa%C3%B1a/Importaci%C3%B3n_IGN [4] https://lists.openstreetmap.org/pipermail/talk-es/2016-December/014735.html [5] http://www.ign.es/wms-inspire/ign-base [6] https://wiki.openstreetmap.org/wiki/ES:Fuentes_de_datos_potenciales_de_Espa%C3%B1a [7] https://wiki.openstreetmap.org/wiki/Contributors#Instituto_Geogr.C3.A1fico_Nacional_.28IGN.29 ___ Talk-es mailing list Talk-es@openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-es
