Re: [Talk-es] Importación de Catastro

2018-01-04 Por tema Javier Sánchez Portero 
Hola.

El 5 de enero de 2018, 0:45, Alejandro S.  escribió:

>
> 7000 proyectos no se si habrá problema en moverlo (el gestor del HOT tiene
> más de 3000), pero habría otras máquinas que se podrían usar si hace falta
> más potencia. Lo que veo inviable es crearlos a mano y no estoy seguro de
> que la API del gestor de tareas funcione [0]. Se podría plantear usar el
> pasar a la nueva versión del gestor (la 3). ¿Igual se podrían agrupar las
> tareas pequeñas por comarcas (o equivalente)?
>
> En cualquier caso tengo poca experiencia con el gestor porque nunca a dado
> problemas y tiene muy poco uso, para este uso bestial habrá que ver como
> aguanta.
>

Este va a ser un trabajo que va a durar años. Ten en cuenta que no habría
activos de forma simultánea más de uno o dos proyectos por provincia y que
para completar cada proyecto se pueden tardar semanas. Suerte tendremos si
surgen voluntarios para todas las provincias, así que hablamos de pocas
decenas de proyectos activos simultáneamente. El programa genera el archivo
geojson como parte del proceso de transformación de los datos del municipio
que mi idea es que realice gente con conocimiento local para que comprueben
los nombres de las calles. Con el archivo geojson generar el proyecto a
mano es cosa de un minuto y sencillo. No creo que haga falta hacerlo de
forma automática. La única tarea un poco más elaborada es agrupar varios
archivos en uno solo o dividirlo por barrios (pero vamos, media hora con
JOSM o QGIS).

Si dentro de unos meses se ve que faltan recursos hardware y no humanos
(ojalá) ya veríamos si hay posibilidades de ampliarlo o si se eliminan los
proyectos completados pasando un resumen a la Wiki.

La idea de actualizar a la versión 3 es buena. Instalemos la versión local
para probarla y vemos si merece la pena.

Igual se podría gestionar que un usuario no pueda hacer mas de n tareas al
> día, para evitar que se suban ficheros a cascoporro y sin revisar.
>

No es necesario. Cualquiera puede descargarse CatAtom2Osm y generar datos
para subir sin necesidad de pasar por el Gestor de Tareas. Tengo que
mirarme esto:

http://osm-hall-monitor.herokuapp.com/

Creo que sirve justo para lo que necesitamos.

Podrían estar en los mismo servidores, pero igual haría falta invertir en
> algo de almacenamiento. Creo que sería interesante también generar los
> ficheros en estas máquinas, así se evita que todo el mundo tenga que
> generarlos de propio.
>

Creo que el espacio de almacenamiento no será un problema. Para que te
hagas una idea, con los archivos comprimidos toda la provincia de Santa
Cruz de Tenerife ocupa 127 MB, pero no los subiría simultáneamente.
Suponiendo que use los 11 proyectos que he calculado estamos hablando de
20M por proyecto y no habría más de uno, dos como mucho, en el servidor por
vez, luego se van borrando. Mi provincia tiene justo el tamaño promedio
(está en la propuesta, en el anexo), por lo que multiplica por provincias
activas (dos por ahora). Si te parece complicado hacerlo en el servidor
también podríamos alojar los archivos externamente. Se me ocurre crear un
proyecto en GitHub, aunque no se si es correcto usarlo para alojar algo que
no es código.

Respecto a generar los archivos de forma automática no es necesario ni
posible. Lo primero por que Catastro actualiza los datos cada seis meses y
yo creo que hace falta más tiempo para revisar y subir una provincia
entera. Si generas los datos de toda España, en 6 meses estarán obsoletos y
habrá que reemplazarlos sin que la mayoría se hayan utilizado para nada.
Por otro lado hace falta conocimiento local para revisar los nombres de las
calles y las direcciones. Por eso es mejor que un responsable o grupo de
ellos se encargue de generar los archivos para su zona. Es una tarea
bastante más fácil de lo que pueda parecer y si alguien necesita ayuda
puede contar con mi ayuda y con la de los voluntarios que quieran ayudar.


> Mientras los gestores tengan cuidado con el gestor no habría problema (no
> estoy seguro de si los usuarios con permiso para crear tareas no se si
> pueden cerrar la de otros). Por provincias parece un reparto razonables (el
> mismo que se usó para cat2osm original).
>

Estoy trabajando en la propuesta en la parte de la guía de importación. Ya
está definido paso por paso lo que tienen que hacer las personas que
quieran trabajar en proyectos ya creados (solicito la ayuda de quien me
esté leyendo para leer la guía y, si no se entiende algo o se puede
mejorar, lo diga). Lo siguiente va a ser escribir una guía similar
explicando lo que hay que hacer para gestionar proyectos. La parte que
implica ser administrador para crear un proyecto es muy sencilla. Por
supuesto incluiremos que antes de abrir un proyecto lo revise alguien con
más experiencia.


> Creo que sería interesante incorporar las direcciones, pero eso requiere
> mucho más trabajo de revisión de la información. ¿Habría opción de dejar
> preparados lo polígonos preparados para añadirles

Re: [Talk-es] Importación de Catastro

2018-01-04 Por tema Alejandro S. 
Buenos días,

¡Menuda currada!

Respondo entre lineas.


2017-12-30 22:34 GMT+01:00 Javier Sánchez Portero :

>
>
> Validar el programa
> --
>
> (...)
>
> Definir el plan de trabajo
> 
>
> Los problemas que se están observando al validar el programa son en
> realidad de Catastro (falsos edificios, edificios desplazados, etc). Debido
> a ellos, creo que hay una cosa bien clara: no se puede importar los datos
> de forma automática, será necesario revisar manualmente cada objeto a
> importar. Como se trata de una cantidad de datos enorme, no conseguiremos
> importarlos si no es con la participación de bastante gente. Sin embargo,
> el trabajo de revisar es siempre menor que el de dibujar los edificios a
> mano.
>

Y sobre todo no se puede importar de manera automática porque va contra la
filosofía de OSM ;)


> Tenemos que definir cómo se importarían los datos. Por lo que se ha
> hablado anteriormente creo que está claro las ventajas de usar el Gestor de
> Tareas [2]. Eso implicaría dos niveles de participación: el de "gestores"
> (número a definir) con permiso administrativo para crear proyectos en el
> gestor de tareas y el resto de colaboradores que participarían completando
> y revisando tareas en los proyectos que se creen. Hay que evaluar cuantos
> proyectos sería necesario crear y en que orden se irían creando. El
> programa generará un proyecto por municipio. Eso supone más de 7000
> proyectos, unos pocos enormes, muchos muy pequeños. ¿Sería conveniente
> combinar los municipios más pequeños y dividir los más grandes para tener
> un número menor de proyectos y de tamaño más similar?  ¿Qué opinas
> Alejandro, como administrador de [2]?
>

7000 proyectos no se si habrá problema en moverlo (el gestor del HOT tiene
más de 3000), pero habría otras máquinas que se podrían usar si hace falta
más potencia. Lo que veo inviable es crearlos a mano y no estoy seguro de
que la API del gestor de tareas funcione [0]. Se podría plantear usar el
pasar a la nueva versión del gestor (la 3). ¿Igual se podrían agrupar las
tareas pequeñas por comarcas (o equivalente)?

En cualquier caso tengo poca experiencia con el gestor porque nunca a dado
problemas y tiene muy poco uso, para este uso bestial habrá que ver como
aguanta.


> Mi propuesta es:
>
> * Cualquiera no debe coger el programa y empezar a importar municipios por
> su cuenta. Esto hay que controlarlo de alguna forma. A mi se me ocurre
> montar una base de datos OSM con actualizaciones diarias, una consulta del
> número de edificios que se hayan subido ese día en España y un correo en
> caso de sobrepasar un valor. Esto enlaza con "manuel" [3].
>

Igual se podría gestionar que un usuario no pueda hacer mas de n tareas al
día, para evitar que se suban ficheros a cascoporro y sin revisar.


> * Para facilitar que pueda participar cualquiera en los proyectos creados,
> los ficheros a importar deberían estar disponibles para su descarga. De
> esta forma no es necesario que todo el mundo instale el programa. El
> espacio necesario sería limitado por que sólo hace falta almacenar
> temporalmente los ficheros de los proyectos en marcha, se borrarían según
> terminen los proyectos. ¿Se puede disponer de un ftp en [2]?
>

Podrían estar en los mismo servidores, pero igual haría falta invertir en
algo de almacenamiento. Creo que sería interesante también generar los
ficheros en estas máquinas, así se evita que todo el mundo tenga que
generarlos de propio.


> * Si alguien quiere empezar a "gestionar" una zona, tendría que decirlo
> para crearle una cuenta en [2]. Su trabajo consistirá en decidir si se van
> a importar direcciones o no, ir generando los proyectos, contactar con los
> usuarios activos en la zona para animarles a participar... La guía en la
> wiki explicará como desarrollar ese proceso y si alguien lo necesita
> siempre puede contar con ayuda de los demás. En cuanto al tamaño de la zona
> a gestionar creo que debería ser por Provincias.
>

Mientras los gestores tengan cuidado con el gestor no habría problema (no
estoy seguro de si los usuarios con permiso para crear tareas no se si
pueden cerrar la de otros). Por provincias parece un reparto razonables (el
mismo que se usó para cat2osm original).


> * Si sólo se importan edificios sin direcciones, las revisiones a realizar
> son menores. Si se quieren incluir direcciones es necesario haber
> comprobado primero que en OSM están todos los nombres de las calles del
> municipio, que son correctos, si coinciden las direcciones de Catastro con
> las reales, para finalmente generar los ficheros a importar con los nombres
> de las calles corregidos y excluyendo aquellas direcciones para las que
> existan dudas.El trabajo es mayor, pero creo que merece la pena hacerlo por
> que si solo se importan edificios, a la larga seguirá haciendo falta
> hacerlo para añadir direcciones con el suplemento de tener que combinarlas
> con los edificios (si

Re: [Talk-es] WMS Cartociudad

2018-01-04 Por tema Miguel Sevilla-Callejo 
Hola Javier,

Supongo que algún otro puede comentarte con más detalle cómo está el tema
de las licencias de Cartociudad para la importación a OSM, si no recuerdo
mal es la misma que tenemos para otros productos del IGN pero espera que te
lo confirme alguien con más criterio en estr sentido que yo.

Lo que quería comentarte es que este producto del IGN hasta dónde yo se
está bastante desactualizado en muchos lugares. Es más, una de las
cuestiones que se hablaron del interés que tenía el IGN para colaborar con
nosotros estaba en que habían contrastado que nuestros datos mejoraban
sustancialmente ese producto suyo.

De la experiencia que yo tengo del uso de varias fuentes el catastro, los
números y nombres de calle, siempre es la que más se acerca a la realidad.
O sea, no encontré necesidad, para este tema, de recurrir a cartociudad.

A ver si alguien más puede arrojar más luz sobre el tema.

Un saludo y enhorabuena por el trabajo que estás haciendo, la verdad es que
está genial que le estéis dando un repaso a la Wiki para dejarla en
condiciones.

Miguel


--
*Miguel Sevilla-Callejo*
Doctor en Geografía

2018-01-04 13:55 GMT+01:00 Javier Sánchez Portero :

> Hola
>
> Para la Importación de Catastro que está abierta en otro hilo, si además
> de edificios queremos importar direcciones, habrá que revisar los nombres
> de las calles y números de portales. La comprobación sobre el terreno es la
> mejor opción, pero se puede complementar consultando otras fuentes.
> Revisando otras fuentes externas de direcciones, la única alternativa a
> nivel nacional a Catastro que encuentro es Cartociudad/INE. Cartociudad [1]
> es un producto que agrega datos de varias fuentes y en sus especificaciones
> técnicas leo que la fuente utilizada para las direcciones es el INE [2].
> Comparando Catastro y Cartociudad, ambas pueden contener errores y datos
> desfasados, pero no son una réplica la una de la otra, hay diferencias que
> pueden servir para contrastar los nombres de las calles y ver donde hace
> falta revisión o descartar en caso de duda.
>
> Los datos originales del INE están en un formato muy especial. Lo que yo
> estoy buscando es una imagen de fondo que se pueda utilizar cuando los
> editores revisen los datos a importar de Catastro y eso lo proporciona el
> servicio WMS de Cartociudad. Cartociudad pertenece al Ministerio de
> Fomento/IGN y según se recoge en un borrador de importación [3] que surgió
> a raíz de la discusión en esta lista hace un año [4] podemos usar los datos
> de Cartociudad. Mi duda es que en dicha página [3] hace referencia a los
> datos en formato SHP y yo estoy interesado en la imagen de fondo WMS [5].
> En la página de fuentes de datos potenciales [6] (marcada para su limpieza)
> sólo se menciona a Cartociudad (un producto a nivel nacional) en el
> apartado de fuentes regionales para Madrid y no tengo claro el estado del
> WMS.
>
> Por tanto, una pregunta:
>
> ¿Se puede usar la imagen de fondo WMS de Cartociudad? Al menos para el uso
> concreto de revisar nombres de viales y números de portal.
>
> En caso afirmativo, puedo actualizarlo en las fuentes de datos [6] y hacer
> que aparezca en el listado de JOSM.
>
> Si es necesario solicitar autorización, puedo enviar una carta a
> Cartociudad solicitando el uso de su WMS.
>
> Si se considera que con lo que ya se ha hablado en las reuniones con el
> IGN es suficiente con hacer una mención en la página de contribuidores [7]
> puedo añadir en ella expresamente el producto Cartociudad.
>
> Saludos, Javier
>
> [1] http://www.cartociudad.es/portal/web/guest
> [2] http://www.ine.es/ss/Satellite?L=es_ES=Page=
> 1254735624326=1254735624326=ProductosYServicios%2FPYSLayout
> [3] https://wiki.openstreetmap.org/wiki/ES:Espa%C3%B1a/
> Importaci%C3%B3n_IGN
> [4] https://lists.openstreetmap.org/pipermail/talk-es/2016-
> December/014735.html
> [5] http://www.ign.es/wms-inspire/ign-base
> [6] https://wiki.openstreetmap.org/wiki/ES:Fuentes_de_datos_
> potenciales_de_Espa%C3%B1a
> [7] https://wiki.openstreetmap.org/wiki/Contributors#
> Instituto_Geogr.C3.A1fico_Nacional_.28IGN.29
>
> ___
> Talk-es mailing list
> Talk-es@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-es
>
>
___
Talk-es mailing list
Talk-es@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-es

Re: [Talk-es] WMS Cartociudad

2018-01-04 Por tema dazer 
Los productos y servicios de Cartociudad están bajo la misma licencia CC del
IGN
http://datos.gob.es/en/catalogo/e00125901-cartociudad

No veo ninguna diferencia entre esto y el uso del wms del PNOA.

Sugiero este esquema de atribución:
-Si se copian los datos que vemos, se añade a las vías correspondientes
source=Cartociudad y source:date la que tengan en el municipio que se está
mapeando: http://www.cartociudad.es/recursos/Cobertura/municipios.xls
-Atribución en el conjunto de cambios. Creo que con "IGN - Cartociudad"
debería valer.

Además, el texto explicativo de la licencia pone que para usar servicios sin
datos acoplados, se incluye lo que ponga en la etiqueta .
Eso sería "© Instituto Geográfico Nacional de España". Que supongo quedaría
bien en el wiki.



--
Sent from: http://gis.19327.n8.nabble.com/Spain-f5409873.html

___
Talk-es mailing list
Talk-es@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-es

[Talk-es] WMS Cartociudad

2018-01-04 Por tema Javier Sánchez Portero 
Hola

Para la Importación de Catastro que está abierta en otro hilo, si además de
edificios queremos importar direcciones, habrá que revisar los nombres de
las calles y números de portales. La comprobación sobre el terreno es la
mejor opción, pero se puede complementar consultando otras fuentes.
Revisando otras fuentes externas de direcciones, la única alternativa a
nivel nacional a Catastro que encuentro es Cartociudad/INE. Cartociudad [1]
es un producto que agrega datos de varias fuentes y en sus especificaciones
técnicas leo que la fuente utilizada para las direcciones es el INE [2].
Comparando Catastro y Cartociudad, ambas pueden contener errores y datos
desfasados, pero no son una réplica la una de la otra, hay diferencias que
pueden servir para contrastar los nombres de las calles y ver donde hace
falta revisión o descartar en caso de duda.

Los datos originales del INE están en un formato muy especial. Lo que yo
estoy buscando es una imagen de fondo que se pueda utilizar cuando los
editores revisen los datos a importar de Catastro y eso lo proporciona el
servicio WMS de Cartociudad. Cartociudad pertenece al Ministerio de
Fomento/IGN y según se recoge en un borrador de importación [3] que surgió
a raíz de la discusión en esta lista hace un año [4] podemos usar los datos
de Cartociudad. Mi duda es que en dicha página [3] hace referencia a los
datos en formato SHP y yo estoy interesado en la imagen de fondo WMS [5].
En la página de fuentes de datos potenciales [6] (marcada para su limpieza)
sólo se menciona a Cartociudad (un producto a nivel nacional) en el
apartado de fuentes regionales para Madrid y no tengo claro el estado del
WMS.

Por tanto, una pregunta:

¿Se puede usar la imagen de fondo WMS de Cartociudad? Al menos para el uso
concreto de revisar nombres de viales y números de portal.

En caso afirmativo, puedo actualizarlo en las fuentes de datos [6] y hacer
que aparezca en el listado de JOSM.

Si es necesario solicitar autorización, puedo enviar una carta a
Cartociudad solicitando el uso de su WMS.

Si se considera que con lo que ya se ha hablado en las reuniones con el IGN
es suficiente con hacer una mención en la página de contribuidores [7]
puedo añadir en ella expresamente el producto Cartociudad.

Saludos, Javier

[1] http://www.cartociudad.es/portal/web/guest
[2]
http://www.ine.es/ss/Satellite?L=es_ES=Page=1254735624326=1254735624326=ProductosYServicios%2FPYSLayout
[3] https://wiki.openstreetmap.org/wiki/ES:Espa%C3%B1a/Importaci%C3%B3n_IGN
[4]
https://lists.openstreetmap.org/pipermail/talk-es/2016-December/014735.html
[5] http://www.ign.es/wms-inspire/ign-base
[6]
https://wiki.openstreetmap.org/wiki/ES:Fuentes_de_datos_potenciales_de_Espa%C3%B1a
[7]
https://wiki.openstreetmap.org/wiki/Contributors#Instituto_Geogr.C3.A1fico_Nacional_.28IGN.29
___
Talk-es mailing list
Talk-es@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-es