[OSM-talk-fr] [Corine Technique] Osmosis, fusion physique des fichiers, fusion des nodes
Bon, je viens de me rendre compte que Osmosis nécessite d'avoir des fichiers triés afin de procéder a une fusion des fichiers, ce qui va bien sur a l'encontre de ce que l'on veut faire pour importer les données de Corine. http://wiki.openstreetmap.org/wiki/Osmosis/DetailedUsage#--merge_.28--m.29 J'avoue que je ne sais pas quoi faire. Créer un parseur OSM qui lirait les données et les mettrait dans le bon ordre n'est pas vraiment complique mais je n'ai pas le temps en ce moment. Ça résoudrait le problème de la fusion des points si ledit programme lit a partir de la base de donnée. Sinon, il faudrait que je regarde pour Osmosis s'il n'y a pas un patch pour un tri comme on le veut. Actuellement, il y a 8 fichiers OSM; les fichiers ont crées car ils partagent les mêmes tags OSM, ce qui explique la grande taille du fichier landuse. J'ai aussi documente les classes qui sont contenus dans chaque fichier. Ils seront disponibles sur les liens suivants (l'upload est en cours, il sera fini dans environ 3h) http://www.grayonox.com/nooverlapaeroway.osm.bz2 (124) http://www.grayonox.com/nooverlaplanduse.osm.bz2 (111,112,123,131,132,133,211,212,213,221,222,231,422) http://www.grayonox.com/nooverlaplandusenote.osm.bz2(121) http://www.grayonox.com/nooverlaplandusetrees.osm.bz2 (223) http://www.grayonox.com/nooverlaplandusewood.osm.bz2 (311,312,313) http://www.grayonox.com/nooverlapnatural.osm.bz2 (321,322,323,332,335,521,512) http://www.grayonox.com/nooverlapnaturalwetland.osm.bz2(411,412,421) http://www.grayonox.com/nooverlapwater.osm.bz2 (423) J'ai ajoute une tolérance de 2% dans les non overlap, ce qui est généralement acceptable. La grande majorité des polygones n'ont absolument aucun overlap en considérant le critère suivant: aucune valeur dans landuse, natural ou wood. Les fichiers sont actuellement en format 0.6 et sont tries afin de minimiser les problèmes d'import. Toutefois, il n'y a aucune fusion des nodes du fait qu'Osmosis trie les données de manière non optimale pour un import massif. La taille totale est d'environ 270Mo de fichiers. Emilie Laffray signature.asc Description: OpenPGP digital signature ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] [Corine Technique] Osmosis, fusion physique des fichiers, fusion des nodes
Pas sûr de comprendre quel est le problème, mais osmosis a une commande pour trier un fichier avant de merger. Je l'ai déjà utilisé sans soucis (si ce n'est que la commande n'était pas documentée quand on travaille avec des fichier 0.6 mais j'ai modifié la doc depuis) http://wiki.openstreetmap.org/wiki/Osmosis/DetailedUsage#--sort_.28--s.29_--sort-0.6 Yann Le 1 juil. 09 à 00:52, Emilie Laffray a écrit : je viens de me rendre compte que Osmosis nécessite d'avoir des fichiers triés afin de procéder a une fusion des fichiers, ce qui va bien sur a l'encontre de ce que l'on veut faire pour importer les données de Corine. http://wiki.openstreetmap.org/wiki/Osmosis/DetailedUsage#--merge_.28--m.29 J'avoue que je ne sais pas quoi faire. Créer un parseur OSM qui lirait les données et les mettrait dans le bon ordre n'est pas vraiment complique mais je n'ai pas le temps en ce moment. Ça résoudrait le problème de la fusion des points si ledit programme lit a partir de la base de donnée. ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] [Corine Technique] Osmosis, fusion physique des fichiers, fusion des nodes
Yann Coupin wrote: > Pas sûr de comprendre quel est le problème, mais osmosis a une > commande pour trier un fichier avant de merger. Je l'ai déjà utilisé > sans soucis (si ce n'est que la commande n'était pas documentée quand > on travaille avec des fichier 0.6 mais j'ai modifié la doc depuis) > > http://wiki.openstreetmap.org/wiki/Osmosis/DetailedUsage#--sort_.28--s.29_--sort-0.6 > Vi je suis au courant de cette fonction. Je l'ai deja utilise. Toutefois pour l'upload, cette fonction est inadaptée, car elle met tous les points d'abords, puis toutes les ways, et toutes les relations. Les fichiers sont produits la par objets (node, way[, relation]), (node, way[, relation]), etc La raison principale c'est d'éviter que si l'upload foire on se retrouve avec des tonnes et des tonnes de données a moitie uploade. Emilie Laffray signature.asc Description: OpenPGP digital signature ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] [Corine Technique] Osmosis, fusion physique des fichiers, fusion des nodes
2009/7/1 Emilie Laffray : > Vi je suis au courant de cette fonction. Je l'ai deja utilise. Toutefois > pour l'upload, cette fonction est inadaptée, car elle met tous les > points d'abords, puis toutes les ways, et toutes les relations. Les > fichiers sont produits la par objets (node, way[, relation]), (node, > way[, relation]), etc La raison principale c'est d'éviter que si > l'upload foire on se retrouve avec des tonnes et des tonnes de données a > moitie uploade. > > Emilie Laffray > La raison principale est qu'il se passerait des jours entre la création des nodes et la création des ways. Hors, par le passé, d'autres imports de masse ont montré que plus le temps passe entre ceux deux étapes et plus de nodes isolés disparaissent, car ils sont effacés par des contributeurs pensant bien faire. Et donc la création des ways concernés n'est plus possible côté serveur (les node_id n'existent plus). La solution est de soit réduire la taille des imports en zones plus petites pour réduire l'intervalle de temps entre création de nodes et ways, soit de créer les objets par polygones, donc en évitant le tri par type d'objets. On pourrait utiliser les fichiers d'Emilie tel quel mais ils créeraient de nombreux nodes en double dans la base. Il faut donc encore Emilie, deux fichiers ne sont pas complets sur ton site: nooverlaplandusewood.osm.bz2 nooverlaplanduse.osm.bz2 Pieren ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] [Corine Technique] Osmosis, fusion physique des fichiers, fusion des nodes
2009/7/1 Pieren > Emilie, deux fichiers ne sont pas complets sur ton site: > nooverlaplandusewood.osm.bz2 > nooverlaplanduse.osm.bz2 > Je relancerais l'upload plus tard dans la journée. C'est assez ennuyeux d'avoir les uploads qui ne marchent pas comme ça. Ce sont bien sur les deux fichiers les plus gros. Emilie Laffray ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] [Corine Technique] Osmosis, fusion physique des fichiers, fusion des nodes
Pieren wrote: > Sinon, je pourrais aussi le faire sur un post-traitement par script. > Mais je pense aussi que le plus facile est de modifier l'outil > original. > Pieren > Ok, j'ai normalement corrige le problème des fichiers. J'ai vérifié l'upload d'au moins tous les nooverlaps. Ça devrait donc marcher. J'ai régénéré tous les fichiers OSM afin qu'ils aient des ids uniques. J'ai vérifié ça aussi, ça devrait marcher :) http://www.grayonox.com/nooverlapaeroway.osm.bz2 http://www.grayonox.com/nooverlaplanduse.osm.bz2 http://www.grayonox.com/nooverlaplandusenote.osm.bz2 http://www.grayonox.com/nooverlaplandusetrees.osm.bz2 http://www.grayonox.com/nooverlaplandusewood.osm.bz2 http://www.grayonox.com/nooverlapnatural.osm.bz2 http://www.grayonox.com/nooverlapnaturalwetland.osm.bz2 http://www.grayonox.com/nooverlapwater.osm.bz2 http://www.grayonox.com/overlapaeroway.osm.bz2 http://www.grayonox.com/overlaplanduse.osm.bz2 http://www.grayonox.com/overlaplandusenote.osm.bz2 http://www.grayonox.com/overlaplandusetrees.osm.bz2 http://www.grayonox.com/overlaplandusewood.osm.bz2 http://www.grayonox.com/overlapnatural.osm.bz2 http://www.grayonox.com/overlapnaturalwetland.osm.bz2 http://www.grayonox.com/overlapwater.osm.bz2 Emilie Laffrau signature.asc Description: OpenPGP digital signature ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] [Corine Technique] Osmosis, fusion physique des fichiers, fusion des nodes
Emilie Laffray a écrit : > Pieren wrote: > >> Sinon, je pourrais aussi le faire sur un post-traitement par script. >> Mais je pense aussi que le plus facile est de modifier l'outil >> original. >> Pieren >> >> > Ok, j'ai normalement corrige le problème des fichiers. J'ai vérifié > l'upload d'au moins tous les nooverlaps. Ça devrait donc marcher. J'ai > régénéré tous les fichiers OSM afin qu'ils aient des ids uniques. J'ai > vérifié ça aussi, ça devrait marcher :) > On approche, on approche... Vincent ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] [Corine Technique] Osmosis, fusion physique des fichiers, fusion des nodes
2009/7/2 Emilie Laffray : > Ok, j'ai normalement corrige le problème des fichiers. J'ai vérifié > l'upload d'au moins tous les nooverlaps. Ça devrait donc marcher. J'ai > régénéré tous les fichiers OSM afin qu'ils aient des ids uniques. J'ai > vérifié ça aussi, ça devrait marcher :) > Ok, et merci pour le super boulot. Je suis en train de tester le petit programme qui "fusionne" les nodes superposés. Comme il y a 16 millions d'objets à contrôler, ça risque de prendre un petit peu de temps. Pieren ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] [Corine Technique] Osmosis, fusion physique des fichiers, fusion des nodes
Pieren wrote: > Ok, et merci pour le super boulot. > Je suis en train de tester le petit programme qui "fusionne" les nodes > superposés. Comme il y a 16 millions d'objets à contrôler, ça risque > de prendre un petit peu de temps. > > Pas de problème. Il y a en effet 18 080 504 objets dans les fichiers que j'ai exporte. Désolée de ne pas avoir pu faire plus. Je suis un peu pressée par le temps en ce moment. Je ne suis pas disponible directement ce week end et lundi, mais j'essaierais de répondre aux problèmes si je peux. Emilie Laffray signature.asc Description: OpenPGP digital signature ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] [Corine Technique] Osmosis, fusion physique des fichiers, fusion des nodes
Emilie Laffray a écrit : > Pieren wrote: > >> Ok, et merci pour le super boulot. >> Je suis en train de tester le petit programme qui "fusionne" les nodes >> superposés. Comme il y a 16 millions d'objets à contrôler, ça risque >> de prendre un petit peu de temps. >> >> >> > Pas de problème. Il y a en effet 18 080 504 objets dans les fichiers que > j'ai exporte. Désolée de ne pas avoir pu faire plus. Je suis un peu > pressée par le temps en ce moment. Je ne suis pas disponible directement > ce week end et lundi, mais j'essaierais de répondre aux problèmes si je > peux. > > Emilie Laffray > Et moi qui étais fier de mon script qui avait corrigé 140 000 accents... Bravo à vous ! Vincent ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] [Corine Technique] Osmosis, fusion physique des fichiers, fusion des nodes
Bonjour à tous, Le 2 juillet 2009 23:29, Emilie Laffray a écrit : > Pas de problème. Il y a en effet 18 080 504 objets dans les fichiers que > j'ai exporte. Désolée de ne pas avoir pu faire plus. Je suis un peu > pressée par le temps en ce moment. Une fois que vous aurez un peu plus de temps, ce serait sympa de faire un courriel résumant cet import. J'ai vaguement suivi les discussions sur ces listes mais j'ai pas compris tous les problèmes d'import et je suis curieux des solutions adoptées (en particuliers les transformations et tests fait par les scripts). Bien cordialement, david ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] [Corine Technique] Osmosis, fusion physique des fichiers, fusion des nodes
Et une explication pour les néophytes :) Il reste encore beaucoup d'étapes avant que l'on puisse voir notre belle carte française avec forêts, champs,... ? Parce que Emilie et Sly nous font baver avec leur carte (Corine et BD Alti) :p Le 3 juillet 2009 09:46, David MENTRE a écrit : > Bonjour à tous, > > Le 2 juillet 2009 23:29, Emilie Laffray a écrit > : > > Pas de problème. Il y a en effet 18 080 504 objets dans les fichiers que > > j'ai exporte. Désolée de ne pas avoir pu faire plus. Je suis un peu > > pressée par le temps en ce moment. > > Une fois que vous aurez un peu plus de temps, ce serait sympa de faire > un courriel résumant cet import. J'ai vaguement suivi les discussions > sur ces listes mais j'ai pas compris tous les problèmes d'import et je > suis curieux des solutions adoptées (en particuliers les > transformations et tests fait par les scripts). > > Bien cordialement, > david > > ___ > Talk-fr mailing list > Talk-fr@openstreetmap.org > http://lists.openstreetmap.org/listinfo/talk-fr > ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] [Corine Technique] Osmosis, fusion physique des fichiers, fusion des nodes
2009/7/3 Etienne Trimaille > Et une explication pour les néophytes :) > > Il reste encore beaucoup d'étapes avant que l'on puisse voir notre belle > carte française avec forêts, champs,... ? > Parce que Emilie et Sly nous font baver avec leur carte (Corine et BD Alti) > :p > > Je verrais pour écrire pour une explication pour les néophytes ce soir. Emilie Laffray ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] [Corine Technique] Osmosis, fusion physique des fichiers, fusion des nodes
2009/7/3 David MENTRE > Bonjour à tous, > > Une fois que vous aurez un peu plus de temps, ce serait sympa de faire > un courriel résumant cet import. J'ai vaguement suivi les discussions > sur ces listes mais j'ai pas compris tous les problèmes d'import et je > suis curieux des solutions adoptées (en particuliers les > transformations et tests fait par les scripts). > > Il existe une page sur le wiki expliquant les premières étapes sont exécutées. Je n'ai pas eus le temps de le mettre a jour sans parler que j'utilise une version modifiée de polyshp2osm (meilleure gestion de la création des polygones, produit des fichiers 0.6, support multipolygones). Je vais bientôt demander a uploader la nouvelle version du script sur Subversion. J'essaierais ce soir de trouver le temps d'écrire une version expliquant les différentes étapes, ainsi que les problèmes rencontres. La dernière étape est en cours de réalisation par Pieren. Emilie Laffray ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] [Corine Technique] Osmosis, fusion physique des fichiers, fusion des nodes
2009/7/3 Emilie Laffray : > La dernière étape > est en cours de réalisation par Pieren. > > Emilie Laffray La dernière étape consiste a fusionner les nodes dupliqués (éventuellement aussi les fichiers .osm). Mais il faut aussi que je fasse des tests pour voir si le script bulk_upload.py est capable de gérer une telle quantité d'éléments. En effet, pour chaque élément créé, il regarde si son id n'est pas déjà translaté dans le serveur. On va se retrouver avec un tableau (collection, hashmap?) de 18 millions d'id (en fait deux id's, le local et celui du serveur) et je ne connais pas suffisament Python pour savoir s'il est capable de gérer ça correctement (c.a.d rapidement). Pieren ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] [Corine Technique] Osmosis, fusion physique des fichiers, fusion des nodes
2009/7/3 Pieren > La dernière étape consiste a fusionner les nodes dupliqués > (éventuellement aussi les fichiers .osm). > Mais il faut aussi que je fasse des tests pour voir si le script > bulk_upload.py est capable de gérer une telle quantité d'éléments. > En effet, pour chaque élément créé, il regarde si son id n'est pas > déjà translaté dans le serveur. On va se retrouver avec un tableau > (collection, hashmap?) de 18 millions d'id (en fait deux id's, le > local et celui du serveur) et je ne connais pas suffisament Python > pour savoir s'il est capable de gérer ça correctement (c.a.d > rapidement). > > Il faudra surement cree plusieurs changesets. Je regarderais le fichier bulk_upload.py ce week end. Emilie Laffray ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] [Corine Technique] Osmosis, fusion physique des fichiers , fusion des nodes
2009/7/3 sly (sylvain letuffe) : Juste pour vous tenir au courant : j'ai terminé (et testé) le script qui fusionne les nodes dupliqués sans en modifier l'ordre. J'ai aussi fusionner les fichiers xml en un seul non compressé (2.4Gb). Prochaines étapes dans les jours prochains: - execution du script pour supprimer les nodes dupliqués sur le fichier xml consolidé - modification du script python bulk_upload pour créer les éléments dans l'ordre de déclaration du fichier xml (et pas par type) - quelques tests sur le serveur dev avant de faire l'upload en lui-même Malheureusement, l'import CLC n'a aucune chance d'être terminé avant SOTM09. Le problème, c'est aussi le risque de démarrer l'upload pendant SOTM avec le risque de se faire blacklister. Je pense introduire des pauses dans le script pour éviter de prendre trop de ressources sur le serveur, quitte à mettre un jour ou deux de plus. Pieren ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] [Corine Technique] Osmosis, fusion physique des fichiers , fusion des nodes
2009/7/7 Pieren > - modification du script python bulk_upload pour créer les éléments > dans l'ordre de déclaration du fichier xml (et pas par type) Ça je peux faire. Ça ne devrait pas trop prendre de temps. > > Malheureusement, l'import CLC n'a aucune chance d'être terminé avant > SOTM09. Le problème, c'est aussi le risque de démarrer l'upload > pendant SOTM avec le risque de se faire blacklister. Je pense > introduire des pauses dans le script pour éviter de prendre trop de > ressources sur le serveur, quitte à mettre un jour ou deux de plus. > > On verra bien. Si on démarre l'upload, il faudra qu'on regarde les zones qui auront été uploadees. Emilie Laffray ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
