Re: [OSM-talk-fr] telechargement france.osm
Le 01/12/2012 20:22, Claude a écrit : J'ai récupéré une moulinette sur github qui extrait des informations sur les cours d'eau. je l'ai modifié pour lui faire extraire les infos sur les canaux afin de voir ou en est la saisie de ceux-ci dans OSM. elle prend en paramètre le nom du fichier.osm décompressé Dommage qu'elle ne prenne pas en paramètre un fichier PBF. C'est 30-40% plus petit, et en faisant un test avec Osmosis, lire un fichier a pris: - 14 secondes avec un PBF - 1mn50 avec un OSM.bz2 (avec l'aide de «lbunzip2», qui décompresse en multi-thread) ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] telechargement france.osm
Le 02/12/2012 14:47, Fabien SK a écrit : Le 01/12/2012 20:22, Claude a écrit : J'ai récupéré une moulinette sur github qui extrait des informations sur les cours d'eau. je l'ai modifié pour lui faire extraire les infos sur les canaux afin de voir ou en est la saisie de ceux-ci dans OSM. elle prend en paramètre le nom du fichier.osm décompressé Dommage qu'elle ne prenne pas en paramètre un fichier PBF. C'est 30-40% plus petit, et en faisant un test avec Osmosis, lire un fichier a pris: - 14 secondes avec un PBF - 1mn50 avec un OSM.bz2 (avec l'aide de «lbunzip2», qui décompresse en multi-thread) ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr je vais voir s'il y a possibilité de modifier car pour extraire les données voulues de la france.osm ça a pris 594mn et pour générer la sortie html 99mn ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
[OSM-talk-fr] telechargement france.osm
Bonjour je suis a mon troisième téléchargement de france.osm.bz2 depuis géofabrik a chaque tentative de décompression par bunzip2 france.osm.bz2, après un long moment pendant lequel l'utilitaire travaille, la procedure avorte avec un message disant qu'il n'y a pas assez d'espace sur le disque (34 Go de libre). je pense que le fichier présent sur geofabrik est altéré . Y a il un autre endroit pour charger france.osm? celui de cloudmade indique que les fichier datent du 12 décembre 2011. merci cordialement Claude ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
[OSM-talk-fr] telechargement france.osm
Bonjour Claude, regarde avec Winrar par exemple quelle est la taille du fichier décompressé france.osm avant de le décompresser car il est très probable que ce fichier fasse plus de 34 Go. Michaël ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] telechargement france.osm
Et autant éviter de le décompresser si on peut utiliser bzcat en pipe... Le 1 décembre 2012 16:23, Michaël Zakrzewski mikamika48197...@free.fr a écrit : Bonjour Claude, regarde avec Winrar par exemple quelle est la taille du fichier décompressé france.osm avant de le décompresser car il est très probable que ce fichier fasse plus de 34 Go. Michaël -- Christian Quest - OpenStreetMap France - http://openstreetmap.fr/u/cquest ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] telechargement france.osm
Effectivement, surtout qu'il faut encore de la place pour la base de données dans laquelle on va charger les données. J'ai déjà essayé de charger le fichier France et une VM de 160 Go (incluant environ 1 Go de logiciel mais pas l'espace swap de 64Go pour la mémoire virtuelle) n'a pas suffit. Et avant que la base de données déborde dans le système de fichier cela a pris tout de même 2 jours sur une VM à laquelle j'avais consacré 6 processeurs sur 8... Charger le fichier France demande maintenant des ressources considérables, avec un serveur dédié, de l'espace de stockage confortable sur un système de fichier annexe pour les données temporaires. Ce serait bien que ceux qui parviennent encore à l'utiliser mentionnent quelque part la configuration qui leur a été nécessaire la dernière fois, surtout pour la question de l'espace disque (hors espace swap). et une indication du temps de chargement (avec une description sommaire des ressources de la machine utilisée: nombre de processeurs, mémoire, type de processeur, et type de montage du système de fichier, et si quel espace de fichiers ils ont mis sur un disque flash et non un disque physique (surtout pour la phase de génération des index de pgSQL). Si pour alléger le travail un préfilrage des données est effectué pour charger les données en plusieurs lots, ce serait bien aussi d'être guidé. c'est assez bête de faire tourner un script pendant 2 ou 3 jours et le voir planter parce que le système de fichiers n'a plus de place pour continuer à étendre la base de données pendant sa phase de préparation. Aussi, une fois l'opération terminée, y a-t-il beaucoup d'espace de travail temporaire libéré. La seule façon pour l'instant d'estimer cela c'est de commencer par une région plus petite pour estimer les besoins nécessaire approximativement pour une région plus grande. Malheureusement cette estimation à partir d'une région seulement est fausse : la densité spatiale des données n'est certainement pas du tout distribuée de la même façon selon qu'on considère l'île-de-France ou la Champagne-Ardenne, et il y a une part des volumes nécessaires non proportionnelle, ou qui croit de façon non linéaire (par exemple logarithmique), ce qui complique les estimations préalables d'espace. Le 1 décembre 2012 16:29, Christian Quest cqu...@openstreetmap.fr a écrit : Et autant éviter de le décompresser si on peut utiliser bzcat en pipe... Le 1 décembre 2012 16:23, Michaël Zakrzewski mikamika48197...@free.fr a écrit : Bonjour Claude, regarde avec Winrar par exemple quelle est la taille du fichier décompressé france.osm avant de le décompresser car il est très probable que ce fichier fasse plus de 34 Go. Michaël -- Christian Quest - OpenStreetMap France - http://openstreetmap.fr/u/cquest ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] telechargement france.osm
Le samedi 01 décembre 2012 16:06:02, Claude a écrit : je suis a mon troisième téléchargement de france.osm.bz2 depuis géofabrik a chaque tentative de décompression par bunzip2 france.osm.bz2, A noter qu'en général tu n'as pas besoin de le décompresser, ça dépend donc ce que tu comptes en faire. Y a il un autre endroit pour charger france.osm? celui de cloudmade indique que les fichier datent du 12 décembre 2011. Ici : http://download.openstreetmap.fr/extracts/europe/ C'est au format pbf, donc il n'y a pas de compression en jeu, et je recommande l'outil osmconvert pour le convertir -- sly (sylvain letuffe) ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] telechargement france.osm
Le 01/12/2012 17:11, sly (sylvain letuffe) a écrit : Le samedi 01 décembre 2012 16:06:02, Claude a écrit : je suis a mon troisième téléchargement de france.osm.bz2 depuis géofabrik a chaque tentative de décompression par bunzip2 france.osm.bz2, A noter qu'en général tu n'as pas besoin de le décompresser, ça dépend donc ce que tu comptes en faire. Y a il un autre endroit pour charger france.osm? celui de cloudmade indique que les fichier datent du 12 décembre 2011. Ici : http://download.openstreetmap.fr/extracts/europe/ C'est au format pbf, donc il n'y a pas de compression en jeu, et je recommande l'outil osmconvert pour le convertir j'ai réussis à extraire france.osm il fait 39 go. (en vidant la corbeille j'ai libéré 120 Go ) J'ai récupéré une moulinette sur github qui extrait des informations sur les cours d'eau. je l'ai modifié pour lui faire extraire les infos sur les canaux afin de voir ou en est la saisie de ceux-ci dans OSM. elle prend en paramètre le nom du fichier.osm décompressé cordialement Claude ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
