Re: [OSM-talk-fr] Format PBF
Bonjour, pour conclure le thread http://planet.openstreetmap.org/pbf-experimental/ Emilie Laffray 2011/2/28 Pieren > > Je parlais du planet original, pas des extractions par > continents/pays/régions proposés par Geofabrik et qui sont évidemment très > gourmands en ressources. > > ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] Format PBF
2011/2/28 Eric > > > Même geofabrik/Frederik Ramm ne le demande pas. > > C'est pas très clair. Il ne le demande pas directement mais pousse > quand meme pas mal dans cette direction :) Sur le blog [1] il dit : > > Je parlais du planet original, pas des extractions par continents/pays/régions proposés par Geofabrik et qui sont évidemment très gourmands en ressources. Pieren ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] Format PBF
> Toutefois, si le traitement du fichier est plus rapide,
> osm2pgsql en mode slim reste quasiment inchange en terme de performance.
En tous cas, pour mes p'tits traitements perso (génération de
cartes Garmin), c'est le jour et la nuit: je gagne plusieurs heures
à chaque génération :
* 30% sur le temps de récup du france.pbf (car 30% + petit)
* Evitement de la phase d'extraction BZ2 -> OSM (1/4 h je crois, sûrement plus)
* Et surtout, pour parser chaque bande composant ma carte, ca fait
15mn au lieu de 45mn je crois de mémoire
Donc au total, ca change tout. Et accessoirement, ca gagne de la
place. Tout bénéf :) Je passe juste en OSM pour mes fichiers
intermédiaires ("petite" taille) pour pourvoir controler le contenu.
> Même geofabrik/Frederik Ramm ne le demande pas.
C'est pas très clair. Il ne le demande pas directement mais pousse
quand meme pas mal dans cette direction :) Sur le blog [1] il dit :
The new “protobuf binary format” (.osm.pbf) is 30% smaller than the
bzip2-compressed OSM XML, and it can be processed or extracted much
faster than bzip2 files. Also, while we will continue supporting the
bzip2 files for a while, we hope that we can ultimately free up some
resources by dropping bz2 support, and use these resources to produce
an even wider set of daily updated OSM extracts.
D'ailleurs les PBF sont maintenant générés en priorité on dirait. Au
vu des économies de disque et de bande passante, ca doit etre bien
tentant comme orientation.
Il ne reste qu'à attendre l'adoption en natif par JOSM :)
[1] http://blog.geofabrik.de/?p=58
___
Talk-fr mailing list
Talk-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] Format PBF
2011/2/28 sly (sylvain letuffe) > Si quelqu'un à le courage de développé le support pbf pour osm2pgsql, j'en > serais un heureux beta-testeur ;-) > > C'est par là: http://gis.638310.n2.nabble.com/PBF-parsing-frontend-for-osm2pgsql-tester-wanted-td5692443.html Pieren ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] Format PBF
(Pour ceux qui sont motivés, on peut aussi continuer à parler du format pbf sur la liste dev-fr) > Il est prevu de proposer a terme un fichier planete en PBF en addition du > fichier xml compressee. Toutefois, si le traitement du fichier est plus > rapide, osm2pgsql en mode slim reste quasiment inchange en terme de > performance. Le temps d'un import par osm2pgsql est majoritairement lié aux IO disque, il y a donc du processeur à revendre qui est disponible pour décompressé en live le bzip2 et traiter le xml. Cependant, si je me souviens bien, F. Ramm avait développé un parseur simplifié pour le xml qui permettait d'utiliser moins de mémoire et donc, indirectement, d'améliorer les IO sur des configurations à mémoire faible (usage plus important de cache disque par le noyau linux et pour le cache des noeud par l'option -C) Donc, si je dis pas trop de conneries, le format pbf étant plus simple à parcourir, on devrait au final pouvoir gagner du temps sur les configs à peu de RAM en exploitant mieux cette mémoire. Si quelqu'un à le courage de développé le support pbf pour osm2pgsql, j'en serais un heureux beta-testeur ;-) -- sly qui suis-je : http://sly.letuffe.org ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] Format PBF
Salut, Il est prevu de proposer a terme un fichier planete en PBF en addition du fichier xml compressee. Toutefois, si le traitement du fichier est plus rapide, osm2pgsql en mode slim reste quasiment inchange en terme de performance. Emilie Laffray 2011/2/27 Pieren > 2011/2/27 Nicolas Dumoulin > > Le samedi 26 février 2011 13:52:45 Eric, vous avez écrit : >> > Ce format est-il en cours de généralisation ? >> >> Bonsoir, >> >> J'avais posé la même question il y a quelques temps ici même, mais sans >> réponse probante. Je pense qu'il faudrait aller sur la liste anglophone >> pour >> avoir plus d'infos. >> >> > Non, pour l'instant, il n'y a pas intention de remplacer le format standard > XML par celui-ci sur le planet original, pour des raisons de portabilité. > Même geofabrik/Frederik Ramm ne le demande pas. Mais les sites tiers vont > sans doute le faire pour des questions d'efficacité et de coûts. En > revanche, il y a déjà eu une entame de discussion sur l'avenir de la base > qui devra probablement être partagée sur plusieurs serveurs (et donc voir > comment cela va se faire pour les extractions). Il est probable à mon avis > qu'on se dirige vers des serveurs par zones géographiques, ce qui semble le > plus logique. Mais il ne semble pas qu'il y ait urgence. > > Pieren > > > ___ > Talk-fr mailing list > Talk-fr@openstreetmap.org > http://lists.openstreetmap.org/listinfo/talk-fr > > ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] Format PBF
2011/2/27 Nicolas Dumoulin > Le samedi 26 février 2011 13:52:45 Eric, vous avez écrit : > > Ce format est-il en cours de généralisation ? > > Bonsoir, > > J'avais posé la même question il y a quelques temps ici même, mais sans > réponse probante. Je pense qu'il faudrait aller sur la liste anglophone > pour > avoir plus d'infos. > > Non, pour l'instant, il n'y a pas intention de remplacer le format standard XML par celui-ci sur le planet original, pour des raisons de portabilité. Même geofabrik/Frederik Ramm ne le demande pas. Mais les sites tiers vont sans doute le faire pour des questions d'efficacité et de coûts. En revanche, il y a déjà eu une entame de discussion sur l'avenir de la base qui devra probablement être partagée sur plusieurs serveurs (et donc voir comment cela va se faire pour les extractions). Il est probable à mon avis qu'on se dirige vers des serveurs par zones géographiques, ce qui semble le plus logique. Mais il ne semble pas qu'il y ait urgence. Pieren ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] Format PBF
Le samedi 26 février 2011 13:52:45 Eric, vous avez écrit : > Ce format est-il en cours de généralisation ? Bonsoir, J'avais posé la même question il y a quelques temps ici même, mais sans réponse probante. Je pense qu'il faudrait aller sur la liste anglophone pour avoir plus d'infos. -- Nicolas Dumoulin http://wiki.openstreetmap.org/wiki/User:NicolasDumoulin ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] Format PBF
Bonjour, La découverte d'Osmosis est mon sujet de PTAO (*) du jour. J'ai fait une extraction de bounding box depuis un extrait régional de Geofabrik. Pas de comparaison avec une version XML, mais quoi qu'il en soit, cela fonctionne sans problème (une grosse agglomération extraite en moins de 9 minutes) (sur un netbook fonctionnant sous Win XP, soit dit en passant). A noter l'application toute récente OSMembrane [1] , qui permet de bien visualiser l'enchainement des traitements (le pipeline, si j'ai bien suivi). L'appli est bien présentée, ce qui rend l'usage de l'outil beaucoup plus accessible qu'à la ligne de commande. Je pense qu'elle ravira ceux qui veulent faire des traitements complexes [1] http://lists.openstreetmap.org/pipermail/osmosis-dev/2011-February/000920.html (*) Perte de Temps Assistée par Ordinateur Le 26 février 2011 13:52, Eric a écrit : > Bonjour, > > J'ai récemment "découvert" le format PBF. J'avais noté son existence > mais jusqu'à maintenant, par confort (et flemme !) j'en restait au > format XML mais depuis que j'ai vu que OSMOSIS savait le gérer en > natif, je m'y suis mis et je le trouve très efficace ! > Le fichier France par exemple ne fait que 1.3Go au lieu de 1.6Go en > BZ2 (!!) et 30Go en XML [1]. Et du coup mes traitements sur la carte sont > beaucoup plus rapides (pour extraire une zone par exemple, 1h au lieu > de 4h) et il reste possible d'en extraire le format XML pour > contrôle. Par contre, je ne le vois que sur GEOFABRIK mais sur aucun > des différents miroirs que j'ai pu voir ?!? Je me demandais > pourquoi vu tous les avantages de ce format ? Surtout que le site de > GEOFABRIK > n'est pas très en forme depuis quelques jours 8(. Ils évoquent d'ailleurs > la possibilité de se limiter au format PBF et de ne plus proposer les > BZ2 pour libérer des ressources [1] > > Ce format est-il en cours de généralisation ? > > [1] http://download.geofabrik.de/osm/europe/ > [2] http://blog.geofabrik.de/?p=58 > > > - > Eric (User:Blueberry) > > > > ___ > Talk-fr mailing list > Talk-fr@openstreetmap.org > http://lists.openstreetmap.org/listinfo/talk-fr > -- -- ab_fab "Il n'y a pas de pas perdus" ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
[OSM-talk-fr] Format PBF
Bonjour, J'ai récemment "découvert" le format PBF. J'avais noté son existence mais jusqu'à maintenant, par confort (et flemme !) j'en restait au format XML mais depuis que j'ai vu que OSMOSIS savait le gérer en natif, je m'y suis mis et je le trouve très efficace ! Le fichier France par exemple ne fait que 1.3Go au lieu de 1.6Go en BZ2 (!!) et 30Go en XML [1]. Et du coup mes traitements sur la carte sont beaucoup plus rapides (pour extraire une zone par exemple, 1h au lieu de 4h) et il reste possible d'en extraire le format XML pour contrôle. Par contre, je ne le vois que sur GEOFABRIK mais sur aucun des différents miroirs que j'ai pu voir ?!? Je me demandais pourquoi vu tous les avantages de ce format ? Surtout que le site de GEOFABRIK n'est pas très en forme depuis quelques jours 8(. Ils évoquent d'ailleurs la possibilité de se limiter au format PBF et de ne plus proposer les BZ2 pour libérer des ressources [1] Ce format est-il en cours de généralisation ? [1] http://download.geofabrik.de/osm/europe/ [2] http://blog.geofabrik.de/?p=58 - Eric (User:Blueberry) ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
