On mercredi 31 mars 2010, Marc Sibert wrote: > 7 jours pour importer quoi ? Un planet complet ? En effet, j'ai pas été super utile dans mon commentaire ;-)
Il s'agit du fichier europe.osm.bz2 par géofabrik de 3.2Go en bzip2 L'import est fait à l'aide de osm2pgsql comprenant quelques petits tweaks qui lui font prendre encore un peu plus de temps. J'ai toutefois noté que l'absence de suffisamment de RAM (2Go "seulement") était un gros goulot d'étranglement car peu de possibilité de mise en cache qui, sur une autre machine dont je dispose avec 32Go donne 2 jours au lieu de 7 > C'est une question de > benchmark car j'ai un parser de fichiers .osm qui remplit une base > Sqlite3 (Spatialite en fait) en 2 heures pour la France. Pour la france, sur la même machine, ça ne prend "que" quelques heures (peut-être 6 si mes souvenirs sont bons) Ton projet semble intéressant, il ne me semble pas avoir trouvé d'équivalent de osm2pgsql qui sache directement incorporer ça dans du spatialite, ce qui ouvre des voies à plusieurs applications embarquées. (y'a des chances que ton truc puisse tourner sous linux sans utiliser un parseur xml windo-windowsien ou autre librairie introuvable ? ;-) ) > Pour l'Europe, > j'ai du interrompre mon appli à la création des indexes (je fais un > "bulk insert" sans index pour aller plus vite), au bout de 3 jours > (l'import lui-même se fait en une bonne dizaine d'heures). Les comparaisons sont dur à faire avec des machines différentes, pour mon osm2pgsql, l'import a pris la moitié, et la création des indexes spatiaux le reste Mais je n'importe pas tout, et le schéma osm2pgsql n'est pas super optimal je trouve > En fait je me demande si Sqlite3 est assez costaude pour gérer 50 à 60 > Go de données pour l'Europe et surement plus du double pour le Planet. ça, je ne pourrais dire. Mais en se débrouillant bien je doute que l'on ne puisse pas réduire à quelque chose comme 6Go. Le fichier xml est plein à craquer de redondance de partout. Question taille, osmosis doit être au top avec son schéma, il faudrait demander une taille a quelqu'un qui opère une telle base -- sly Sylvain Letuffe sylv...@letuffe.org qui suis-je : http://slyserv.dyndns.org _______________________________________________ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr