[OSM-talk-fr] osm2pgsql diff benchmark, beta.letuffe.org reborn
Petit message de retour d'expérience pour les gestionnaires de bases osm de type osm2pgsql (rendu, stats, ...) que ça pourrait intéresser : Certains qui connaissent beta.letuffe.org savent sans doute que ce dernier mois a été pénible au niveau des mises à jour de la base. (Toujours en retard, jamais à jour, super méga trop lent, etc.) En fait, ça fait plutôt 6 mois que c'est vraiment la galère, car d'un coté la base osm dispose de plus en plus de mise à jour et de contributeur (c'est plutôt une bonne chose !) et je traite un peu plus de choses qu'avant. Bref, la mise à jour de la base par le système de diff (planet.openstreetmap.org) avait atteint sa limite car il fallait à mon petit serveur environ 50 secondes pour manger 1 minute de mise à jour (zone europe), il passait donc plus son temps qu'a ça, ralentissant tout le reste et après 1 mois n'a toujours pas rattrapé mainstream. Mais voilà, Moore est passé par là ! La base osm grandi et grossi ? que cela ne tienne, c'est pareil pour les ordinateurs ! Je résume pour les pressés en une seule phrase : "les disque SSD c'est de la bombe de balle" Benchs : Bécanne A, (la vielle): 2Go RAM / 2 disques SATA magnétiques RAID0 (1rpm) Bécanne B, (tests): 32Go RAM / 2 disques SATA magnétiques RAID1 (1rpm) Bécanne C, (new): 8Go RAM / 2 disques SATA SSD RAID0 (INTEL SSDSA2M080) case1) Import du fichier europe.osm.bz2 géofabrik ($/home/ressource-for-osm/osm2pgsql/osm2pgsql -C 1200 -s -S ./default.style -G -x -m -d gis europe.osm.bz2) A: 7 jours B: 3 jours (2.5j avec 16Go de cache) C: 8 heures case 2) moyenne d'import d'un diff d'une minute (moyenne sur nuit/jour) ($time /home/ressource-for-osm/osm2pgsql/osm2pgsql -C 400 --bbox -27,31,50,72 -e 18 -o./regeneration_old_tiles/expire_file_list -x -G -a -s -S ./default.style -m -d gis temporaire.osc) A:~50secondes B:~30secondes (le cache RAM du noyau linux doit bien aider) C:~3secondes Donc, si vous voulez vous monter un rendu mapnik à jour, le SSD, vous ne regretterez pas ! Sans compter que le rendu lui même dépote grave. Passage en prod sous peu. -- sly Sylvain Letuffe sylv...@letuffe.org qui suis-je : http://slyserv.dyndns.org ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] osm2pgsql diff benchmark, beta.letuffe.org reborn
Le 05/05/2010 16:42, sly (sylvain letuffe) a écrit : > Donc, si vous voulez vous monter un rendu mapnik à jour, le SSD, vous ne > regretterez pas ! Whouahou !! Ça fait rêver !! Merci pour ces benchs. ... mais c'est encore un peu cher. -- Etienne ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] osm2pgsql diff benchmark, beta.letuffe.org reborn
Surtout des SSD Intel, belle machine. Je suis totalement jaloux. 2010/5/5 Etienne Chové > Le 05/05/2010 16:42, sly (sylvain letuffe) a écrit : > > Donc, si vous voulez vous monter un rendu mapnik à jour, le SSD, vous ne > > regretterez pas ! > > Whouahou !! Ça fait rêver !! Merci pour ces benchs. > > ... mais c'est encore un peu cher. > > -- > Etienne > > > ___ > Talk-fr mailing list > Talk-fr@openstreetmap.org > http://lists.openstreetmap.org/listinfo/talk-fr > -- Mon weblog - http://www.tenshu.fr/ Je soutiens le Logiciel Libre, j'adhère à l'APRIL ! ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] osm2pgsql diff benchmark, beta.letuffe.org reborn
2010/5/5 Tenshu > Surtout des SSD Intel, belle machine. Je suis totalement jaloux. > > J'ai lu que les performances des SSD se dégradaient sérieusement avec le temps. Est-ce toujours le cas ? C'était, je crois, l'une des raisons qui fait qu'ils n'ont pas été choisis pour le nouveau serveur de l'API OSM. Pieren ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] osm2pgsql diff benchmark, beta.letuffe.org reborn
sly (sylvain letuffe) a écrit : > Petit message de retour d'expérience pour les gestionnaires de bases osm de > type osm2pgsql (rendu, stats, ...) que ça pourrait intéresser : [...] > Benchs : > > Bécanne A, (la vielle): 2Go RAM / 2 disques SATA magnétiques RAID0 (1rpm) > Bécanne B, (tests): 32Go RAM / 2 disques SATA magnétiques RAID1 (1rpm) > Bécanne C, (new): 8Go RAM / 2 disques SATA SSD RAID0 (INTEL SSDSA2M080) > > case1) Import du fichier europe.osm.bz2 géofabrik > ($/home/ressource-for-osm/osm2pgsql/osm2pgsql -C > 1200 -s -S ./default.style -G -x -m -d gis europe.osm.bz2) > > A: 7 jours > B: 3 jours (2.5j avec 16Go de cache) > C: 8 heures Merci pour ces benchs c'est très intéressant. Peux-tu nous donner aussi la version de osm2pgsql que tu utilises. De mon coté je fais des tests en utilisant un tablespace répartit sur plusieurs disques dans un raid0. J'utilise la base en oneshot je peux me permettre de la perdre, je ne travaille que sur la France aussi donc les imports sont moins long. Néanmoins je vais lancer un import de l'europe pour faire des comparatifs avec tes 8 heures. ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] osm2pgsql diff benchmark, beta.letuffe.org reborn
Merci pour les bench, Dans 10 ans on les regardera avec nostalgie ;-) Vivement que les prix des SSD baissent. On pourrat demander a Intel un coup de pouce? !? -- RatZilla$ FoRêVeu$e$ ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] osm2pgsql diff benchmark, beta.letuffe.org reborn
Aller Gaël (RatZilla$), je suis sûr que tu as un contact chez intel ;-) Le 05/05/2010 22:42, RatZilla$ a écrit : > Merci pour les bench, > Dans 10 ans on les regardera avec nostalgie ;-) > Vivement que les prix des SSD baissent. > On pourrat demander a Intel un coup de pouce? !? > > ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] osm2pgsql diff benchmark, beta.letuffe.org reborn
On mercredi 5 mai 2010, Rodolphe Quiedeville wrote: > Merci pour ces benchs c'est très intéressant. Peux-tu nous donner aussi > la version de osm2pgsql que tu utilises. Ouep, pardon, mon bench n'est pas tout à fait ISO9006 ;-) j'ai pas mal oublié de préciser quels logiciels j'avais utilisé, mes excuses, je rectifie le tir : La config logiciel est identique sur toutes les machines - Debian Lenny 64bits (tous les logiciels sont de la distrib sauf osm2pgsql et osmosis) donc : - postgis 1.3.3-3 - postgresql-8.3 8.3.9-0lenny1 pour osm2pgsql, version à peine tunée : - osm2pgsql SVN version 0.69-exported J'ai d'ailleurs oublié une mesure brute des disques dur A: hdparm -t /dev/sda (disque magnétique) Timing buffered disk reads: 314 MB in 3.00 seconds = 104.60 MB/sec hdparm -t /dev/md0 (Raid 0 de disques magnétiques) Timing buffered disk reads: 640 MB in 3.00 seconds = 213.31 MB/sec B: hdparm -t /dev/sda (disque magnétique) Timing buffered disk reads: 342 MB in 3.01 seconds = 113.74 MB/sec hdparm -t /dev/md2 (Raid 1 de disques magnétiques) Timing buffered disk reads: 318 MB in 3.00 seconds = 105.86 MB/sec C: hdparm -t /dev/sdb (disque Intel SSD) Timing buffered disk reads: 462 MB in 3.01 seconds = 153.45 MB/sec hdparm -t /dev/md3 (Raid 0 de disques SSD Intel) Timing buffered disk reads: 794 MB in 3.00 seconds = 264.55 MB/sec On notera d'ailleurs que la vitesse brute séquentielle n'a rien d'extraordinaire sur le SSD, mais les accès postgres sont par essence "random" et là, ça fait toute la différence -- sly Sylvain Letuffe sylv...@letuffe.org qui suis-je : http://slyserv.dyndns.org ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
