Marc Sibert a écrit : > sylvain letuffe a écrit : >> ... après 7 jours d'import >> >> c'est qu'elle grossie vachement la base osm ! >> > Juste une question pour moi car je redéveloppe mon API OSM en C++ pour > la version 0.6 : > 7 jours pour importer quoi ? Un planet complet ? C'est une question > de benchmark car j'ai un parser de fichiers .osm qui remplit une base > Sqlite3 (Spatialite en fait) en 2 heures pour la France. Pour > l'Europe, j'ai du interrompre mon appli à la création des indexes (je > fais un "bulk insert" sans index pour aller plus vite), au bout de 3 > jours (l'import lui-même se fait en une bonne dizaine d'heures). > > En fait je me demande si Sqlite3 est assez costaude pour gérer 50 à 60 > Go de données pour l'Europe et surement plus du double pour le Planet. > > Merci de ton retour, > > -- > Marc > Bonsoir,
Juste pour faire un point à ce sujet, j'ai été un peu optimiste dans mon message initial. Voici donc des mesures que j'ai pu effectuer aujourd'hui. Import de france.osm.bz2 du 9/4. bulk insert de : Nodes : 32320574 - Ways : 2154054 - Relations : 108442 en 8149s (2h16) ; creation des indexes (dont un spatial pour les nodes - RTree) + analyse (statistiques pour calculer les plans d'exécution des requêtes) en 31030s au total (incluant les 8149s) soient 8h37 au total et 6h1/4 pour les indexes seulement.. J'ai relancé avec l'index spatial défini lors de l'instanciation des tables : bulk insert : 33676s (9h21) création des index (les autres) + analyse en 35751s (9h56) soient 30 minutes pour les indexes. Pour info la machine est : AMD Athlon 3000+ (mono proc, mono core) 1.81 GHz - 2 Go ram - 250 Go SATA, un poste utilisateur standard quoi ! Le code est en C++ avec Spatialite, il est distribuable en cc-by-sa 2.0 (hé hé), par contre si quelqu'un sait jouer des autotools, ça m'intéresse de le rendre compilable facilement en linux. J'avais commencé un make à la main, mais ça devient l'enfer à maintenir. A+ Marc _______________________________________________ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr