J'ai reposé la question sur dev hier, et Peter Körner m'a répondu en privé. Cela confirme le souci actuel concernant l'utilisation de la mémoire avec de gros extraits historiques. Mais rien n'est perdu pour qui veut (et surtout peut) s'attaquer au souci :
*Hi Well, osm-history-renderer is - after all - a proof of concept. It's impossible atm. to import a full country without having tons of RAM. If you are interested in optimizing the memory usage I could provide you with plans about a memory layout frederik ramm and I once talked about; I never came around to implement it, while the necessary interfaces are already in place. Regards, Peter* Le 12 juillet 2012 11:25, Aurélien FILEZ <kinj...@gmail.com> a écrit : > Bonjour, > > J'ai téléchargé le fichier france.osh.pbf, qui date de juin il me semble, > et n'ai pas fait de découpage, étant donné que je recherche à sortir des > statistiques sur l'ensemble de la France. > > Puis j'ai tenté de l'importer comme suit : > > osm-history-importer france.osh.pbf > > Au fur et à mesure de la lecture, la mémoire se remplit, jusqu'à ne plus > pouvoir allouer quoi que ce soit. > > Est-ce qu'il y aurait un mode qui irait écrire directement en base, sans > garder tant d'information en mémoire ? > > 2012/7/12 Arnaud Vandecasteele <arnaud....@gmail.com> > >> Cela dépend de quel process tu aprles : >> >> - osm-history-splitter découpe la zone que tu désires >> >> - osm-history-importer importe les données en base >> >> - et osm-history-renderer génère les animations >> >> Concernant les perfs. >> Pour ma part, j'ai un petit serveur qui tourne sur Ubuntu 12.04 avec 2Go >> de Ram. >> Chaque processus me prend 98% du CPU. Donc à ne pas faire sur un serveur >> en prod. >> >> Ensuite la taille dépend essentiellement du nombre d'images générées (en >> fonction du pas de temps) et de la dimension celles-ci. Difficile à dire >> donc. >> >> Arnaud >> >> >> >> 2012/7/12 Aurélien FILEZ <kinj...@gmail.com> >> >>> Sur mon ubuntu server, de 8Go de RAM alors qu'il n'y a que ça qui >>> tourne, ça me met encore une erreur par manque de mémoire. >>> >>> Ça n'écrit pas dans la BDD au fur et à mesure de la lecture ? >>> >>> >>> 2012/7/12 Ab_fab <gamma....@gmail.com> >>> >>>> Cool, >>>> >>>> Tu nous tiens au courant des choses que tu as mis en pratique avec ? >>>> Et sinon, quels sont les besoins en mémoire de cet import, au final ? >>>> et l'espace disque nécessaire ? >>>> (Mêmes questions pour Arnaud) >>>> >>>> Le 12 juillet 2012 10:18, Aurélien FILEZ <kinj...@gmail.com> a écrit : >>>> >>>> Non en fait j'étais en session a distance et ça ne m'avais pas renvoyé >>>>> le message d'erreur. Une fois sur le pc physique, j'ai vu un problème de >>>>> mémoire. >>>>> >>>>> Alors j'ai redémarré le serveur, et relancer le truc, tout seul, ça >>>>> tourne ;) >>>>> >>>>> >>>>> 2012/7/12 Ab_fab <gamma....@gmail.com> >>>>> >>>>>> As-tu bien donné à la bdd que tu as créée le même nom que le nom de >>>>>> l'utilisateur unix ? >>>>>> >>>>>> Selon le tuto : >>>>>> >>>>>> *"next we'll get that data into the database. Oh wait: which >>>>>> database? * >>>>>> *We'll first have to setup our postgres database. It's best if you >>>>>> use your user-database (that's database-name = your unix username)"* >>>>>> >>>>>> Je crois que j'avais du recommencer à cause de cette "subtilité" >>>>>> >>>>>> On continue l'investigation sur dev-fr ? >>>>>> >>>>>> Le 11 juillet 2012 19:07, Aurélien FILEZ <kinj...@gmail.com> a écrit >>>>>> : >>>>>> >>>>>> Après avoir exécuté "osm-history-importer france.osh.pbf", j'obtiens >>>>>>> des tables hist_point, hist_line et hist_polygon vides (0 rows) >>>>>>> >>>>>>> >>>>>>> 2012/7/11 Christian Quest <cqu...@openstreetmap.fr> >>>>>>> >>>>>>>> Mis sous forme de graphique c'est plus parlant (document >>>>>>>> LibreOffice)... http://dl.free.fr/pUraG0Fan >>>>>>>> >>>>>>>> On voit que le réseau autoroutier a été complet dès 2009, que les >>>>>>>> voies rapides n'évoluent plus beaucoup depuis 2010, que le réseau >>>>>>>> primaire est stable depuis 2011. >>>>>>>> >>>>>>>> >>>>>>>> Le 11 juillet 2012 15:48, Christian Quest <cqu...@openstreetmap.fr> >>>>>>>> a écrit : >>>>>>>> > Pour des stats il y a aussi ceci: http://length.osm4people.org/ >>>>>>>> > >>>>>>>> > Et pour la France : http://length.osm4people.org/france.html >>>>>>>> > On y apprend qu'en novembre 2006, il y avait 2846km de routes et >>>>>>>> qu'en >>>>>>>> > mars dernier on en était à plus d'1 million de km. En 2011, plus >>>>>>>> de >>>>>>>> > 300.000km de routes on été ajoutés. >>>>>>>> > >>>>>>>> >>>>>>>> -- >>>>>>>> Christian Quest - OpenStreetMap France - >>>>>>>> http://openstreetmap.fr/u/cquest >>>>>>>> >>>>>>>> _______________________________________________ >>>>>>>> Talk-fr mailing list >>>>>>>> Talk-fr@openstreetmap.org >>>>>>>> http://lists.openstreetmap.org/listinfo/talk-fr >>>>>>>> >>>>>>> >>>>>>> >>>>>>> _______________________________________________ >>>>>>> Talk-fr mailing list >>>>>>> Talk-fr@openstreetmap.org >>>>>>> http://lists.openstreetmap.org/listinfo/talk-fr >>>>>>> >>>>>>> >>>>>> >>>>>> >>>>>> -- >>>>>> ab_fab <http://wiki.openstreetmap.org/wiki/User:Ab_fab> >>>>>> "Il n'y a pas de pas perdus" >>>>>> >>>>>> _______________________________________________ >>>>>> Talk-fr mailing list >>>>>> Talk-fr@openstreetmap.org >>>>>> http://lists.openstreetmap.org/listinfo/talk-fr >>>>>> >>>>>> >>>>> >>>>> _______________________________________________ >>>>> Talk-fr mailing list >>>>> Talk-fr@openstreetmap.org >>>>> http://lists.openstreetmap.org/listinfo/talk-fr >>>>> >>>>> >>>> >>>> >>>> -- >>>> ab_fab <http://wiki.openstreetmap.org/wiki/User:Ab_fab> >>>> "Il n'y a pas de pas perdus" >>>> >>>> _______________________________________________ >>>> Talk-fr mailing list >>>> Talk-fr@openstreetmap.org >>>> http://lists.openstreetmap.org/listinfo/talk-fr >>>> >>>> >>> >>> _______________________________________________ >>> Talk-fr mailing list >>> Talk-fr@openstreetmap.org >>> http://lists.openstreetmap.org/listinfo/talk-fr >>> >>> >> >> >> -- >> -------------------------------------------------------------------- >> Arnaud Van De Casteele >> Mines Paris Tech - CRC >> Sophia-Antipolis >> 0698 24 25 29 >> SIG - WebMapping - Spatial Ontology - GeoCollaboration >> >> Web Site >> http://perso.crc.mines-paristech.fr/~arnaud.van_de_casteele/ >> http://geotribu.net/ >> http://www.i2c.eu/ >> >> _______________________________________________ >> Talk-fr mailing list >> Talk-fr@openstreetmap.org >> http://lists.openstreetmap.org/listinfo/talk-fr >> >> > > _______________________________________________ > Talk-fr mailing list > Talk-fr@openstreetmap.org > http://lists.openstreetmap.org/listinfo/talk-fr > > -- ab_fab <http://wiki.openstreetmap.org/wiki/User:Ab_fab> "Il n'y a pas de pas perdus"
_______________________________________________ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
