Am 06.09.2010 09:37, schrieb Florian Lohoff:
SQL DBs passen nicht wirklich schoen zu den OSM Daten. Das Problem mit der TRAPI
sind die vielen kleinen files und perl als interpretersprache die nicht
wirklich super fuer die bit ops ist (Ich bin sonst schon ein perl fan)
Du kennst PostGis? die Geometrie-Daten werden in einem Binärformat
abgespeichert.
Ein eigenes DB-Schema kann man auch erstellen. Ähnlich dem von Mapnik.
Datenbanken sind genau für so etwas gemacht. sie müssen nicht erst
eingelesen werden, sondern haben Indzes usw.
ich hab sehr gute erfahrungen gemacht. sogar für routing gibt es eine
Postgis erweiterung.
Selbst komplizierte GeoOperationen auf Deutschland waren in meiner VM
extrem schnell trotz 1 GB Ram
Server haben meist ein vielfaches.
In Zukunft wird es so kommen müssen, wenn man eine Funktionierende und
nutzbare XAPI haben möchte.
Man braucht einfach einen kompletten Server für sowas.
ein kleiner webspace reicht für die Welt nicht aus.
Ich finde das Thema OSM binary file format spannend.
hm da bin ich nicht so ein großer fan von, da wird die selbe Situation
Entstehen wie sie jetzt existiert.
Keiner kann den Code warten, es seidenn du Kommentierst extrem gut. das
ist aber meiner Erfahrung nach nur bei wenigen Entwicklern die solche
Sachen machen der Fall.
Wichtig ist auch das der import schnell geht, so das fritzchen mueller
das auch mal schnell auf seiner kiste machen kann.
Das wird bei solchen datenmengen nicht passieren. das wird auch in
zukunft die Webspaces sprengen.
Deshalb habe ich mal mit einem parallelisierten OSM XML file reading
rumgespielt d.h. beliebig viele cores dafuer zu nutzen (Wenn das bunzip single
threaded ist kann man durchauf 6-8 Cores beschaeftigen). Klappt soweit ganz
gut. Die frage ist nur wie man jetzt das ganze XML in eine Datenbank
verbuddelt - Da habe ich erste experimente mit integer compression und string
deduplication gemacht - nen bischen wie die google protocol buffers (ohne die
zu kennen) bis ich dann ueber die osm binary file implementierung gestolpert
bin.
Cool. leider kenne ich mich in dem Gebiet noch nicht aus, sodass ich dir
da nicht helfen kann..
außerdem kann es ja auch verschiedene Ansätze geben.
evtl auch einen Verteiler der je nach art die Anfrage an verschidene
Syteme weitergibt.
_______________________________________________
Talk-de mailing list
Talk-de@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-de
