Re: [Talk-de] "Sync" zwischen openstreetmap.de und openstreetmap.org Datenbanken

2012-04-14 Diskussionsfäden Hartmut Holzgraefe
On 04/14/2012 05:22 PM, Ivan De Masi wrote:
> Was bedeutet "die Karte wird aber langsamer aktualisiert"? Von Seiten der
> Technik her?
> Oder gibt es Teams die die Daten aud osm.org ziehen und dann nach osm.de
> übertragen?

Der Workflow ist in etwa folgender:

* deine Änderungen landen in der zentralen Openstreetmap Datenbank,
  diese gibt es nur einmal zentral

* wenn Du in deinem Editor Daten herunterlädst stammen diese direkt
  aus der zentralen Datenbank

* aus dieser Datenbank werden wöchentlich alle Daten im OSM XML Format
  exportiert (Planetfile) , weiterhin tägliche, stündliche und
  minütliche Zusammenfassungen der Änderungen

Alle weiteren Anwendungen, insbesondere auch die verschiedenen
gerenderten Karten, verarbeiten die exportierten Daten und benutzen
nicht direkt die zentrale Datenbank (diese wäre der Last garnicht
gewachsen und das Datenmodell dort ist auch recht speziell auf die
Edit-Aufgabe optimiert).

Für die Standardlkarten auf openstreetmap.org und auch .de heißt
das:

* es wird einmalig ein Planet File in eine für Renderaufgaben besser
  geeignete Datenbank importiert (PostgreSQL + PostGIS, das Importtool
  ist idR. osm2pgsl), das dauert je nach Rechnerausstattung mehrere
  Tage

* aus dieser Datenbank werden dann die Kartenkacheln erzeugt, für
  gröbere Zoomlevel automatisch, für höhere Detailstufen on Demand
  beim ersten Abruf. Bereits vorhandene Kartenkacheln werden direkt
  ausgeliefert und erst wenn sie ein bestimmtes Alter erreicht haben
  werden sie neu erstellt

* die importierte Datenbank wird regelmäßig über Diff-Files (tägl./
  stündl./minütl.) auf den aktuellen Stand gebracht

Dieser Prozess verläuft je nach Dienst unterschiedlich schnell,
je nach verfügbarere Leistung und abhängig davon wie oft die
lokale Renderdatenbakn aktualisiert wird und die Lebensdauer
der erzeugten Kartenkacheln eingestellt wurde

-- 
hartmut

___
Talk-de mailing list
Talk-de@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-de


Re: [Talk-de] "Sync" zwischen openstreetmap.de und openstreetmap.org Datenbanken

2012-04-14 Diskussionsfäden Jimmy_K
Auf vielfachen Wunsch hin, werden die diffs seit 4.4. doch wieder 
regelmäßig ausgegeben:


http://planet.openstreetmap.org/redaction-period/
http://blog.osmfoundation.org/2012/04/04/api-read-write-returns/


Am 14.04.2012 17:47, schrieb Bernd Wurst:

Hallo.

Am 14.04.2012 17:22, schrieb Ivan De Masi:

Was bedeutet "die Karte wird aber langsamer aktualisiert"? Von Seiten der
Technik her?
Oder gibt es Teams die die Daten aud osm.org ziehen und dann nach osm.de
übertragen?

Die Synchronisierung bei OSM funktioniert der Art, dass von der
Haupt-Datenbank alle Minute die "minutely-diffs" erzeugt werden, also
die Änderungen der letzten Minute. Zudem gibt es "hourly-diffs" und
"daily-diffs".

Jede andere Datenbank muss nun in gewisser Regelmäßigkeit die
betreffenden Änderungen vom Haupt-Server herunterladen und in der
eigenen Kopie einspielen.

Das ist zwar keine Handarbeit sondern lässt sich vortrefflich
automatisieren. Aber das Einspielen der Änderungssätze in die Datenbank
kostet sehr viele System-Ressourcen.

Schwächere Server oder solche mit langsamerer Anbindung synchronisieren
daher eher weniger oft, schnelle Server eher öfter.
Der Server der die Karte auf openstreetmap.org erzeugt steht ja quasi
direkt neben der Datenbank und ist sehr schnell, der aktualisiert immer
sofort (also meistens minütlich). Der Server für openstreetmap.de ist
nicht ganz so schnell und aktualisiert eben etwas weniger oft.


Allerdings, ich seh grade: auf planet.openstreetmap.org ist die Zeit am
1.4. stehengeblieben. Ich weiß nicht ob es seither noch reguläre Diffs
gibt oder ob damit gewartet wird bis die Lizenzwechsel-Aufräum-Aktion
durch ist.

Gruß, Bernd



___
Talk-de mailing list
Talk-de@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-de


___
Talk-de mailing list
Talk-de@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-de


Re: [Talk-de] "Sync" zwischen openstreetmap.de und openstreetmap.org Datenbanken

2012-04-14 Diskussionsfäden Ivan De Masi
> -Ursprüngliche Nachricht-
> Von: Bernd Wurst [mailto:be...@bwurst.org] 
> Gesendet: Samstag, 14. April 2012 17:47
> An: Openstreetmap allgemeines in Deutsch
> Betreff: Re: [Talk-de] "Sync" zwischen openstreetmap.de und 
> openstreetmap.org Datenbanken
> 
> Hallo.
> 
> Am 14.04.2012 17:22, schrieb Ivan De Masi:
> > Was bedeutet "die Karte wird aber langsamer aktualisiert"? 
> Von Seiten der
> > Technik her?
> > Oder gibt es Teams die die Daten aud osm.org ziehen und 
> dann nach osm.de
> > übertragen?
> 
> Die Synchronisierung bei OSM funktioniert der Art, dass von der
> Haupt-Datenbank alle Minute die "minutely-diffs" erzeugt werden, also
> die Änderungen der letzten Minute. Zudem gibt es "hourly-diffs" und
> "daily-diffs".
> 
> Jede andere Datenbank muss nun in gewisser Regelmäßigkeit die
> betreffenden Änderungen vom Haupt-Server herunterladen und in der
> eigenen Kopie einspielen.
> 
> Das ist zwar keine Handarbeit sondern lässt sich vortrefflich
> automatisieren. Aber das Einspielen der Änderungssätze in die 
> Datenbank
> kostet sehr viele System-Ressourcen.
> 
> Schwächere Server oder solche mit langsamerer Anbindung 
> synchronisieren
> daher eher weniger oft, schnelle Server eher öfter.
> Der Server der die Karte auf openstreetmap.org erzeugt steht ja quasi
> direkt neben der Datenbank und ist sehr schnell, der 
> aktualisiert immer
> sofort (also meistens minütlich). Der Server für openstreetmap.de ist
> nicht ganz so schnell und aktualisiert eben etwas weniger oft.
> 
> 
> Allerdings, ich seh grade: auf planet.openstreetmap.org ist 
> die Zeit am
> 1.4. stehengeblieben. Ich weiß nicht ob es seither noch reguläre Diffs
> gibt oder ob damit gewartet wird bis die Lizenzwechsel-Aufräum-Aktion
> durch ist.
> 
> Gruß, Bernd

Hallo Bernd,

Danke für die ausführliche Erläuterung - das erklärt natürlich einiges!
Und für mich als Admin ist der technische Aspekt sowieso interessant :-)

Viele Grüsse
Ivan 


___
Talk-de mailing list
Talk-de@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-de


Re: [Talk-de] "Sync" zwischen openstreetmap.de und openstreetmap.org Datenbanken

2012-04-14 Diskussionsfäden Bernd Wurst
Hallo.

Am 14.04.2012 17:22, schrieb Ivan De Masi:
> Was bedeutet "die Karte wird aber langsamer aktualisiert"? Von Seiten der
> Technik her?
> Oder gibt es Teams die die Daten aud osm.org ziehen und dann nach osm.de
> übertragen?

Die Synchronisierung bei OSM funktioniert der Art, dass von der
Haupt-Datenbank alle Minute die "minutely-diffs" erzeugt werden, also
die Änderungen der letzten Minute. Zudem gibt es "hourly-diffs" und
"daily-diffs".

Jede andere Datenbank muss nun in gewisser Regelmäßigkeit die
betreffenden Änderungen vom Haupt-Server herunterladen und in der
eigenen Kopie einspielen.

Das ist zwar keine Handarbeit sondern lässt sich vortrefflich
automatisieren. Aber das Einspielen der Änderungssätze in die Datenbank
kostet sehr viele System-Ressourcen.

Schwächere Server oder solche mit langsamerer Anbindung synchronisieren
daher eher weniger oft, schnelle Server eher öfter.
Der Server der die Karte auf openstreetmap.org erzeugt steht ja quasi
direkt neben der Datenbank und ist sehr schnell, der aktualisiert immer
sofort (also meistens minütlich). Der Server für openstreetmap.de ist
nicht ganz so schnell und aktualisiert eben etwas weniger oft.


Allerdings, ich seh grade: auf planet.openstreetmap.org ist die Zeit am
1.4. stehengeblieben. Ich weiß nicht ob es seither noch reguläre Diffs
gibt oder ob damit gewartet wird bis die Lizenzwechsel-Aufräum-Aktion
durch ist.

Gruß, Bernd

-- 
Ich hasse Hausarbeit!
Man macht die Betten, wäscht das Geschirr, wischt Staub -
und sechs Monate später geht alles wieder von vorne los...



signature.asc
Description: OpenPGP digital signature
___
Talk-de mailing list
Talk-de@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-de


Re: [Talk-de] "Sync" zwischen openstreetmap.de und openstreetmap.org Datenbanken

2012-04-14 Diskussionsfäden mailto...@gmx.net
On Sat, 14 Apr 2012 17:22:11 +0200
"Ivan De Masi"  wrote:

> Was bedeutet "die Karte wird aber langsamer aktualisiert"? 

Das bedeutet - nach meinem Kenntnisstand, dass die vielen Bilddateien für den 
deutschen Stil nicht so oft gerendert werden, also die Daten aus der Datenbank 
grafisch dargestellt werden.

lg, Aimo

___
Talk-de mailing list
Talk-de@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-de


Re: [Talk-de] "Sync" zwischen openstreetmap.de und openstreetmap.org Datenbanken

2012-04-14 Diskussionsfäden Ivan De Masi
> -Ursprüngliche Nachricht-
> Von: Jimmy_K [mailto:jimm...@gmx.at] 
> Gesendet: Samstag, 14. April 2012 17:14
> An: beatmach...@rapper.de; Openstreetmap allgemeines in Deutsch
> Betreff: Re: [Talk-de] "Sync" zwischen openstreetmap.de und 
> openstreetmap.org Datenbanken
> 
> Openstreetmap.de nutzt die Daten von Openstreetmap.org, die 
> Karte wird 
> aber langsamer aktualisiert.
> Findest du die Straße in Openstreetmap.org?
> 
> LG Jimmy

Hallo Jimmy,

ja, ich kann die Strasse & den Abschnitt auf Openstreetmap.org finden.
Deshalb wundere ich mich nun, daß auf openstreetmap.de davon nichts
erscheint.

Was bedeutet "die Karte wird aber langsamer aktualisiert"? Von Seiten der
Technik her?
Oder gibt es Teams die die Daten aud osm.org ziehen und dann nach osm.de
übertragen?

Danke!

Grüsse
Ivan


___
Talk-de mailing list
Talk-de@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-de


Re: [Talk-de] "Sync" zwischen openstreetmap.de und openstreetmap.org Datenbanken

2012-04-14 Diskussionsfäden Jimmy_K
Openstreetmap.de nutzt die Daten von Openstreetmap.org, die Karte wird 
aber langsamer aktualisiert.

Findest du die Straße in Openstreetmap.org?

LG Jimmy

Am 14.04.2012 15:39, schrieb Ivan De Masi:

Hallo,

ich bin neu bei OSM und habe eine Frage zur OSM-Datenbank:

Ich habe ein kleines Stück Strasse im Piemont/Italien bei osm.org
eingezeichnet, benannt, Tags vergeben etc. (mittels JOSM).
Wenn ich nun diese Strasse über openstreetmap.de suche, wird sie mir jedoch
nicht angezeigt, bzw. gefunden. Woran liegt das?
Es wird doch auf die gleiche Datenbank zugegriffen oder? Oder benötigt der
Sync-Prozess einige Tage?

Vielen Dank!

Viele Grüsse
Ivan



___
Talk-de mailing list
Talk-de@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-de




___
Talk-de mailing list
Talk-de@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-de


[Talk-de] "Sync" zwischen openstreetmap.de und openstreetmap.org Datenbanken

2012-04-14 Diskussionsfäden Ivan De Masi
Hallo,

ich bin neu bei OSM und habe eine Frage zur OSM-Datenbank:

Ich habe ein kleines Stück Strasse im Piemont/Italien bei osm.org
eingezeichnet, benannt, Tags vergeben etc. (mittels JOSM).
Wenn ich nun diese Strasse über openstreetmap.de suche, wird sie mir jedoch
nicht angezeigt, bzw. gefunden. Woran liegt das?
Es wird doch auf die gleiche Datenbank zugegriffen oder? Oder benötigt der
Sync-Prozess einige Tage?

Vielen Dank!

Viele Grüsse
Ivan



___
Talk-de mailing list
Talk-de@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-de