Re: [Talk-de] Geofabrik-Extrakte zT mit doppelten Objekten / repariert

2010-01-11 Diskussionsfäden Sven Anders
Am 10.01.2010 23:50, schrieb Frederik Ramm:
 Hallo,

  am 7.1. habe ich die Geofabrik-Extrakte auf die Nutzung von
 replication diffs statt der normalen Diffs umgestellt. Das sollte
 eigentlich keine Auswirkungen haben. Ich habe aber dabei vergessen,
 diese Diffs mit --simc nachzuverarbeiten, so dass dort, wo sich das
 gleiche Objekt mehrfach am Tag geaendert hat, am Ende in den
 Geofabrik-Auszuegen auch zweimal das gleiche Objekt vorkam.

 Das fuehrte einmal bei Sven Anders zu einem Problem mit dem TMC-Checker,
 und eventuell ist auch Jan Tappenbecks Splitter-Problem darauf
 zurueckzufuehren. Auch aus dem befreundeten Ausland haben sich einige
 Opfer gemeldet - so sieht man wenigstens mal, wer alles diese Daten
 benutzt ;-)

 Die Auszuege, die morgen frueh rauskommen, sind nun wieder korrekt.

 Sorry fuer die Unannehmlichkeiten!#


Danke!

Danke für Eurem großartigen Dienst und  Danke für die schnelle Reaktion

Gruß
Sven

___
Talk-de mailing list
Talk-de@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-de


Re: [Talk-de] Geofabrik-Extrakte zT mit doppelten Objekten / repariert

2010-01-11 Diskussionsfäden Chris-Hein Lunkhusen
Frederik Ramm schrieb:

 am 7.1. habe ich die Geofabrik-Extrakte auf die Nutzung von 
 replication diffs statt der normalen Diffs umgestellt. 
 ...
 Die Auszuege, die morgen frueh rauskommen, sind nun wieder korrekt.

Da ich in meiner Prozesskette einen osmosis-merge mit den Meerpolygonen
drin habe, bei dem die doppelten IDs vermutlich bereinigt werden
und beim mkgmap keine Fehlermeldungen auftraten, und die Karte
nach Test in MapSource gut funktionierte, verzichte ich mal
auf einen Rebuild der Januar Karte.

Bei der Gelegenheit: Danke für Eure Datenaufbereitung!

Was mich noch interessieren würde:

Wie wird bei so großen Downloads eigentlich sichergestellt,
dass die runtergeladenen Datei konsistent ist, falls
der Download genau zu dem Zeitpunkt stattfindet, wenn
die Datei auf dem Server aktualisiert wird?

Chris


___
Talk-de mailing list
Talk-de@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-de


Re: [Talk-de] Geofabrik-Extrakte zT mit doppelten Objekten / repariert

2010-01-11 Diskussionsfäden Frederik Ramm
Hallo,

Chris-Hein Lunkhusen wrote:
 Wie wird bei so großen Downloads eigentlich sichergestellt,
 dass die runtergeladenen Datei konsistent ist, falls
 der Download genau zu dem Zeitpunkt stattfindet, wenn
 die Datei auf dem Server aktualisiert wird?

Normalerweise sorgt der, der die Datei auf dem Server erstellt, dafuer, 
dass das nicht passiert. Man legt die Datei unter einem neuen Namen an, 
und erst dann, wenn sie komplett fertig ist, wird sie auf den korrekten 
Namen umbenannt. Das ist unter Unix ein atomarer Vorgang, da kann also 
nichts schiefgehen.

Bye
Frederik

___
Talk-de mailing list
Talk-de@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-de


Re: [Talk-de] Geofabrik-Extrakte zT mit doppelten Objekten / repariert

2010-01-11 Diskussionsfäden Chris-Hein Lunkhusen
Bernd Wurst schrieb:

 erst dann, wenn sie komplett fertig ist, wird sie auf den korrekten 
 Namen umbenannt.
 
 Wichtig zum Verständnis:
 Der Webserver öffnet eine Datei per Name, arbeitet dann aber mit dem File-
 Handle. Von einem File-Handle kann man noch lange Daten Lesen, auch wenn die 
 Datei schon gelöscht oder überschrieben wurde. Erst wenn alle File-Handles 
 einer Datei ausgebraucht sind, wird diese wirklich gelöscht, vorher nicht.

Also sorgt das Filesystem dafür dass das so geht.

Wobei ich mir jetzt nicht sicher bin ob NTFS das auch so macht.
Bei Windows kenne ich es eher so, dass man eine Datei erst
dann löschen/umbenennen kann, wenn sie nicht mehr in
Benutzung (auch Lesend) ist.

Chris


___
Talk-de mailing list
Talk-de@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-de


[Talk-de] Geofabrik-Extrakte zT mit doppelten Objekten / repariert

2010-01-10 Diskussionsfäden Frederik Ramm
Hallo,

am 7.1. habe ich die Geofabrik-Extrakte auf die Nutzung von 
replication diffs statt der normalen Diffs umgestellt. Das sollte 
eigentlich keine Auswirkungen haben. Ich habe aber dabei vergessen, 
diese Diffs mit --simc nachzuverarbeiten, so dass dort, wo sich das 
gleiche Objekt mehrfach am Tag geaendert hat, am Ende in den 
Geofabrik-Auszuegen auch zweimal das gleiche Objekt vorkam.

Das fuehrte einmal bei Sven Anders zu einem Problem mit dem TMC-Checker, 
und eventuell ist auch Jan Tappenbecks Splitter-Problem darauf 
zurueckzufuehren. Auch aus dem befreundeten Ausland haben sich einige 
Opfer gemeldet - so sieht man wenigstens mal, wer alles diese Daten 
benutzt ;-)

Die Auszuege, die morgen frueh rauskommen, sind nun wieder korrekt.

Sorry fuer die Unannehmlichkeiten!

Bye
Frederik

-- 
Frederik Ramm  ##  eMail frede...@remote.org  ##  N49°00'09 E008°23'33

___
Talk-de mailing list
Talk-de@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-de