Re: [Talk-de] Liste aller Grenzrelationen der Staaten

2009-10-12 Diskussionsfäden marcus.wolschon
On Mon, 12 Oct 2009 00:50:31 +0200, Frederik Ramm frede...@remote.org
wrote:
 Eine Datenbank, die regelmaessig nur mit diffs gefuettert wird - 
 Ausnahme die minute-replicate-Diffs - wird langsam inkonsistent, weil 
 prinzipbedingt ein ganz kleiner Teil von Edits verloren gehen *kann* bei 
 so einem Diff (auch Stunden- oder Tagesdiffs).

Kannst du das näher erläutern?

Marcus

___
Talk-de mailing list
Talk-de@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-de


Re: [Talk-de] Liste aller Grenzrelationen der Staaten

2009-10-12 Diskussionsfäden Frederik Ramm
Hallo,

Stephan Knauss wrote:
 Wo würdest du denn speziell ansetzen um signifikant Zeit gegenüber einem 
 Neuimport zu sparen?

Meine Hoffnung stuetzt sich auf zweierlei: Erstens haette ich eine 
stundenlange Lese-Operation gefolgt von ein paar wenigen 
Schreiboperationen - ich nehme an, dass die Datenbank die ganze Zeit 
ueber relativ ungestoert weiter zur Nutzung zur Verfuegung stehen kann, 
waehrend ein Komplett-Import (selbst wenn er auf einer anderen 
Datenbankinstanz gemacht wird) die Kiste eher ausbremst. Zweitens wuerde 
die Index-Erzeugung, die nach meiner Erfahrung mindestens ein Drittel 
der Planet-Import-Zeit einnimmt, auf ein vernachlaessigbares Mass 
zusammenschrumpfen.

 Ich hatte mal mit imports für einzelne Länder gespielt. Da war neu 
 einlesen schneller als Diff einspielen.

Da hast Du das Neu-Einlesen dann aber ohne --slim gemacht, oder?

Bye
Frederik


___
Talk-de mailing list
Talk-de@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-de


Re: [Talk-de] Liste aller Grenzrelationen der Staaten

2009-10-12 Diskussionsfäden Sarah Hoffmann
On Mon, Oct 12, 2009 at 12:22:19AM +0200, Stephan Knauss wrote:
 Frederik Ramm wrote:
  Stephan Knauss wrote:
  select distinct (osm_id*-1) as id, name, name:en as name_en from 
  planet_osm_line where osm_id 0 AND admin_level='2'

Da musst du jetzt aber noch diejenigen Relationen herausfiltern,
die nur als Subrelationen gebraucht werden, also zum Beispiel
#51239 Deutschland - Schweiz.

 Ist es eigentlich normal, dass da einige IDs mehrfach auftauchen? Oder 
 hat es bei mir im Laufe der Zeit mal den Import zerbröselt? Die DB 
 bekommt schon länger nur die Tages-Diffs.

Das ist normal. planet_osm_line enthält nur einfache Wege. Wenn
eine Relation zerstückelt ist, taucht jedes Teilstück einzeln
in planet_osm_line auf.

Gruss

Sarah

___
Talk-de mailing list
Talk-de@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-de


Re: [Talk-de] Liste aller Grenzrelationen der Staaten

2009-10-12 Diskussionsfäden Frederik Ramm
Hallo,

marcus.wolsc...@googlemail.com wrote:
 Eine Datenbank, die regelmaessig nur mit diffs gefuettert wird - 
 Ausnahme die minute-replicate-Diffs - wird langsam inkonsistent, weil 
 prinzipbedingt ein ganz kleiner Teil von Edits verloren gehen *kann* bei 
 so einem Diff (auch Stunden- oder Tagesdiffs).
 
 Kannst du das näher erläutern?

Osmosis erzeugt die Diffs auf dem zentralen Server aufgrund der 
History-Tabelle mit einem Query, der alles abfragt, was zwischen zwei 
Zeitpunkten passiert ist. Aufgrund der Transaktionsisolierung bekommt 
Osmosis aber nur die Daten, die einen Timestamp im fraglichen Fenster 
haben UND deren Transaktion schon committed ist. Durch diff-Uploads kann 
es einige sehr lang laufende Transaktionen geben.

Beispiel: Das stuendliche Diff fuer den Zeitraum 13:00-14:00 wird um 
14:20 erzeugt und hat alle Daten mit Timestamp 13:00-14:00. Wenn um 
12:59 eine Transaktion begonnen wird, die bis 13:21 laeuft, so 
erscheinen um 13:21 ploetzlich lauter Daten in der Datenbank, die einen 
Timestamp von 12:59 haben. Diese verpasst das Diff, und sie werden auch 
im 14:00-15:00-Diff nicht drin sein.

Fuer alle anderen Arten von diffs gilt das vergleichbar.

Bye
Frederik

___
Talk-de mailing list
Talk-de@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-de


Re: [Talk-de] Liste aller Grenzrelationen der Staaten - L ücken in Diffs

2009-10-12 Diskussionsfäden marcus.wolschon
On Mon, 12 Oct 2009 09:23:29 +0200, Frederik Ramm frede...@remote.org
wrote:
 Hallo,
 
 marcus.wolsc...@googlemail.com wrote:
 Eine Datenbank, die regelmaessig nur mit diffs gefuettert wird - 
 Ausnahme die minute-replicate-Diffs - wird langsam inkonsistent, weil

 prinzipbedingt ein ganz kleiner Teil von Edits verloren gehen *kann*
bei

 so einem Diff (auch Stunden- oder Tagesdiffs).
 
 Kannst du das näher erläutern?
 
 Osmosis erzeugt die Diffs auf dem zentralen Server aufgrund der 
 History-Tabelle mit einem Query, der alles abfragt, was zwischen zwei 
 Zeitpunkten passiert ist. Aufgrund der Transaktionsisolierung bekommt 
 Osmosis aber nur die Daten, die einen Timestamp im fraglichen Fenster 
 haben UND deren Transaktion schon committed ist. Durch diff-Uploads kann 
 es einige sehr lang laufende Transaktionen geben.
 
 Beispiel: Das stuendliche Diff fuer den Zeitraum 13:00-14:00 wird um 
 14:20 erzeugt und hat alle Daten mit Timestamp 13:00-14:00. Wenn um 
 12:59 eine Transaktion begonnen wird, die bis 13:21 laeuft, so 
 erscheinen um 13:21 ploetzlich lauter Daten in der Datenbank, die einen 
 Timestamp von 12:59 haben. Diese verpasst das Diff, und sie werden auch 
 im 14:00-15:00-Diff nicht drin sein.
 
 Fuer alle anderen Arten von diffs gilt das vergleichbar.

Danke für die Erklährung Frederik.

Mir ist da gerade etwas zu eingefallen:

Werden die Changeset-IDs linear hochgezählt?

Falls ja könnte man die Query so gestalten:

Select * from changesets where id  [grösste Chageset ID des letzten
Laufes]
OR id in [alle nicht aufgetauchten changeset IDs in einem geeignetem
Intervall]

der zweite Teil könnte möglicherweise genau diese Lücken finden.

Marcus

___
Talk-de mailing list
Talk-de@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-de


Re: [Talk-de] Liste aller Grenzrelationen der Staaten - L ücken in Diffs

2009-10-12 Diskussionsfäden Frederik Ramm
Hallo,

marcus.wolsc...@googlemail.com wrote:
 Werden die Changeset-IDs linear hochgezählt?

Ich glaube ja (ist halt eine Postgres-Sequenz).

 Falls ja könnte man die Query so gestalten:
 
 Select * from changesets where id  [grösste Chageset ID des letzten
 Laufes]
 OR id in [alle nicht aufgetauchten changeset IDs in einem geeignetem
 Intervall]
 
 der zweite Teil könnte möglicherweise genau diese Lücken finden.

Grundsaetzlich ja, aber die normalen Diffs gehen nicht nach Changesets, 
dort werden einfach nodes/ways/relations in einem bestimmten Zeitfenster 
rausgesucht! Die minute-replicate-Diffs machen es ungefaehr so, wie Du 
oben beschreiben hast. Die sind relativ neu, einige Hinweise dazu finden 
sich im Thread hourly diffs are missing edits (too) auf der dev-Liste.

Bye
Frederik

___
Talk-de mailing list
Talk-de@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-de


Re: [Talk-de] Liste aller Grenzrelationen der Staaten

2009-10-12 Diskussionsfäden Stephan Knauss
Frederik Ramm wrote:
 Meine Hoffnung stuetzt sich auf zweierlei: Erstens haette ich eine 
 stundenlange Lese-Operation gefolgt von ein paar wenigen 
 Schreiboperationen - ich nehme an, dass die Datenbank die ganze Zeit 
 ueber relativ ungestoert weiter zur Nutzung zur Verfuegung stehen kann, 
 waehrend ein Komplett-Import (selbst wenn er auf einer anderen 
 Datenbankinstanz gemacht wird) die Kiste eher ausbremst. 
Wie findest du Leichen in der DB? Du müsstest dir ja zu jedem Eintrag 
merken ob er noch gültig ist, oder nicht.
Wenn du von einem Planet File ausgehst findest du recht einfach die 
geänderten und die neuen Einträge.
Vielleicht nur die IDs speichern, die gefunden wurden? Und später ein 
SELECT per EXCEPT drüber? Im schlimmsten Fall ein SeqScan pro Tabelle.

 Zweitens wuerde 
 die Index-Erzeugung, die nach meiner Erfahrung mindestens ein Drittel 
 der Planet-Import-Zeit einnimmt, auf ein vernachlaessigbares Mass 
 zusammenschrumpfen.
Wodurch wird denn die Indexerzeugung gestartet VACUUM ANALYZE?

 Ich hatte mal mit imports für einzelne Länder gespielt. Da war neu 
 einlesen schneller als Diff einspielen.
 Da hast Du das Neu-Einlesen dann aber ohne --slim gemacht, oder?
Ja. Das brauche ich ja nur wenn ich updaten will oder der Speicher knapp 
wird.

Stephan



___
Talk-de mailing list
Talk-de@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-de


Re: [Talk-de] Liste aller Grenzrelationen der Staaten - L ücken in Diffs

2009-10-12 Diskussionsfäden Stephan Knauss
Frederik Ramm wrote:
 Die minute-replicate-Diffs machen es ungefaehr so, wie Du 
 oben beschreiben hast. Die sind relativ neu, einige Hinweise dazu finden 
 sich im Thread hourly diffs are missing edits (too) auf der dev-Liste.

Ich habe das mal ausprobiert, läuft ganz gut. Auf dem Server werde ich 
das wohl so verwenden. Für meine Workstation daheim finde ich es etwas 
unpraktisch. Der Rechner ist über Nacht aus, dann bin ich ein paar 
Stunden arbeiten. Dann ist es doch wieder ein größeres Stück das fehlt. 
Da würden Stunden-Diffs auch reichen. Eventuell wären die auch ein wenig 
kleiner.

Ist bekannt ob es wenn die Minutendiffs rund laufen das auch für 
Stunden/Tage geben wird?

Stephan


___
Talk-de mailing list
Talk-de@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-de


Re: [Talk-de] Liste aller Grenzrelationen der Staaten

2009-10-12 Diskussionsfäden Stephan Knauss
Sarah Hoffmann wrote:
 select distinct (osm_id*-1) as id, name, name:en as name_en from 
 planet_osm_line where osm_id 0 AND admin_level='2'

 Da musst du jetzt aber noch diejenigen Relationen herausfiltern,
 die nur als Subrelationen gebraucht werden, also zum Beispiel
 #51239 Deutschland - Schweiz.

Schade. Dann wird es wohl nicht ohne Handarbeit gehen. Die Liste kann 
zumindest als Ausgangspunkt dienen.

 Ist es eigentlich normal, dass da einige IDs mehrfach auftauchen? 
 Das ist normal. planet_osm_line enthält nur einfache Wege. Wenn
 eine Relation zerstückelt ist, taucht jedes Teilstück einzeln
 in planet_osm_line auf.
Klingt einleuchtend. Da hätte ich auch selbst drauf kommen können. 
Vielen Dank für die Erklärung.

Stephan


___
Talk-de mailing list
Talk-de@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-de


Re: [Talk-de] Liste aller Grenzrelationen der Staaten

2009-10-11 Diskussionsfäden Gary68
hallo carsten,

evtl. hilft dir

http://wiki.openstreetmap.org/wiki/Boundaries.pl (kann auch nested
relations)

weiter?

oder auch eine solche liste:

http://wiki.openstreetmap.org/wiki/Relation_lists

könnte ich ggf. mal für europe oder planet laufen lassen...

ciao

gerhard



On Sun, 2009-10-11 at 13:59 +0200, Carsten Gerlach wrote:
 Hallo,
 
 ich habe auf meiner Nutzerseite 
 (http://wiki.openstreetmap.org/wiki/User:Daswaldhorn) eine Liste angefangen, 
 in der irgendwann mal alle Staaten mit ihrer Grenzrelation vertreten sein 
 sollen. Dabei ist mir aufgefallen, daß bei einigen Ländern die Gesamtrelation 
 nur die Relationen der einzelnen Grenzabschnitte enthält (z.B. Frankreich, 
 11980). Mir würde es lieber gefallen, wenn die Relation direkt die ways 
 enthält, zB. Tschechien, 51684.
 
 Warum?
 
 - Die API gibt im Falle Frankreichs nur die Relation plus die 
 Unterrelationen, 
 aber nicht die eigentlichen Ways, auch mit  /full nicht. Oder kenne ich den 
 Befehl für alles nicht?
 
 -  Der Relations-Analyzer kann mit diesen verschachtelten Relationen nicht 
 umgehen. Ja ich weiß, wir taggen nicht für den Analyzer, aber der ist halt 
 sehr hilfreich beim Finden von Lücken und sonstigen Fehlern.
 
 Was denkt ihr darüber? Sind die Verschachtelungen in Ordnung, oder sollten 
 die 
 Ways direkt in die Relation rein?
 
 Grüße, Carsten
 
 P.S: Falls jemand so eine Liste kennt, bitte melden, ich habe im Wiki noch 
 nichts gefunden.
 
 
 
 ___
 Talk-de mailing list
 Talk-de@openstreetmap.org
 http://lists.openstreetmap.org/listinfo/talk-de


___
Talk-de mailing list
Talk-de@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-de


Re: [Talk-de] Liste aller Grenzrelationen der Staaten

2009-10-11 Diskussionsfäden Carsten Gerlach
Hallo Gerhard,

Am Sonntag 11. Oktober 2009 14:43:09 schrieb Gary68:
 oder auch eine solche liste:

 http://wiki.openstreetmap.org/wiki/Relation_lists

 könnte ich ggf. mal für europe oder planet laufen lassen...

Das wäre fein, wenn du das nur für admin_level=2 machen könntest.

Grüße, Carsten



-- 
Hier ist mein öffentlicher GPG-Schlüssel:
http://daswaldhorn.funpic.de/gpg.html
=
www.stopptdievorratsdatenspeicherung.de


signature.asc
Description: This is a digitally signed message part.
___
Talk-de mailing list
Talk-de@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-de


Re: [Talk-de] Liste aller Grenzrelationen der Staaten

2009-10-11 Diskussionsfäden Frederik Ramm
Hallo,

Carsten Gerlach wrote:
 ich habe auf meiner Nutzerseite 
 (http://wiki.openstreetmap.org/wiki/User:Daswaldhorn) eine Liste angefangen, 
 in der irgendwann mal alle Staaten mit ihrer Grenzrelation vertreten sein 
 sollen.

Voruebergehend eventuell hilfreich; langfristig darf niemand davon 
ausgehen, dass Relations-IDs konstant bleiben. Ich koennte jederzeit 
eine Relation loeschen und neu anlegen, dann haette sie eine neue ID.

 Dabei ist mir aufgefallen, daß bei einigen Ländern die Gesamtrelation 
 nur die Relationen der einzelnen Grenzabschnitte enthält (z.B. Frankreich, 
 11980). Mir würde es lieber gefallen, wenn die Relation direkt die ways 
 enthält, zB. Tschechien, 51684.

Das skaliert nicht so gut, denn es gibt Laender, bei denen dieses 
Verfahren Relationen von nicht mehr handhabbarer Groesse hervorbringt. 
Du musst also auf jeden Fall auch mit kaskadierenden Relationen umgehen 
koennen.

Bye
Frederik

-- 
Frederik Ramm  ##  eMail frede...@remote.org  ##  N49°00'09 E008°23'33

___
Talk-de mailing list
Talk-de@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-de


Re: [Talk-de] Liste aller Grenzrelationen der Staaten

2009-10-11 Diskussionsfäden Stephan Knauss
Carsten Gerlach wrote:
 P.S: Falls jemand so eine Liste kennt, bitte melden, ich habe im Wiki noch 
 nichts gefunden.

könntest du das nicht aus der DB lesen?

zum Beispiel sind das alle, die eine geschlossene Relation haben. Bei 
den anderen fehlt in der Regel die Seegrenze.

select (osm_id*-1) as id, name, name:en as name_en from 
planet_osm_polygon where osm_id 0 AND admin_level='2'

Total query runtime: 133 ms.
60 rows retrieved.


52939;Føroyar;Faroe Islands
62269;Isle of Man;
9407;Andorra;
36990;Monaco;
252426;International Border - Russia - Georgia;
53293;Македонија;Macedonia
88206;Lesotho;
195269;Burundi;Burundi
88210;Swaziland;
195290;Malawi;Malawi
192800;Ethiopia;Ethiopia
87132;South Africa;
80500;Australia;
59470;Brasil;Brazil
184888;UNDOF;
178009;Кыргызстан;Kyrgyzstan
192783;Burkina Faso;Burkina Faso
87565;South Africa;
192788;Chad;Chad
192790;Central African Republic;Central African Republic
195271;Zambia;Zambia
195272;Zimbabwe;Zimbabwe
195274;Botswana;Botswana
192785;Mali;Mali
192786;Niger;Niger
49903;Laos national border;
240157;Cailloux à Malvillain;
157060;Algérie (Côte Méditerannéene);
218657;Slovenija;Slovenia
54624;San Marino;
36989;Città del Vaticano;
161033;Монгол улс;Mongolia
51499;Liechtenstein;
171496;Rwanda;Rwanda
184629;Bhutan;
184633;Nepal;
192796;Uganda;Uganda
214626;Тоҷикистон;Tajikstan
252645;Bolivia;
60189;Российская Федерация;Russian Federation
72594;Latvia;
214885;Croatia;
28711;Luxembourg;
47796;Nederland;The Netherlands
50046;Danmark;Denmark
51684;Česká Republika;Czech Republic
51701;Switzerland;Swiss Confederation
58974;Moldova;Moldova, rupublic of
62149;United Kingdom;
62273;Ireland;
184818;Jordan;Jordan
49715;Polska;Poland
51239;Deutschland - Schweiz;
59065;Республика Беларусь;Republic of Belarus
192797;Elemi Triangle;
48130;Italia;Italy
51477;Deutschland;Federal Republic of Germany
52411;België - Belgique - Belgien;Belgium
60199;Україна;Ukraine
148838;United States of America;


Die offenen Wege:

select distinct (osm_id*-1) as id, name, name:en as name_en from 
planet_osm_line where osm_id 0 AND admin_level='2'


Total query runtime: 222 ms.
137 rows retrieved.


9407;Andorra;
14296;Slovakia;
16239;Austria;Austria
16483;Slovenija;
17511;Deutschland - Österreich;
21335;Magyarország;Hungary
28711;Luxembourg;
36989;Città del Vaticano;
36990;Monaco;
47796;Nederland;The Netherlands
48130;Italia;Italy
49715;Polska;Poland
49865;Thailand national border;
49898;Cambodia national border;
49903;Laos national border;
49915;Vietnam national border;
50371;Burma national border;
51239;Deutschland - Schweiz;
51684;Česká Republika;Czech Republic
51701;Switzerland;Swiss Confederation
52411;België - Belgique - Belgien;Belgium
52822;Sweden;Sweden
52823;Norge;Norway
52939;Føroyar;Faroe Islands
53292;Shqipëria;Albania
53294;Србија;Serbia
53296;Crna_Gora;Montenegro
54224;Finland;
54624;San Marino;
58974;Moldova;Moldova, rupublic of
59065;Республика Беларусь;Republic of Belarus
59470;Brasil;Brazil
59525;HR - SR;
60189;Российская Федерация;Russian Federation
60199;Україна;Ukraine
62149;United Kingdom;
62269;Isle of Man;
62273;Ireland;
65212;Deutschland - Tschechien;
65227;Deutschland - Polen;
72594;Latvia;
72596;Lithuania;
79510;Estonia;
79981;France-territorial waters;
85764;România;Romania
87132;South Africa;
87565;South Africa;
88206;Lesotho;
88210;Swaziland;
90689;România;Romania
91917;Lithuania;
92863;España;
102647;Italia - Schweiz;
102666;Österreich - Schweiz;
102877;Österreich - Liechtenstein;
102882;Schweiz - Liechtenstein;
102885;Italia - Österreich;
102898;Österreich - Česko;
108089;Ecuador;
114685;United States of America;
114686;Mexico;
120027;Colombia;
148837;Canada;
148838;United States of America;
157060;Algérie (Côte Méditerannéene);
161033;Монгол улс;Mongolia
164802;България;Bulgaria
167454;Chile;
171496;Rwanda;Rwanda
174737;Türkiye;Турк
178009;Кыргызстан;Kyrgyzstan
184629;Bhutan;
184633;Nepal;
184640;Bangladesh;
184818;Jordan;Jordan
184840;Syria;Syria
184843;Lebanon;Lebanon
184888;UNDOF;
186382;България;Bulgaria
192307;Ελλάδα;Greece
192691;Morocco;
192734;North Korea;
192756;Algérie;Algeria
192757;تونس;Tunesia
192758;Lībiyā;Libya
192761;Egypt;Egypt
192763;Mauritania;Mauritania
192774;Gambia;Gambia
192775;Senegal;Senegal
192776;Guinea-Bissau;Guinea-Bissau
192777;Sierra Leone;Sierra Leone
192778;Guinea;Guinea
192779;Côte d'Ivoire;Côte d'Ivoire
192780;Liberia;Liberia
192781;Ghana;Ghana
192782;Togo;Togo
192783;Burkina Faso;Burkina Faso
192784;Benin;Benin
192785;Mali;Mali
192786;Niger;Niger
192787;Nigeria;Nigera
192788;Chad;Chad
192789;Sudan;Sudan
192790;Central African Republic;Central African Republic
192791;Guinea Ecuatorial;Equatorial Guinea
192793;Gabon;Gabon
192794;Congo (Brazzaville);Congo (Brazzaville)
192795;DR Congo;DR Congo
192796;Uganda;Uganda
192797;Elemi Triangle;
192798;Kenya;Kenya
192799;Somalia;Somalia
192800;Ethiopia;Ethiopia
192801;Djibouti;Djibouti
192830;Cameroon;Cameroon
195266;Namibia;Namibia
195267;Angola;Angola
195269;Burundi;Burundi

Re: [Talk-de] Liste aller Grenzrelationen der Staaten

2009-10-11 Diskussionsfäden Frederik Ramm
Hallo,

Stephan Knauss wrote:
 Die offenen Wege:
 select distinct (osm_id*-1) as id, name, name:en as name_en from 
 planet_osm_line where osm_id 0 AND admin_level='2'

osm2pgsql importiert auch geschlossene Grenzen zusaetzlich in die 
planet_osm_line.

Bye
Frederik

-- 
Frederik Ramm  ##  eMail frede...@remote.org  ##  N49°00'09 E008°23'33

___
Talk-de mailing list
Talk-de@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-de


Re: [Talk-de] Liste aller Grenzrelationen der Staaten

2009-10-11 Diskussionsfäden Stephan Knauss
Frederik Ramm wrote:
 Stephan Knauss wrote:
 select distinct (osm_id*-1) as id, name, name:en as name_en from 
 planet_osm_line where osm_id 0 AND admin_level='2'
 
 osm2pgsql importiert auch geschlossene Grenzen zusaetzlich in die 
 planet_osm_line.

Du hast recht, sind da tatsächlich mit drin.

Ist es eigentlich normal, dass da einige IDs mehrfach auftauchen? Oder 
hat es bei mir im Laufe der Zeit mal den Import zerbröselt? Die DB 
bekommt schon länger nur die Tages-Diffs.

Ich will keinen Neu-Import. Habe immer noch den Task offen, dass ich 
suchen will warum die DB hier so zäh ist :(

Stephan


___
Talk-de mailing list
Talk-de@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-de


Re: [Talk-de] Liste aller Grenzrelationen der Staaten

2009-10-11 Diskussionsfäden Frederik Ramm
Hallo,

Stephan Knauss wrote:
 Ist es eigentlich normal, dass da einige IDs mehrfach auftauchen? Oder 
 hat es bei mir im Laufe der Zeit mal den Import zerbröselt? Die DB 
 bekommt schon länger nur die Tages-Diffs.

Eine Datenbank, die regelmaessig nur mit diffs gefuettert wird - 
Ausnahme die minute-replicate-Diffs - wird langsam inkonsistent, weil 
prinzipbedingt ein ganz kleiner Teil von Edits verloren gehen *kann* bei 
so einem Diff (auch Stunden- oder Tagesdiffs). - Das mit den mehrfachen 
IDs ist aber glaub ich darin begruendet, wie osm2pgsql diese 
Grenzpolygone bearbeitet (naemlich irgendwie komisch).

 Ich will keinen Neu-Import. Habe immer noch den Task offen, dass ich 
 suchen will warum die DB hier so zäh ist :(

Wenn Du halbwegs fit bist mit C/C++ oder einer anderen Sprache, mit der 
ein effizienter Datenbankzugriff moeglich ist, dann waere es eine 
Super-Sache, wenn Du mal ein Utility schriebst, mit dem man ein 
heruntergeladenes Planetfile mit der osm2pgsql-Datenbank abgleichen 
kann. Das wuerde es naemlich ermoeglichen, mit einem vermutlich 
kleineren Aufwand als komplettem Neuimport eine mit der Zeit etwas aus 
dem Ruder gelaufene Datenbank zu re-synchronisieren.

Bye
Frederik

-- 
Frederik Ramm  ##  eMail frede...@remote.org  ##  N49°00'09 E008°23'33

___
Talk-de mailing list
Talk-de@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-de


Re: [Talk-de] Liste aller Grenzrelationen der Staaten

2009-10-11 Diskussionsfäden Stephan Knauss
Frederik Ramm wrote:
 Wenn Du halbwegs fit bist mit C/C++ oder einer anderen Sprache, mit der 
 ein effizienter Datenbankzugriff moeglich ist, dann waere es eine 
 Super-Sache, wenn Du mal ein Utility schriebst, mit dem man ein 
 heruntergeladenes Planetfile mit der osm2pgsql-Datenbank abgleichen 
 kann. Das wuerde es naemlich ermoeglichen, mit einem vermutlich 
 kleineren Aufwand als komplettem Neuimport eine mit der Zeit etwas aus 
 dem Ruder gelaufene Datenbank zu re-synchronisieren.

Wo würdest du denn speziell ansetzen um signifikant Zeit gegenüber einem 
Neuimport zu sparen?
Um alle Änderungen erkennen zu können müsstest du doch jeden Datensatz 
zumindest lesen. Ist da wirklich noch Zeitgewinn gegenüber einem Import?

Ich hatte mal mit imports für einzelne Länder gespielt. Da war neu 
einlesen schneller als Diff einspielen.

Stephan


___
Talk-de mailing list
Talk-de@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-de