Re: [Talk-de] Fehler Import planet.osm.bz2: pending_ways

2011-11-16 Diskussionsfäden Frederik Ramm 

Hallo,

On 11/16/11 15:38, Klaus-Hermann Otto Stanislaus Plöger wrote:

Wenn Du bei osm2pgsql im --slim modus arbeitest, kann es vorkommen, das
Du ca zweimal soviel temporären Plattenplatz benötigst, wie für die
resultierende Datenbank gebraucht wird.


Wie kommst Du darauf?

Bye
Frederik

___
Talk-de mailing list
Talk-de@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-de

Re: [Talk-de] Fehler Import planet.osm.bz2: pending_ways

2011-11-16 Diskussionsfäden Klaus-Hermann Otto Stanislaus Plöger 
Moin Jan,
"std::bad_alloc" bedeutet, das Du zu wenig Speicher hast.
Wenn Du bei osm2pgsql im --slim modus arbeitest, kann es vorkommen, das
Du ca zweimal soviel temporären Plattenplatz benötigst, wie für die
resultierende Datenbank gebraucht wird. Das ist inzwischen fast ein
Terabyte, weil wir alle so fleissig sind. Der ganze Planet lässt sich
nur noch auf einem Server vernünftig handeln.

Btw, http://www.freietonne.de/seekarte/ ist nicht sehr aussagekräftig,
es kommt bei mir leeer an.

Beste Grüße Klaus

> Date: Wed, 16 Nov 2011 11:05:20 +0100
> From: "Jan Jesse" 
> To: "Openstreetmap allgemeines in Deutsch" 
> Subject: Re: [Talk-de] Fehler Import planet.osm.bz2: pending_ways
> failed:out  of memory for query result
> Message-ID:
> 
> Content-Type: text/plain;   charset="us-ascii"
> 
> Hallo,
> 
> ich hatte ja versprochen, die Resultate noch zu melden. Der Import ist
> wieder fehlgeschlagen, allerdings jetzt mit einem anderen Fehler:
> 
> Standard exception processing way_id 1170907: std::bad_alloc
> Processing: Node(1249824k 32.3k/s) Way(113163k 1.75k/s)
> Relation(636640
> 33.15/s)
> Standard exception processing way_id 1171398: std::bad_alloc
> Processing: Node(1249824k 32.3k/s) Way(113163k 1.75k/s)
> Relation(637360
> 33.15/s)
> Standard exception processing way_id 1172157: std::bad_alloc
> Processing: Node(1249824k 32.3k/s) Way(113163k 1.75k/s)
> Relation(637460
> 33.15/s)
> Standard exception processing way_id 1172262: std::bad_alloc
> Processing: Node(1249824k 32.3k/s) Way(113163k 1.75k/s)
> Relation(637980
> 33.16/s)
> Standard exception processing way_id 1172818: std::bad_alloc
> Processing: Node(1249824k 32.3k/s) Way(113163k 1.75k/s)
> Relation(637990
> 33.15/s)Entity: line -563063126: parser error : Extra content at the
> end
> of the document
>  
>  ^
> planet-latest.osm.bz2 : failed to parse
> Error occurred, cleaning up
> 
> Kennt das jemand? 
> 
> Falls nicht, werde ich jetzt wohl aufgeben, und mich mit Europa
> zufrieden geben ;-)
> 
> Danke allen.
> 
> JJ
> 
> www.freietonne.de


signature.asc
Description: This is a digitally signed message part
___
Talk-de mailing list
Talk-de@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-de

Re: [Talk-de] Fehler Import planet.osm.bz2: pending_ways failed:out of memory for query result

2011-11-16 Diskussionsfäden Hilmar Hartmann 
Hallo Jan,

sieht nach einem beschädigten Planetfile aus, ob das jetzt beim Download
passiert ist, oder schon beim erstellen kann ich nicht sagen ... falls
jemand
auf etwas anderes schließen kann - bitte ergänzen!

Gruß

Hilmar

P. S. kann man das Planetfile vor dem Import ggf. mit xmllint prüfen, damit
man sich das ganze ggf. ersparen kann, die Checksummen garantieren ja
nur, dass die Datei die man gedownloaded hat komplett ist, jedoch nicht ob
der Inhalt an sich fehlerhaft ist.



Am 16. November 2011 11:05 schrieb Jan Jesse :

> Hallo,
>
> ich hatte ja versprochen, die Resultate noch zu melden. Der Import ist
> wieder fehlgeschlagen, allerdings jetzt mit einem anderen Fehler:
>
> Standard exception processing way_id 1170907: std::bad_alloc
> Processing: Node(1249824k 32.3k/s) Way(113163k 1.75k/s) Relation(636640
> 33.15/s)
> Standard exception processing way_id 1171398: std::bad_alloc
> Processing: Node(1249824k 32.3k/s) Way(113163k 1.75k/s) Relation(637360
> 33.15/s)
> Standard exception processing way_id 1172157: std::bad_alloc
> Processing: Node(1249824k 32.3k/s) Way(113163k 1.75k/s) Relation(637460
> 33.15/s)
> Standard exception processing way_id 1172262: std::bad_alloc
> Processing: Node(1249824k 32.3k/s) Way(113163k 1.75k/s) Relation(637980
> 33.16/s)
> Standard exception processing way_id 1172818: std::bad_alloc
> Processing: Node(1249824k 32.3k/s) Way(113163k 1.75k/s) Relation(637990
> 33.15/s)Entity: line -563063126: parser error : Extra content at the end
> of the document
>
>  ^
> planet-latest.osm.bz2 : failed to parse
> Error occurred, cleaning up
>
> Kennt das jemand?
>
> Falls nicht, werde ich jetzt wohl aufgeben, und mich mit Europa
> zufrieden geben ;-)
>
> Danke allen.
>
> JJ
>
> www.freietonne.de
>
> ___
> Talk-de mailing list
> Talk-de@openstreetmap.org
> http://lists.openstreetmap.org/listinfo/talk-de
>
___
Talk-de mailing list
Talk-de@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-de

Re: [Talk-de] Fehler Import planet.osm.bz2: pending_ways failed:out of memory for query result

2011-11-16 Diskussionsfäden Jan Jesse 
Hallo,

ich hatte ja versprochen, die Resultate noch zu melden. Der Import ist
wieder fehlgeschlagen, allerdings jetzt mit einem anderen Fehler:

Standard exception processing way_id 1170907: std::bad_alloc
Processing: Node(1249824k 32.3k/s) Way(113163k 1.75k/s) Relation(636640
33.15/s)
Standard exception processing way_id 1171398: std::bad_alloc
Processing: Node(1249824k 32.3k/s) Way(113163k 1.75k/s) Relation(637360
33.15/s)
Standard exception processing way_id 1172157: std::bad_alloc
Processing: Node(1249824k 32.3k/s) Way(113163k 1.75k/s) Relation(637460
33.15/s)
Standard exception processing way_id 1172262: std::bad_alloc
Processing: Node(1249824k 32.3k/s) Way(113163k 1.75k/s) Relation(637980
33.16/s)
Standard exception processing way_id 1172818: std::bad_alloc
Processing: Node(1249824k 32.3k/s) Way(113163k 1.75k/s) Relation(637990
33.15/s)Entity: line -563063126: parser error : Extra content at the end
of the document
 
 ^
planet-latest.osm.bz2 : failed to parse
Error occurred, cleaning up

Kennt das jemand? 

Falls nicht, werde ich jetzt wohl aufgeben, und mich mit Europa
zufrieden geben ;-)

Danke allen.

JJ

www.freietonne.de

___
Talk-de mailing list
Talk-de@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-de

Re: [Talk-de] Fehler Import planet.osm.bz2: pending_ways failed: out of memory for query result

2011-11-13 Diskussionsfäden Carsten Schönert 
Nabend,

Am 13.11.2011 19:47, schrieb Jan Jesse:
> Ich kann jetzt natürlich nochmal das BIOS checken/ updaten, ob doch
> irgendwo VT zu aktivieren ist, würde aber gern darauf verzichten.
> Läßt sich der derzeitige Speicherbedarf evtl. genauer abschätzen? Hat
> vielleicht jemand Erfahrungen in dieser 32/ 64 Bit-Frage?

Ob Du mehr wie die theoretischen 3,6GB RAM benutzen kannst hängt vom
Chipsatz ab. Da Du aber schreibst das die VT Extensions nicht vorhanden
sind denke ich eher das die nötige PAE auf Deinem Board ebenfalls nicht
vorhanden ist.

Folgender Link erklärt das Thema ganz gut.

http://www.spack.org/wiki/LinuxRamLimits--
Mit freundlichen Grüßen
Carsten Schönert

___
Talk-de mailing list
Talk-de@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-de

Re: [Talk-de] Fehler Import planet.osm.bz2: pending_ways failed: out of memory for query result

2011-11-13 Diskussionsfäden Jan Jesse 
Hallo Kai,

der schlichte Geiz läßt mich einen etwas betagten Rechner nutzen. VMWare 
meckert, daß kein VT da ist, und läßt mich keine 64 Bit Guests installieren. 
Also habe ich bisher die 32 Bit Versionen verwendet, und bis zum Europa-Import 
hat das gut gereicht.

Ich kann jetzt natürlich nochmal das BIOS checken/ updaten, ob doch irgendwo VT 
zu aktivieren ist, würde aber gern darauf verzichten. Läßt sich der derzeitige 
Speicherbedarf evtl. genauer abschätzen? Hat vielleicht jemand Erfahrungen in 
dieser 32/ 64 Bit-Frage?

JJ

> -Ursprüngliche Nachricht-
> Von: Kai Krueger [mailto:kakrue...@gmail.com]
> Gesendet: Sonntag, 13. November 2011 19:23
> An: talk-de@openstreetmap.org
> Betreff: Re: [Talk-de] Fehler Import planet.osm.bz2: pending_ways
> failed: out of memory for query result
> 
> 
> Jan Jesse wrote:
> >
> > Going over pending ways
> >
> > pending_ways failed: out of memory for query result
> >
> 
> Der Query pending_ways ist "SELECT id FROM %p_ways WHERE pending;" Das
> heist
> der query result enthaelt die ids aller ways die als pending markiert
> wurden. Von dem was ich gesehen habe sind das ueblicherweise ca. die
> Haelfte
> aller ways. Bei einem vollen Planet Import sind das extrem viele. Das
> kann
> also gut sein, das das nicht mehr in 4Gb RAM passt, bzw auf einem 32bit
> system vielleicht sogar noch weniger.
> 
> Kai
> 
> 
> --
> View this message in context: http://gis.638310.n2.nabble.com/Fehler-
> Import-planet-osm-bz2-pending-ways-failed-out-of-memory-for-query-
> result-tp6989522p6990502.html
> Sent from the Germany mailing list archive at Nabble.com.
> 
> ___
> Talk-de mailing list
> Talk-de@openstreetmap.org
> http://lists.openstreetmap.org/listinfo/talk-de

___
Talk-de mailing list
Talk-de@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-de

Re: [Talk-de] Fehler Import planet.osm.bz2: pending_ways failed: out of memory for query result

2011-11-13 Diskussionsfäden Kai Krueger 

Jan Jesse wrote:
> 
> Going over pending ways
> 
> pending_ways failed: out of memory for query result
> 

Der Query pending_ways ist "SELECT id FROM %p_ways WHERE pending;" Das heist
der query result enthaelt die ids aller ways die als pending markiert
wurden. Von dem was ich gesehen habe sind das ueblicherweise ca. die Haelfte
aller ways. Bei einem vollen Planet Import sind das extrem viele. Das kann
also gut sein, das das nicht mehr in 4Gb RAM passt, bzw auf einem 32bit
system vielleicht sogar noch weniger.

Kai


--
View this message in context: 
http://gis.638310.n2.nabble.com/Fehler-Import-planet-osm-bz2-pending-ways-failed-out-of-memory-for-query-result-tp6989522p6990502.html
Sent from the Germany mailing list archive at Nabble.com.

___
Talk-de mailing list
Talk-de@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-de

Re: [Talk-de] Fehler Import planet.osm.bz2: pending_ways failed: out of memory for query result

2011-11-13 Diskussionsfäden Kai Krueger 

Jan Jesse wrote:
> 
> Also: Ubuntu 10.11 (32 Bit) auf einer VMWare-Instanz, 4 GB Ram, ca. 350 GB
> SSD's.
> 
Gibt es einen Grund ein 32bit Ubuntu hierfuer zu verwenden? Wahrscheinlich
liegt der Fehler nicht daran, helfen tut das 32bit System bei 4Gb Ram und
osm2pgsql aber mit Sicherheit auch nicht.


--
View this message in context: 
http://gis.638310.n2.nabble.com/Fehler-Import-planet-osm-bz2-pending-ways-failed-out-of-memory-for-query-result-tp6989522p6990488.html
Sent from the Germany mailing list archive at Nabble.com.

___
Talk-de mailing list
Talk-de@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-de

Re: [Talk-de] Fehler Import planet.osm.bz2: pending_ways failed: out of memory for query result

2011-11-13 Diskussionsfäden Andreas Neumann 
Hallo Jan,

Den Fehler kenn ich...

1. die Zeit
Du musst nicht gleich ein ganzes Planet-File importieren. Versuch es
doch erstmal mit einem Bundesland deiner Wahl und schau, ob der Fehler
auch kommt... Für Thüringen dauert es keine 5min, bis bei mir der Fehler
kommt.

2. Out of Memory
Den Fehler hab ich in letzter Zeit auch öfters und er bringt mich
jedesmal auf die Palme. Mein derzeitiger notdürftiger Roundabound wird
dir nicht helfen, denn bei mir reicht es den vServer neuzustarten.
Vermutlich reservieren sich zu viele Dienste Platz im RAM, weshalb
entweder osm2pgsql oder postgre die Hufe hochreist. Solltest du unter
Linux arbeiten empfehle ich dir den Import mal zu starten und via htop
(oder zur not auch top) in einer zweiten Bash mal zu beobachten, wie das
mit dem RAM grad alles läuft und wieviel effektiv beim Auftreten des
Fehlers noch zur Verfügung stehen...

3. Was hat deine Kiste eigentlich für Ressourcen?

Schönen restlichen Sonntag,
Andreas



signature.asc
Description: OpenPGP digital signature
___
Talk-de mailing list
Talk-de@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-de

Re: [Talk-de] Fehler Import planet.osm.bz2: pending_ways failed: out of memory for query result

2011-11-13 Diskussionsfäden Jan Jesse 
Hallo,

ich interpretiere das jetzt so, daß die Chancen für den erfolgreichen Import 
jetzt deutlich gestiegen sind. Richtig? Vielen Dank für die Hinweise. Das 
Ergebnis erwarte ich in ca. 30 Stunden, dann melde ich mich wieder ;-)

Einstweilen vielen Dank! Ohne Eure Hinweise, hätte ich es bestimmt jetzt bald 
geschmissen und mir gesagt, daß Europa dann eben reichen muß ...

Also bis in 30 Stunden ...

JJ


> -Ursprüngliche Nachricht-
> Von: Hilmar Hartmann [mailto:hilmar.hartm...@gmail.com]
> Gesendet: Sonntag, 13. November 2011 15:05
> An: Openstreetmap allgemeines in Deutsch
> Betreff: Re: [Talk-de] Fehler Import planet.osm.bz2: pending_ways
> failed: out of memory for query result
> 
> Hallo Frederik,
> 
> danke für Ergänzung :-)
> 
> Gruß Hilmar
> 
> Am 13. November 2011 15:00 schrieb Frederik Ramm :
> 
> > Hi,
> >
> >
> > On 11/13/2011 02:51 PM, Hilmar Hartmann wrote:
> >
> >> den Kernel
> >> Parameter (sysctl) übernimmt Linux allerdings erst nach einem
> Neustart des
> >> Rechners
> >>
> >
> > Man kann direkt "sysctl kernel.shmmax=" eingeben fuer die
> laufende
> > Sitzung.
> >
> >
> >  Soweit ich abschätzen kann ist der PBF-Datei Import schneller zu
> >> bewerkstelligen,
> >>
> >
> > Das stimmt, aber die reine XML-Einlesezeit liegt nur bei ein paar
> Stunden,
> > die spart man also mit PBF - nicht viel, wenn man ueber Tage spricht.
> >
> > Bye
> > Frederik
> >
> > --
> > Frederik Ramm  ##  eMail frede...@remote.org  ##  N49°00'09"
> E008°23'33"
> >
> >
> > __**_
> > Talk-de mailing list
> > Talk-de@openstreetmap.org
> > http://lists.openstreetmap.**org/listinfo/talk-
> de<http://lists.openstreetmap.org/listinfo/talk-de>
> >
> ___
> Talk-de mailing list
> Talk-de@openstreetmap.org
> http://lists.openstreetmap.org/listinfo/talk-de

___
Talk-de mailing list
Talk-de@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-de

Re: [Talk-de] Fehler Import planet.osm.bz2: pending_ways failed: out of memory for query result

2011-11-13 Diskussionsfäden Hilmar Hartmann 
Hallo Frederik,

danke für Ergänzung :-)

Gruß Hilmar

Am 13. November 2011 15:00 schrieb Frederik Ramm :

> Hi,
>
>
> On 11/13/2011 02:51 PM, Hilmar Hartmann wrote:
>
>> den Kernel
>> Parameter (sysctl) übernimmt Linux allerdings erst nach einem Neustart des
>> Rechners
>>
>
> Man kann direkt "sysctl kernel.shmmax=" eingeben fuer die laufende
> Sitzung.
>
>
>  Soweit ich abschätzen kann ist der PBF-Datei Import schneller zu
>> bewerkstelligen,
>>
>
> Das stimmt, aber die reine XML-Einlesezeit liegt nur bei ein paar Stunden,
> die spart man also mit PBF - nicht viel, wenn man ueber Tage spricht.
>
> Bye
> Frederik
>
> --
> Frederik Ramm  ##  eMail frede...@remote.org  ##  N49°00'09" E008°23'33"
>
>
> __**_
> Talk-de mailing list
> Talk-de@openstreetmap.org
> http://lists.openstreetmap.**org/listinfo/talk-de
>
___
Talk-de mailing list
Talk-de@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-de

Re: [Talk-de] Fehler Import planet.osm.bz2: pending_ways failed: out of memory for query result

2011-11-13 Diskussionsfäden Frederik Ramm 

Hi,

On 11/13/2011 02:51 PM, Hilmar Hartmann wrote:

den Kernel
Parameter (sysctl) übernimmt Linux allerdings erst nach einem Neustart des
Rechners


Man kann direkt "sysctl kernel.shmmax=" eingeben fuer die laufende 
Sitzung.



Soweit ich abschätzen kann ist der PBF-Datei Import schneller zu
bewerkstelligen,


Das stimmt, aber die reine XML-Einlesezeit liegt nur bei ein paar 
Stunden, die spart man also mit PBF - nicht viel, wenn man ueber Tage 
spricht.


Bye
Frederik

--
Frederik Ramm  ##  eMail frede...@remote.org  ##  N49°00'09" E008°23'33"

___
Talk-de mailing list
Talk-de@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-de

Re: [Talk-de] Fehler Import planet.osm.bz2: pending_ways failed: out of memory for query result

2011-11-13 Diskussionsfäden Hilmar Hartmann 
Hallo Jan,

unter Umständen ist das mit dem Speicher etwas knapp (wenn ich es richtig
gelesen habe hast Du der VM 4 GB spendiert), wir werden mal schauen ob er
das richtig importiert, ggf. müssen wir die SWAP Datei mal erweitern und der
VM mehr Speicher zuteilen und dann den -C Parameter erhöhen, den Kernel
Parameter (sysctl) übernimmt Linux allerdings erst nach einem Neustart des
Rechners
bzw. der VM soweit ich es mitbekommen habe, aber schauen wir erstmal wie
weit er kommt.

Soweit ich abschätzen kann ist der PBF-Datei Import schneller zu
bewerkstelligen,
aber dann müsstest Du wieder ein neues Planetfile laden und ggf. nochmal
prüfen
ob die OSM2PGSQL Version entsprechend kompiliert wurde, kostet also auch
noch
mal Zeit ...

Melde dich einfach wieder wenn er soweit ist ... achja, je mehr RAM er
nutzen kann desto
schneller geht das Ganze grundsätzlich von statten, aber das hasst Du
garantiert schon mehr
als einmal gelesen :-)

Gruß

Hilmar

Am 13. November 2011 14:14 schrieb Jan Jesse :

> Hallo Hilmar,
>
> Danke für den link, hatte ich entweder noch nicht gefunden, oder überlesen
> ...
> Ich habe mir die postgresql.conf angesehen, und jetzt folgende Änderungen
> vorgenommen:
>
>  shared_buffers = 128MB # 16384 for 8.1 and earlier
>  checkpoint_segments = 20
>  maintenance_work_mem = 256MB # 256000 for 8.1 and earlier
>  autovacuum = off
>
>  Edit kernel parameter shmmax to increase maximum size of shared memory.
>  sudo sysctl -w kernel.shmmax=268435456
>  sudo sysctl -p /etc/sysctl.conf
>
> Postgres neu gestartet, und den Import gleich auf Verdacht neu gestartet.
> Jetzt dauert es aber wieder 30 h :-(
>
> Welche Informationen zu meinem Setup würdest Du jetzt brauchen?
>
> Für jede Hilfe dankbar
>
> JJ
>
> Im Terminal sieht es jetzt in etwa so aus:
>
> osm2pgsql -I -m -s -d gis -C 2048
> /home/jan/Arbeitsfläche/planet-latest.osm.bz2
> osm2pgsql SVN version 0.80.0 (32bit id space)
>
> Using projection SRS 900913 (Spherical Mercator)
> Setting up table: planet_osm_point
> NOTICE:  table "planet_osm_point" does not exist, skipping
> NOTICE:  table "planet_osm_point_tmp" does not exist, skipping
> Setting up table: planet_osm_line
> NOTICE:  table "planet_osm_line" does not exist, skipping
> NOTICE:  table "planet_osm_line_tmp" does not exist, skipping
> Setting up table: planet_osm_polygon
> NOTICE:  table "planet_osm_polygon" does not exist, skipping
> NOTICE:  table "planet_osm_polygon_tmp" does not exist, skipping
> Setting up table: planet_osm_roads
> NOTICE:  table "planet_osm_roads" does not exist, skipping
> NOTICE:  table "planet_osm_roads_tmp" does not exist, skipping
> Allocating memory for dense node cache
> Allocating dense node cache in block sized chunks
> Node-cache: cache=2048MB, maxblocks=0*262145, allocation method=8192
> Mid: pgsql, scale=100
> Setting up table: planet_osm_nodes
> NOTICE:  table "planet_osm_nodes" does not exist, skipping
> NOTICE:  CREATE TABLE / PRIMARY KEY will create implicit index
> "planet_osm_nodes_pkey" for table "planet_osm_nodes"
> Setting up table: planet_osm_ways
> NOTICE:  table "planet_osm_ways" does not exist, skipping
> NOTICE:  CREATE TABLE / PRIMARY KEY will create implicit index
> "planet_osm_ways_pkey" for table "planet_osm_ways"
> Setting up table: planet_osm_rels
> NOTICE:  table "planet_osm_rels" does not exist, skipping
> NOTICE:  CREATE TABLE / PRIMARY KEY will create implicit index
> "planet_osm_rels_pkey" for table "planet_osm_rels"
>
> Reading in file: /home/jan/Arbeitsfläche/planet-latest.osm.bz2
> Unknown node type 8
> Processing: Node(880k 38.3k/s) Way(0k 0.00k/s) Relation(0 0.00/s)
>
> > -Ursprüngliche Nachricht-
> > Von: Hilmar Hartmann [mailto:hilmar.hartm...@gmail.com]
> > Gesendet: Sonntag, 13. November 2011 13:48
> > An: Openstreetmap allgemeines in Deutsch
> > Betreff: Re: [Talk-de] Fehler Import planet.osm.bz2: pending_ways
> > failed: out of memory for query result
> >
> > Hallo Jan,
> >
> > ich hoffe Du hast das Postgresql Setup entsprechend angepasst, ich
> > verweise
> > hier mal
> > auf das folgende How-To
> > http://weait.com/content/build-your-own-openstreetmap-server
> >
> > Das Problem wurde auch schon unter folgender Adresse beschrieben
> > http://web.archiveorange.com/archive/v/tomQkEFYolL1R7cr1Jer
> > ... hier wird auf den -C Parameter verwiesen.
> >
> > Zur weiteren Analyse hilft es jedoch nochmal einen Blick auf Dein Setup
> > zu
> > werfen ...
> >
> > Gruß aus Berlin
> >
> > Hilmar
> >
>

Re: [Talk-de] Fehler Import planet.osm.bz2: pending_ways failed: out of memory for query result

2011-11-13 Diskussionsfäden Jan Jesse 
Hallo Hilmar,

Danke für den link, hatte ich entweder noch nicht gefunden, oder überlesen ...
Ich habe mir die postgresql.conf angesehen, und jetzt folgende Änderungen 
vorgenommen:

 shared_buffers = 128MB # 16384 for 8.1 and earlier
 checkpoint_segments = 20
 maintenance_work_mem = 256MB # 256000 for 8.1 and earlier
 autovacuum = off

 Edit kernel parameter shmmax to increase maximum size of shared memory.
 sudo sysctl -w kernel.shmmax=268435456
 sudo sysctl -p /etc/sysctl.conf

Postgres neu gestartet, und den Import gleich auf Verdacht neu gestartet. Jetzt 
dauert es aber wieder 30 h :-(

Welche Informationen zu meinem Setup würdest Du jetzt brauchen?

Für jede Hilfe dankbar

JJ

Im Terminal sieht es jetzt in etwa so aus:

osm2pgsql -I -m -s -d gis -C 2048 /home/jan/Arbeitsfläche/planet-latest.osm.bz2
osm2pgsql SVN version 0.80.0 (32bit id space)

Using projection SRS 900913 (Spherical Mercator)
Setting up table: planet_osm_point
NOTICE:  table "planet_osm_point" does not exist, skipping
NOTICE:  table "planet_osm_point_tmp" does not exist, skipping
Setting up table: planet_osm_line
NOTICE:  table "planet_osm_line" does not exist, skipping
NOTICE:  table "planet_osm_line_tmp" does not exist, skipping
Setting up table: planet_osm_polygon
NOTICE:  table "planet_osm_polygon" does not exist, skipping
NOTICE:  table "planet_osm_polygon_tmp" does not exist, skipping
Setting up table: planet_osm_roads
NOTICE:  table "planet_osm_roads" does not exist, skipping
NOTICE:  table "planet_osm_roads_tmp" does not exist, skipping
Allocating memory for dense node cache
Allocating dense node cache in block sized chunks
Node-cache: cache=2048MB, maxblocks=0*262145, allocation method=8192
Mid: pgsql, scale=100
Setting up table: planet_osm_nodes
NOTICE:  table "planet_osm_nodes" does not exist, skipping
NOTICE:  CREATE TABLE / PRIMARY KEY will create implicit index 
"planet_osm_nodes_pkey" for table "planet_osm_nodes"
Setting up table: planet_osm_ways
NOTICE:  table "planet_osm_ways" does not exist, skipping
NOTICE:  CREATE TABLE / PRIMARY KEY will create implicit index 
"planet_osm_ways_pkey" for table "planet_osm_ways"
Setting up table: planet_osm_rels
NOTICE:  table "planet_osm_rels" does not exist, skipping
NOTICE:  CREATE TABLE / PRIMARY KEY will create implicit index 
"planet_osm_rels_pkey" for table "planet_osm_rels"

Reading in file: /home/jan/Arbeitsfläche/planet-latest.osm.bz2
Unknown node type 8
Processing: Node(880k 38.3k/s) Way(0k 0.00k/s) Relation(0 0.00/s)

> -Ursprüngliche Nachricht-----
> Von: Hilmar Hartmann [mailto:hilmar.hartm...@gmail.com]
> Gesendet: Sonntag, 13. November 2011 13:48
> An: Openstreetmap allgemeines in Deutsch
> Betreff: Re: [Talk-de] Fehler Import planet.osm.bz2: pending_ways
> failed: out of memory for query result
> 
> Hallo Jan,
> 
> ich hoffe Du hast das Postgresql Setup entsprechend angepasst, ich
> verweise
> hier mal
> auf das folgende How-To
> http://weait.com/content/build-your-own-openstreetmap-server
> 
> Das Problem wurde auch schon unter folgender Adresse beschrieben
> http://web.archiveorange.com/archive/v/tomQkEFYolL1R7cr1Jer
> ... hier wird auf den -C Parameter verwiesen.
> 
> Zur weiteren Analyse hilft es jedoch nochmal einen Blick auf Dein Setup
> zu
> werfen ...
> 
> Gruß aus Berlin
> 
> Hilmar
> 
> Am 13. November 2011 13:05 schrieb Walter Nordmann
> :
> 
> >
> > Jan Jesse wrote:
> > >
> > >  und kann mir sagen, was zu tun ist, um diesen Import
> hinzubekommen?
> > >
> > am besten du postest hier mal die Software und den genauen Befehl,
> den du
> > verwendest.
> >
> > "Import Planet" kann man auf 1000 verschiedene Arten machen.
> >
> > Gruss
> > walter
> >
> > p.s. Umfeld, wie Rechner und OS wären auch nicht unflott.
> >
> >
> > -
> > Wenn du den Wald vor lauter Bäumen nicht siehst, fälle die Bäume und
> du
> > wirst sehen, dass da kein Wald ist.
> > --
> > View this message in context:
> > http://gis.638310.n2.nabble.com/Fehler-Import-planet-osm-bz2-pending-
> ways-failed-out-of-memory-for-query-result-tp6989522p6989783.html
> > Sent from the Germany mailing list archive at Nabble.com.
> >
> > ___
> > Talk-de mailing list
> > Talk-de@openstreetmap.org
> > http://lists.openstreetmap.org/listinfo/talk-de
> >
> ___
> Talk-de mailing list
> Talk-de@openstreetmap.org
> http://lists.openstreetmap.org/listinfo/talk-de

___
Talk-de mailing list
Talk-de@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-de

Re: [Talk-de] Fehler Import planet.osm.bz2: pending_ways failed: out of memory for query result

2011-11-13 Diskussionsfäden Walter Nordmann 

Jan Jesse wrote:
> 
> osm2pgsql -m -s -d gis  planet-latest.osm.bz2
> ..
> Läßt sich daraus was schlußfolgern? 
> 
a) dass ich so eine HW auch gerne hätte ;)

b)dass es sich um osm2pgsql dreht, was vorher nicht 100% sicher war

Ich kann dir hier leider nicht weiterhelfen, da ich meinen Import mit
Osmosis mache.
Bei Osmosis hätte ich die java-option  -Xmx512M oder höher verwendet, aber
bei osm2pgsql???


Gruss
Walter


-
Wenn du den Wald vor lauter Bäumen nicht siehst, fälle die Bäume und du wirst 
sehen, dass da kein Wald ist.
--
View this message in context: 
http://gis.638310.n2.nabble.com/Fehler-Import-planet-osm-bz2-pending-ways-failed-out-of-memory-for-query-result-tp6989522p6989887.html
Sent from the Germany mailing list archive at Nabble.com.

___
Talk-de mailing list
Talk-de@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-de

Re: [Talk-de] Fehler Import planet.osm.bz2: pending_ways failed: out of memory for query result

2011-11-13 Diskussionsfäden Hilmar Hartmann 
Hallo Jan,

ich hoffe Du hast das Postgresql Setup entsprechend angepasst, ich verweise
hier mal
auf das folgende How-To
http://weait.com/content/build-your-own-openstreetmap-server

Das Problem wurde auch schon unter folgender Adresse beschrieben
http://web.archiveorange.com/archive/v/tomQkEFYolL1R7cr1Jer
... hier wird auf den -C Parameter verwiesen.

Zur weiteren Analyse hilft es jedoch nochmal einen Blick auf Dein Setup zu
werfen ...

Gruß aus Berlin

Hilmar

Am 13. November 2011 13:05 schrieb Walter Nordmann :

>
> Jan Jesse wrote:
> >
> >  und kann mir sagen, was zu tun ist, um diesen Import hinzubekommen?
> >
> am besten du postest hier mal die Software und den genauen Befehl, den du
> verwendest.
>
> "Import Planet" kann man auf 1000 verschiedene Arten machen.
>
> Gruss
> walter
>
> p.s. Umfeld, wie Rechner und OS wären auch nicht unflott.
>
>
> -
> Wenn du den Wald vor lauter Bäumen nicht siehst, fälle die Bäume und du
> wirst sehen, dass da kein Wald ist.
> --
> View this message in context:
> http://gis.638310.n2.nabble.com/Fehler-Import-planet-osm-bz2-pending-ways-failed-out-of-memory-for-query-result-tp6989522p6989783.html
> Sent from the Germany mailing list archive at Nabble.com.
>
> ___
> Talk-de mailing list
> Talk-de@openstreetmap.org
> http://lists.openstreetmap.org/listinfo/talk-de
>
___
Talk-de mailing list
Talk-de@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-de

Re: [Talk-de] Fehler Import planet.osm.bz2: pending_ways failed: out of memory for query result

2011-11-13 Diskussionsfäden Jan Jesse 
Klar :-)

Also: Ubuntu 10.11 (32 Bit) auf einer VMWare-Instanz, 4 GB Ram, ca. 350 GB 
SSD's.

Auf die neu installierte Ubuntu habe ich Kai Krueger's nette 
libapache2-mod-tile Paket installiert, das nach meinen Tests mit dem 
Europa-Ausschnitt der Geofabrik auch wunderbar funktioniert.

Den Import selbst habe ich dann nach Lehrbuch mit

osm2pgsql -m -s -d gis  planet-latest.osm.bz2

gestartet. Mit dem Parameter -C habe ich rumgespielt, hat aber nichts geändert. 
Alle Versuche enden an dieser pending way's Stelle.

Läßt sich daraus was schlußfolgern? 

JJ


> -Ursprüngliche Nachricht-
> Von: Walter Nordmann [mailto:walter.nordm...@web.de]
> Gesendet: Sonntag, 13. November 2011 13:05
> An: talk-de@openstreetmap.org
> Betreff: Re: [Talk-de] Fehler Import planet.osm.bz2: pending_ways
> failed: out of memory for query result
> 
> 
> Jan Jesse wrote:
> >
> >  und kann mir sagen, was zu tun ist, um diesen Import hinzubekommen?
> >
> am besten du postest hier mal die Software und den genauen Befehl, den
> du
> verwendest.
> 
> "Import Planet" kann man auf 1000 verschiedene Arten machen.
> 
> Gruss
> walter
> 
> p.s. Umfeld, wie Rechner und OS wären auch nicht unflott.
> 
> 
> -
> Wenn du den Wald vor lauter Bäumen nicht siehst, fälle die Bäume und du
> wirst sehen, dass da kein Wald ist.
> --
> View this message in context: http://gis.638310.n2.nabble.com/Fehler-
> Import-planet-osm-bz2-pending-ways-failed-out-of-memory-for-query-
> result-tp6989522p6989783.html
> Sent from the Germany mailing list archive at Nabble.com.
> 
> ___
> Talk-de mailing list
> Talk-de@openstreetmap.org
> http://lists.openstreetmap.org/listinfo/talk-de

___
Talk-de mailing list
Talk-de@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-de

Re: [Talk-de] Fehler Import planet.osm.bz2: pending_ways failed: out of memory for query result

2011-11-13 Diskussionsfäden Walter Nordmann 

Jan Jesse wrote:
> 
>  und kann mir sagen, was zu tun ist, um diesen Import hinzubekommen?
> 
am besten du postest hier mal die Software und den genauen Befehl, den du
verwendest.

"Import Planet" kann man auf 1000 verschiedene Arten machen.

Gruss
walter

p.s. Umfeld, wie Rechner und OS wären auch nicht unflott.


-
Wenn du den Wald vor lauter Bäumen nicht siehst, fälle die Bäume und du wirst 
sehen, dass da kein Wald ist.
--
View this message in context: 
http://gis.638310.n2.nabble.com/Fehler-Import-planet-osm-bz2-pending-ways-failed-out-of-memory-for-query-result-tp6989522p6989783.html
Sent from the Germany mailing list archive at Nabble.com.

___
Talk-de mailing list
Talk-de@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-de

[Talk-de] Fehler Import planet.osm.bz2: pending_ways failed: out of memory for query result

2011-11-13 Diskussionsfäden Jan Jesse 
Hallo,

 

Ich versuche jetzt seit einigen Tagen, ein komplettes Planet-File zu 
importieren. Sieht anfangs immer alles schick aus, und ist dank der 2 neuen 
SSD's auch ziemlich  schnell. Aber nach ca. 30 h kommt immer der Fehler:

 

Going over pending ways

pending_ways failed: out of memory for query result

(7)

 

Nun gibt es im Netz den Hinweis, daß man mittels -c etwas mehr Speicher geben 
soll, habe ich gemacht, und kein besseres Resultat erzielt. Nun habe ich in 
meiner Verzweiflung schon ein neues planet-file heruntergeladen, und 
festgestellt, daß dieses ca. 4 GB kleiner ist, als das vorherige, das schon 
einige Tage älter ist. Der Größenunterschied hat mich arg verwundert. Der 
Import dieses neuen files läuft gerade, aber ich habe eigentlich keine 
Hoffnung, daß es diesmal besser funktioniert.

 

Kennt sich jemand aus, und kann mir sagen, was zu tun ist, um diesen Import 
hinzubekommen?

 

 

Beste Grüße aus Berlin

 

JJ

 

www.freietonne.de

___
Talk-de mailing list
Talk-de@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-de