Re: [Talk-de] Eigener Testrechner (war: dritter Pl atz für OSM bei Open-Source-Förderung)
Am 24.08.2010 22:02, schrieb Stephan Knauss: > Lars Lingner wrote: >> Im Moment gibt es noch keine praktikable Lösung eine DB mit einem >> Ausschnitt aktuell zu halten mit Minuten-, Stunden- oder Tagesdiffs. > > Nicht? Ich mache das auf meinem Server schon seit einem Jahr. > osm2pgsql kann das. > Es gibt wohl noch ein Problem dass die DB damit langsam anwächst aber > alle paar Monate ein neuimport dürfte drin sein. Die Vokabel "praktikabel" war eine schlechte Wahl. Die Diffs kann ich jederzeit einspielen, aber dadurch wächst die DB außerhalb meines Ausschnittes. Genau das stört mich. Ich hole mir die Daten vom Server die ich nicht brauche, spiele sie in meine DB ein, wo sie nicht gebraucht werden und nach X Tagen schmeiße ich alles weg und überschreibe es mit einem neuen Ausschnitt... Ich glaube da ist noch Potential zur Verbesserung ;) > > >> Egal welchen Prozessor man einbaut, er wird bis zum Maximum ausgenutzt. >> Zumindest beim Rendering und Erstellen der Garminkarte. > Gibt es die Buildumgebung irgendwo mal zum ausprobieren? Zum Jahresende > wollte ich meine Workstation aufrüsten (für lange Winterabende) und da > wäre es schon mal nett zu sehen wo es aktuell klemmen würde und was > aufzurüsten ist. Im Artikel http://wiki.openstreetmap.org/wiki/DE:HowTo_minutely_hstore ist ein Link zum Download einer virtuellen Maschine. > Computer sind ein günstiges Hobby. Für das was eine hübsche Workstation > kostet bekommen andere gerade mal einen Satz Räder ;) > HAHA... cooler Vergleich ;) > Das Asus Z8PE-D18 hört sich aktuell nach einem guten Kandidaten für > Selbstbau an. > Da bin ich nicht auf dem aktuellen Stand. Lars ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] Eigener Testrechner (war: dritter Pl atz für OSM bei Open-Source-Förderung)
Lars Lingner wrote: Im Moment gibt es noch keine praktikable Lösung eine DB mit einem Ausschnitt aktuell zu halten mit Minuten-, Stunden- oder Tagesdiffs. Nicht? Ich mache das auf meinem Server schon seit einem Jahr. osm2pgsql kann das. Es gibt wohl noch ein Problem dass die DB damit langsam anwächst aber alle paar Monate ein neuimport dürfte drin sein. Egal welchen Prozessor man einbaut, er wird bis zum Maximum ausgenutzt. Zumindest beim Rendering und Erstellen der Garminkarte. Gibt es die Buildumgebung irgendwo mal zum ausprobieren? Zum Jahresende wollte ich meine Workstation aufrüsten (für lange Winterabende) und da wäre es schon mal nett zu sehen wo es aktuell klemmen würde und was aufzurüsten ist. Computer sind ein günstiges Hobby. Für das was eine hübsche Workstation kostet bekommen andere gerade mal einen Satz Räder ;) Das Asus Z8PE-D18 hört sich aktuell nach einem guten Kandidaten für Selbstbau an. Stephan ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] Eigener Testrechner (war: dritter Pl atz für OSM bei Open-Source-Förderung)
Am 24.08.2010 10:56, schrieb Lars Lingner: Willst Du den ganzen Planeten haben? Der ist inzwischen 10+ GB groß, im komprimierten Zustand. Im Moment gibt es noch keine praktikable Lösung eine DB mit einem Ausschnitt aktuell zu halten mit Minuten-, Stunden- oder Tagesdiffs. Da lohnt es sich eher alle X Tage einen neuen Ausschnitt einzuspielen. Für den kompletten Planeten kann man die DB aktuell halten, aber da braucht man gute Hardware. Europa würde auch erstmal reichen. Ich würde nur gerne täglich was aktuelles haben, das sollte halt irgendwie gehen. Ich hatte es auch so verstanden, daß man die Updates sinnvoll nur auf dem planet machen kann, daher meine "Planetenfrage". Ich verstehe dich da so, daß dieser Weg aber auf der anvisierten Hardware schon eng werden könnte. Für Style-Tests würde ich nur einen Ausschnitt der DB nehmen. Da könnte schon ein Bundesland ausreichen. Klar, für die "ersten Gehversuche" sicher. Bei uns in Bayern haben wir ja auch alles wichtige drin: Großstädte, Berge, ... (nur Meer fehlt ein wenig) ;-) Das wird reichen, allerdings wirst Du wohl nicht täglich die Garminkarte erstellen können. Auf dem OSM-Server wird die Karte auch nur an drei Tagen pro Woche angeboten. Allerdings teilen sich dort mehrere ressourcenhungrige Projekte den Server. Kommt also auf einen Versuch an. Alle zwei Tage wären aber auch kein Beinbruch. Jeh mehr RAM desto OSM ;) Wenn alles im RAM ist, muss (fast) nicht mehr auf die Platte zugegriffen werden. Ich würde auch so planen, dass man später vlt. nochmal Riegel nachstecken kann. Allerdings bekommt man mit aktueller Comsumer-Hardware max. 4 Slots. Einige Intel-Boards haben 6 und ansonsten bleiben nur Server-Boards. Dann wirds auch wieder teuerer. Ich meine 8 Slots bei halbwegs erschwinglichen Mainboards gesehen zu haben, kann mich aber auch verguckt haben. Muß man halt beim Kauf genau drauf achten :-) Schnelle Festplatten sind das zweite wichtige Kriterium. Ein Raid0 bringt da durchaus Vorteile. Es hilft auch schon wenn man mehrere Festplatten benutzt. Auf einer liegt der Planet, auf der zweiten die Datenbank, auf der dritten die Tiles usw. Danke für den Tip, hätte ich nicht gedacht. Egal welchen Prozessor man einbaut, er wird bis zum Maximum ausgenutzt. Zumindest beim Rendering und Erstellen der Garminkarte. Das initiale Bestücken der DB ist eher I/O lastig. Auf dem OSM-Servern lag die Last Seit Januar 2010 im Schnitt bei 3. 3 was?!? Kilopond pro Quadratzentimeter? ;-) Gibt es da vielleicht einen Link auf Munin oder sowas? Auf http://wiki.openstreetmap.org/wiki/FOSSGIS/Server war nix zu finden. Wenn man nur mit einem Bundesland arbeiten möchte, reicht ein aktueller Comsumer-Rechner locker. Klar, das geht auch auf dem Notebook noch. Allerdings langsamer und lauter ;-) Danke für deine Antworten. Das deckt sich im groben mit meinen Erwartungen und hat mir an ein paar Stellen schonmal zusätzliche Klarheit gebracht. Gruß, ULFL ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] Eigener Testrechner (war: dritter Pl atz für OSM bei Open-Source-Förderung)
Am 24.08.2010 09:47, schrieb Ulf Lamping: [...] > > OSM-Datenbank (halbwegs aktuell halten, also wohl planet und hourly > diffs oder so) > Mapnik-Renderer für Style Tests > Garmin Europakarte zumindest täglich rendern > Willst Du den ganzen Planeten haben? Der ist inzwischen 10+ GB groß, im komprimierten Zustand. Im Moment gibt es noch keine praktikable Lösung eine DB mit einem Ausschnitt aktuell zu halten mit Minuten-, Stunden- oder Tagesdiffs. Da lohnt es sich eher alle X Tage einen neuen Ausschnitt einzuspielen. Für den kompletten Planeten kann man die DB aktuell halten, aber da braucht man gute Hardware. Für Style-Tests würde ich nur einen Ausschnitt der DB nehmen. Da könnte schon ein Bundesland ausreichen. > > Die Frage ist jetzt, ob eine Consumer-Kiste 8GB RAM, 1-2TB Platte, > Quad-Core i5 dafür geeignet ist (also so ganz grob 800 EUR), oder ob es > absehbar sowieso nicht ausreicht. Das wird reichen, allerdings wirst Du wohl nicht täglich die Garminkarte erstellen können. Auf dem OSM-Server wird die Karte auch nur an drei Tagen pro Woche angeboten. Allerdings teilen sich dort mehrere ressourcenhungrige Projekte den Server. > > Aus deiner Mail schließe ich, das 16GB-RAM eine Überlegung wert ist, > also sollte ich wohl besser nicht im ersten 8 GB Schritt alle Bänke mit > Riegeln voll machen ;-) > Jeh mehr RAM desto OSM ;) Wenn alles im RAM ist, muss (fast) nicht mehr auf die Platte zugegriffen werden. Ich würde auch so planen, dass man später vlt. nochmal Riegel nachstecken kann. Allerdings bekommt man mit aktueller Comsumer-Hardware max. 4 Slots. Einige Intel-Boards haben 6 und ansonsten bleiben nur Server-Boards. Dann wirds auch wieder teuerer. Schnelle Festplatten sind das zweite wichtige Kriterium. Ein Raid0 bringt da durchaus Vorteile. Es hilft auch schon wenn man mehrere Festplatten benutzt. Auf einer liegt der Planet, auf der zweiten die Datenbank, auf der dritten die Tiles usw. Egal welchen Prozessor man einbaut, er wird bis zum Maximum ausgenutzt. Zumindest beim Rendering und Erstellen der Garminkarte. Das initiale Bestücken der DB ist eher I/O lastig. Auf dem OSM-Servern lag die Last Seit Januar 2010 im Schnitt bei 3. Wenn man nur mit einem Bundesland arbeiten möchte, reicht ein aktueller Comsumer-Rechner locker. Lars ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
[Talk-de] Eigener Testrechner (war: dritter Pl atz für OSM bei Open-Source-Förderung)
Am 24.08.2010 08:17, schrieb Lars Lingner: Die aktuellen deutschen OSM-Server haben 2x 2,3 Ghz Quad-Core, 16 GB RAM, 2x1 TB Festplatte. Mit dieser Hardware stoßen wir bereits an eingie Grenzen. Wichtig sind viel RAM, schnelle Festplatten und schnelle CPU. Genau in dieser Reihenfolge. Hallo! Endlich mal ein paar konkrete Zahlen :-) Auf meinem Notebook stoße ich aktuell bei 2GB RAM an konkrete Grenzen beim Garminkarten berechnen, Europa geht schon nicht wegen OutOfMemory ;-) Ich überlege gerade (u.a. daher) mir einen Testrechner anzuschaffen, um lokal besser rumspielen zu können. Aufgaben wären: OSM-Datenbank (halbwegs aktuell halten, also wohl planet und hourly diffs oder so) Mapnik-Renderer für Style Tests Garmin Europakarte zumindest täglich rendern Die Frage ist jetzt, ob eine Consumer-Kiste 8GB RAM, 1-2TB Platte, Quad-Core i5 dafür geeignet ist (also so ganz grob 800 EUR), oder ob es absehbar sowieso nicht ausreicht. Aus deiner Mail schließe ich, das 16GB-RAM eine Überlegung wert ist, also sollte ich wohl besser nicht im ersten 8 GB Schritt alle Bänke mit Riegeln voll machen ;-) Gruß, ULFL P.S: Sehe ich das richtig, das die Platten als RAID 0 "geschaltet" sind um Performanz zu bekommen? Lohnt sich das? ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
