[Talk-de] ... pack - ftp - unpack ....
Am 07.07.2010 09:52, schrieb Sven Geggus: Jan Tappenbecko...@tappenbeck.net wrote: Habe aber einmal eine ganz andere Frage in diesem Zusammenhang - wenn ich mit Postgis arbeite, dann muss diese DB immer auf dem Server laufen oder ...? Dann hätte ich mit einfachem Webspace vermutlich schlechte Karten oder ... ? Einfacher Webspace taugt für vieles nicht und daher für die meisten Projekte im OSM Umfeld wenig. Außer vielleicht zum Auslagern von reinen downloads. Einer der Gründe warum es den devserver gibt. Gruss Sven hi ! auf dem kann ja aber nicht jeder für jedes x-beliebiges thema etwas rumbasteln das muss ja aus verständlichen gründen etwas koordiniert erfolgen. frage ich gleich einmal anders herum. hat einer von euch schon einmal eine lösung gebastelt bei der die tiles lokal gezippt werden, dann dieses große file hochgeladen wird (soweit auch für mich kein problem) und dann erst auf dem webserver ausgepackt werden. könnte mir vorstellen das soetwas schneller ist als die tiles manuell hochzuladen. gruß Jan :-) ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] ... pack - ftp - unpack ....
Jan Tappenbeck o...@tappenbeck.net wrote: auf dem kann ja aber nicht jeder für jedes x-beliebiges thema etwas rumbasteln Das ist eigentlich schon so gedacht. Wer eine nette Projektidee hat krieg einen Shellaccount zum experimentieren. das muss ja aus verständlichen gründen etwas koordiniert erfolgen. Das ist IMO kein Widerspruch. Sven -- Das allgemeine Persönlichkeitsrecht (Art. 2 Abs.1 i.V.m. Art.1 Abs. 1GG) umfasst das Grundrecht auf Gewährleistung der Vertraulichkeit und Integrität informationstechnischer Systeme. (BVerfG, 1BvR 370/07) /me is gig...@ircnet, http://sven.gegg.us/ on the Web ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] ... pack - ftp - unpack ....
Hallo Jan, Jan Tappenbeck schrieb: hat einer von euch schon einmal eine lösung gebastelt bei der die tiles lokal gezippt werden, dann dieses große file hochgeladen wird (soweit auch für mich kein problem) und dann erst auf dem webserver ausgepackt werden. könnte mir vorstellen das soetwas schneller ist als die tiles manuell hochzuladen. kommt darauf an, was Du auf Deinem Webspace alles machen kannst bzw. darfst: Wenn Du einen Entpacker auf dem Server starten kannst, ist das kein Problem. Wenn Du z.B. PHP am Server zur Verfügung hast, dann sollte das auch realisierbar sein. Gruß, Stefan ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] ... pack - ftp - unpack ....
Hallo, Jan Tappenbeck wrote: hat einer von euch schon einmal eine lösung gebastelt bei der die tiles lokal gezippt werden, dann dieses große file hochgeladen wird (soweit auch für mich kein problem) und dann erst auf dem webserver ausgepackt werden. % cd /wo/meine/tiles/liegen % tar -czf - . | ssh mein.web.server cd /wo/dort/die/tiles/hinsollen; tar -xzf - Da muss man nichts basteln, das geht einfach so ;) Wenn Du FTP benutzen musst, kannst Du ja das tar.gz (oder auch zip-File) rueberkopieren und auf der anderen Seite auspacken. Falls Du eine Loesung meinst, bei der die grossen Files auf dem Webserver liegen bleiben und erst bei Anforderung ausgepackt werden, sowas hat Nop fuer seine Wanderkarte eine Zeitlang gemacht, aber das ist relativ langsam, weil das PHP nicht gerade ideal ist, um irgendwelche PNGs zu zerhacken. Bye Frederik ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] ... pack - ftp - unpack ....
Am 7. Juli 2010 11:12 schrieb Frederik Ramm frede...@remote.org: % tar -czf - . | ssh mein.web.server cd /wo/dort/die/tiles/hinsollen; tar -xzf - Da muss man nichts basteln, das geht einfach so ;) wenn man ssh-Zugriff hat schon, aber er sprach von einfachem Webspace, da ist das i.d.R. nicht dabei. Gruß Martin ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] ... pack - ftp - unpack ....
Am 7. Juli 2010 09:58 schrieb Jan Tappenbeck o...@tappenbeck.net: hat einer von euch schon einmal eine lösung gebastelt bei der die tiles lokal gezippt werden, dann dieses große file hochgeladen wird (soweit auch für mich kein problem) und dann erst auf dem webserver ausgepackt werden. könnte mir vorstellen das soetwas schneller ist als die tiles manuell hochzuladen. Die Tiles sollten schon in einem Bildformat berechnet sein, das hochkomprimiert ist. Das Packen bringt an der Stelle also keine Platzeinsparung. Und die meisten Webspaces bieten FTP- oder SFTP-Zugang, sodass man mit einem ordentlichen Filetransferprogramm auch ganze Verzeichnisbäume auf einen Schwung übertragen kann. Packen und Auspacken dürfte in den meisten Fällen also mehr Zeit brauchen als sparen. Grüße, jens ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] ... pack - ftp - unpack ....
Am 07.07.2010 11:46, schrieb Jens Frank: Am 7. Juli 2010 09:58 schrieb Jan Tappenbeck o...@tappenbeck.net mailto:o...@tappenbeck.net: hat einer von euch schon einmal eine lösung gebastelt bei der die tiles lokal gezippt werden, dann dieses große file hochgeladen wird (soweit auch für mich kein problem) und dann erst auf dem webserver ausgepackt werden. könnte mir vorstellen das soetwas schneller ist als die tiles manuell hochzuladen. Die Tiles sollten schon in einem Bildformat berechnet sein, das hochkomprimiert ist. Das Packen bringt an der Stelle also keine Platzeinsparung. das ist mir bekannt - aber das verschieben einer datei ist manchmal schneller als das von vielen kleinen dateien. Und die meisten Webspaces bieten FTP- oder SFTP-Zugang, sodass man mit einem ordentlichen Filetransferprogramm auch ganze Verzeichnisbäume auf einen Schwung übertragen kann. Packen und Auspacken dürfte in den meisten Fällen also mehr Zeit brauchen als sparen. könnte ein entsprechendes ftp-programm eine beschleunigung bringen. ich mache das zur zeit mit [1] unter windows am lokalen rechner. gruß Jan :-) [1] http://nixbit.com/cat/multimedia/amarok-scripts/tabloader/ ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] ... pack - ftp - unpack ....
Die Tiles sollten schon in einem Bildformat berechnet sein, das hochkomprimiert ist. Das Packen bringt an der Stelle also keine Platzeinsparung. Und die meisten Webspaces bieten FTP- oder SFTP-Zugang, sodass man mit einem ordentlichen Filetransferprogramm auch ganze Verzeichnisbäume auf einen Schwung übertragen kann. Packen und Auspacken dürfte in den meisten Fällen also mehr Zeit brauchen als sparen. Ich habe hier über 200'000 lokal generierte Tiles (ca. 150 MB). Da die einzelnen Tiles aber sehr klein sind (ca. 1 kb), entsteht beim Upload ein riesiger Overhead; selbst nach einer ganzen Nacht überträgt mein FTP-Programm noch Dateien. Das Erstellen der tar.gz-Dateien, Hochladen auf den Server und Entpacken per PHP-Script* dauert hingegen ca. 100 Minuten. Gruss, Thomas * Das Entpack-Script läuft bei allen drei Billig-Hostern (Bereich 2-6 Euro pro Monat), auf welche ich Zugriff habe. ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] ... pack - ftp - unpack ....
Am 07.07.2010 15:59, schrieb Thomas Ineichen: Die Tiles sollten schon in einem Bildformat berechnet sein, das hochkomprimiert ist. Das Packen bringt an der Stelle also keine Platzeinsparung. Und die meisten Webspaces bieten FTP- oder SFTP-Zugang, sodass man mit einem ordentlichen Filetransferprogramm auch ganze Verzeichnisbäume auf einen Schwung übertragen kann. Packen und Auspacken dürfte in den meisten Fällen also mehr Zeit brauchen als sparen. Ich habe hier über 200'000 lokal generierte Tiles (ca. 150 MB). Da die einzelnen Tiles aber sehr klein sind (ca. 1 kb), entsteht beim Upload ein riesiger Overhead; selbst nach einer ganzen Nacht überträgt mein FTP-Programm noch Dateien. Das Erstellen der tar.gz-Dateien, Hochladen auf den Server und Entpacken per PHP-Script* dauert hingegen ca. 100 Minuten. Gruss, Thomas * Das Entpack-Script läuft bei allen drei Billig-Hostern (Bereich 2-6 Euro pro Monat), auf welche ich Zugriff habe. hi ! kann man das script bekommen ? gruß jan :-) ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] ... pack - ftp - unpack ....
Am Mittwoch 07 Juli 2010, 15:59:22 schrieb Thomas Ineichen: Das Erstellen der tar.gz-Dateien, Hochladen auf den Server und Entpacken per PHP-Script* dauert hingegen ca. 100 Minuten. Wenn du tar ohne gz benutzt, könnte es sogar noch schneller gehen, da gar keine Kompression mehr gemacht werden muss (die vermutlich eh nichts bringt sondern nur die beteiligten CPUs etwas mehr stresst). Gruß, Bernd -- Fachbegriffe der Informatik (#403): Strategische Entscheidung Wir haben zwar keine Ahnung, aber die Präsentationen sahen toll bunt aus, die Verkäufer haben uns zugelabert und trugen Schlips und Anzug. Lediglich das Geräusch, das entstand, als der anwesende Techniker (wer hat den eigentlich eingeladen, der trägt ja noch nichtmal Anzug) seinen Kopf mehrfach gegen die Tischplatte schlug, hat etwas gestört. (Alexander Schreiber) signature.asc Description: This is a digitally signed message part. ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] ... pack - ftp - unpack ....
Am 7. Juli 2010 16:35 schrieb Bernd Wurst be...@bwurst.org: Wenn du tar ohne gz benutzt, könnte es sogar noch schneller gehen, da gar keine Kompression mehr gemacht werden muss (die vermutlich eh nichts bringt sondern nur die beteiligten CPUs etwas mehr stresst). Klingt einleuchtend, aber gerade getestet: Aufgabe: 530'000 Tiles in 25'000 Ordnern (~300 MB) packen in 400 Dateien (pro Zoom-Level 1-5 Ordner, 17 verschiedene Layer) tar -cjf: 22 Minuten, 250 MB tar -cf 20 Minuten, 675 MB 10% schneller, aber dafür sind die gepackten Dateien doppelt so gross wie die Originale? Mache ich etwas falsch? :) Gruss, Thomas ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] ... pack - ftp - unpack ....
Am 7. Juli 2010 16:31 schrieb Jan Tappenbeck o...@tappenbeck.net:
kann man das script bekommen ?
Das Script (verkürzt) entpackt alle .tar.bz2-Dateien im selben
Verzeichnis und löscht sie nachher:
if($dir=opendir(.)){
while($file=readdir($dir)){
if (!is_dir($file) !substr_compare($file, .tar.bz2, -8)){
exec(tar -xzvf .$file,$nu);
unlink($file);
}
}
closedir($dir);
}
In der Kurzform ist es ungetestet, daher: Nutzung auf eigene Gefahr! :)
Gruss,
Thomas
___
Talk-de mailing list
Talk-de@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] ... pack - ftp - unpack ....
Hallo, Thomas Ineichen wrote: Aufgabe: 530'000 Tiles in 25'000 Ordnern (~300 MB) packen in 400 Dateien (pro Zoom-Level 1-5 Ordner, 17 verschiedene Layer) tar -cjf: 22 Minuten, 250 MB tar -cf 20 Minuten, 675 MB 10% schneller, aber dafür sind die gepackten Dateien doppelt so gross wie die Originale? Mache ich etwas falsch? :) Die gepackten (komprimierten) sind nicht groesser als die Originale. Die einfach so eingetarten sind groesser, weil tar eine gewisse Blockgroesse benutzt (glaube so 10k oder so) und daher die Dateigroessen aufgerundet werden. Bye Frederik ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] ... pack - ftp - unpack ....
Am Mittwoch 07 Juli 2010, 17:26:19 schrieb Thomas Ineichen: tar -cjf: 22 Minuten, 250 MB Das ist dann ein tar.bz2, nicht tar.gz. Wundert mich, dass die Dauer dabei nicht exorbitant steigt, bzip2 ist eigentlich ziemlich langsam. tar -cf 20 Minuten, 675 MB 10% schneller, aber dafür sind die gepackten Dateien doppelt so gross wie die Originale? Mache ich etwas falsch? :) Frederik hat ja schon eine mögliche Erklärung genannt. Ich hätte nicht gedacht, dass es *so* viel ausmacht. Eine Änderung auf tar xzf sollte aber nen Versuch wert sein, gzip ist wesentlich schneller als bzip2 und komprimiert dir die halben Leer-Blöcke weg. Alternativ natürlich ne kleinere blocksize bei tar, aber stimmt schon, etwas größer wird es dadurch dann immer. Hatte das nicht bedacht, aber es sind halt viele Dateien... Gruß, Bernd -- I really hate this damned machine, I wish that they would sell it. It never does quite what I want, but only what I tell it. signature.asc Description: This is a digitally signed message part. ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
