Re: [Talk-de] Aktualisierung Downloadbereich Geofabrik
Am Montag 27 Juli 2009 schrieb Matthias Versen: Frederik Ramm wrote: Eine andere Frage ist natuerlich, wieso die da ueberhaupt reinkommen, denn gueltiges UTF-8-Zeichen oder nicht, ein ^V vor einem Strassennamen ist in den wenigsten Faellen ein gewollter Edit. Soweit ich das mitbekommen habe liegt es an dem allseits beliebten Potlatch denn der benutzt nicht die APi sondern eine binäre Schnittstelle. Dazu kommt wohl ein kaputter Flashplayer für Linux und zusammen ergibt es dann dieses Problem. potlatch?!? war ja klar ;-) wieso darf ueberhaupt irgendjemand an der api vorbei auf die datenbank zugreifen? ich wuerde das auf keinen fall zulassen... signature.asc Description: This is a digitally signed message part. ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] Aktualisierung Downloadbereich Geofabrik
Am Dienstag 28 Juli 2009 schrieb Frederik Ramm: Hallo, Guenther Meyer wrote: und wo ist da ein problem? ^V ist kein xml-relevantes zeichen. wenn das ganz normal in utf8-kodierung gespeichert ist, sollte das doch kein problem geben... Sollte, haette, muesste, koennte ;-) es gibt da eine Liste von Ausnahmezeichen, die gueltige UTF8-Zeichen, fuer XML aber discouraged sind: http://www.w3.org/TR/REC-xml/#NT-Char Diese als nicht xml-relevant zu bezeichnen, ist sicher nicht ganz richtig, denn immerhin finden sie im offiziellen W3C-XML-Dokument Erwaehnung. Ich wuerde diesen Passus zwar als sollte man nicht benutzen lesen und nicht als sind verboten, aber einige Libraries scheinen letzteres anzunehmen. mann oh mann, immer diese freie auslegung von an sich guten recommendations... ;-) wieso wird sowas dann nicht schon in der api gefiltert? diese zeichen braucht ja nun wirklich keiner in osm... signature.asc Description: This is a digitally signed message part. ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] Aktualisierung Downloadbereich Geofabrik
On Tue, Jul 28, 2009 at 08:10:59AM +0200, Guenther Meyer wrote: mann oh mann, immer diese freie auslegung von an sich guten recommendations... ;-) wieso wird sowas dann nicht schon in der api gefiltert? diese zeichen braucht ja nun wirklich keiner in osm... Check den svn tree aus und schick einen patch. Flo -- Florian Lohoff f...@rfc822.org Those who would give up a little freedom to get a little security shall soon have neither - Benjamin Franklin signature.asc Description: Digital signature ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] Aktualisierung Downloadbereich Geofabrik
Am Mo, 27.07.2009, 22:34 schrieb Frederik Ramm: Konkret ist das so, dass ich Osmosis --rci mit Stundendiffs laufen lasse. Wie Florian richtig sagt, bricht das dann ab. Dann mirrore ich die Stundendiffs lokal, jage sie durch xmlstarlet, um den Fehler zu finden, repariere ihn von Hand, und lasse Osmosis auf meinen korrigierten Mirror los. Wieso denn den harten Weg über den XML-Parser gehen? Ein ähnliches Problem habe ich so gelöst, dass ich automatisch immer mehrere Zeilen eingelesen, die bösen Zeichen escapted und dann in eine neue Datei geschrieben habe. Quasi im Stream - das geht deutlich fixer als über einen Parser. ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] Aktualisierung Downloadbereich Geofabrik
Frederik Ramm frede...@remote.org wrote: Manchmal - in den letzten Tagen gab es oefters Probleme mit nicht-XML-konformen Sonderzeichen in Daten Kannst Du da nicht einfach knallhart ein recode dazwischenschalten? Sven -- Software patents are the software project equivalent of land mines: Each design decision carries a risk of stepping on a patent, which can destroy your project. (Richard M. Stallman) /me is gig...@ircnet, http://sven.gegg.us/ on the Web ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] Aktualisierung Downloadbereich Geofabrik
Hallo, Sven Geggus wrote: Manchmal - in den letzten Tagen gab es oefters Probleme mit nicht-XML-konformen Sonderzeichen in Daten Kannst Du da nicht einfach knallhart ein recode dazwischenschalten? Da verloere ich den Komfort des --rci, das ja die Schritte rausfinden, was geholt werden muss, holen, zu einem Diff vereinigen gleich richtig macht... Bye Frederik ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] Aktualisierung Downloadbereich Geofabrik
Am Di, 28.07.2009, 11:51 schrieb Frederik Ramm: Da verloere ich den Komfort des --rci, das ja die Schritte rausfinden, was geholt werden muss, holen, zu einem Diff vereinigen gleich richtig macht... Wieso? Wenn dein Mirror die gleiche Vorgehensweise des Fixens hatte, wie die eingehenden Daten, müsste es doch wieder passen? ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] Aktualisierung Downloadbereich Geofabrik
Am 28. Juli 2009 08:12 schrieb Guenther Meyer d@sordidmusic.com: wieso darf ueberhaupt irgendjemand an der api vorbei auf die datenbank zugreifen? ich wuerde das auf keinen fall zulassen... sehe ich auch so. Es sollte auch in Flash möglich sein, die API zu benutzen ;-) Gruß Martin ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
[Talk-de] Aktualisierung Downloadbereich Geofabrik
Erstmal ein Dankeschön an die Geofabrik für die Bereitstellung der OSM-Daten, schließlich ist das ein freiwilliger Service. Mich würde interessieren, wie oft die Daten im Downloadbereich der Geofabrik (http://download.geofabrik.de/osm/) aktualisiert werden. Ich werde irgendwie nicht ganz schlau daraus: Teilweise gibt es jeden Tag eine neue Version, dann ändert sich wieder einige Tage lang nichts. Gibt es hier irgendein Schema? Momentan sind die Kontinente mit Ausnahme von Nordamerika aktuell, die Staaten und und Bundesländer sind jedoch vom 24.7. Rudi __ GRATIS für alle WEB.DE-Nutzer: Die maxdome Movie-FLAT! Jetzt freischalten unter http://movieflat.web.de ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] Aktualisierung Downloadbereich Geofabrik
Hallo, drahtese...@web.de wrote: Mich würde interessieren, wie oft die Daten im Downloadbereich der Geofabrik (http://download.geofabrik.de/osm/) aktualisiert werden. Normal jede Nacht, mit der Ausnahme von Nordamerika, das nur in Nacht von Samstag auf Sonntag. Manchmal - in den letzten Tagen gab es oefters Probleme mit nicht-XML-konformen Sonderzeichen in Daten - bricht der Job allerdings ab, und dann faellt ein Tag aus. Letzte Nacht, das ist relativ unueblich, sind die Kontinente durchgelaufen, und die Laender dann wegen einer von mir von Hand eingefuegten ungueltigen Polygondatei abgebrochen ;-) Bye Frederik ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] Aktualisierung Downloadbereich Geofabrik
Hallo Frederik, besten Dank für die Infos. Manchmal - in den letzten Tagen gab es oefters Probleme mit nicht-XML-konformen Sonderzeichen in Daten - bricht der Job allerdings ab, und dann faellt ein Tag aus. Wie umgehst Du eigentlich das Problem mit den Sonderzeichen? Soweit ich das verstanden habe, schneidest Du mit osmosis die einzelnen Gebiete per Polygon-File aus einem planet File aus (welches Du evtl. mit diff-Files aktuell hältst). Ersetzt Du einfach die problematischen Zeichen im planet File (oder in den Diffs) bevor Du osmosis startest? Rudi ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] Aktualisierung Downloadbereich Geofabrik
On Mon, Jul 27, 2009 at 09:56:38PM +0200, Rudi wrote: Subject: Re: [Talk-de] Aktualisierung Downloadbereich Geofabrik Hallo Frederik, besten Dank für die Infos. Manchmal - in den letzten Tagen gab es oefters Probleme mit nicht-XML-konformen Sonderzeichen in Daten - bricht der Job allerdings ab, und dann faellt ein Tag aus. Wie umgehst Du eigentlich das Problem mit den Sonderzeichen? Soweit ich das verstanden habe, schneidest Du mit osmosis die einzelnen Gebiete per Polygon-File aus einem planet File aus (welches Du evtl. mit diff-Files aktuell hältst). Ersetzt Du einfach die problematischen Zeichen im planet File (oder in den Diffs) bevor Du osmosis startest? Osmosis frisst die diffs ja gar nicht - Der bricht ab mit einem XML fehler. Und das wird gerade reichlich nervig - es vergeht kaum ein tag das wir im moment nicht ein kaputtes diff haben - und jedesmal das manuell editieren ist echt doof wenn man sich auf automatismen verlaesst. Waere schoen wenn das ein fuer alle mal in API gefixed wuerde - Das war schon request vor ueber einem Jahr aber anscheinend interessierts so richtig keinen. Flo -- Florian Lohoff f...@rfc822.org Those who would give up a little freedom to get a little security shall soon have neither - Benjamin Franklin signature.asc Description: Digital signature ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] Aktualisierung Downloadbereich Geofabrik
Hallo, Florian Lohoff wrote: Wie umgehst Du eigentlich das Problem mit den Sonderzeichen? Soweit ich das verstanden habe, schneidest Du mit osmosis die einzelnen Gebiete per Polygon-File aus einem planet File aus (welches Du evtl. mit diff-Files aktuell hältst). Ersetzt Du einfach die problematischen Zeichen im planet File (oder in den Diffs) bevor Du osmosis startest? Osmosis frisst die diffs ja gar nicht - Der bricht ab mit einem XML fehler. Konkret ist das so, dass ich Osmosis --rci mit Stundendiffs laufen lasse. Wie Florian richtig sagt, bricht das dann ab. Dann mirrore ich die Stundendiffs lokal, jage sie durch xmlstarlet, um den Fehler zu finden, repariere ihn von Hand, und lasse Osmosis auf meinen korrigierten Mirror los. Waere schoen wenn das ein fuer alle mal in API gefixed wuerde - Das war schon request vor ueber einem Jahr aber anscheinend interessierts so richtig keinen. Derzeit ist das Problem wohl, wenn ich richtig verstehe, dass es sich um Sonderzeichen handelt, die in UTF-8 zulaessig sind, aber nicht in XML, und die daher streng genommen bei der XML-Herstellung aus der Datenbank (das macht Osmosis) escaped werden muessten. Eine andere Frage ist natuerlich, wieso die da ueberhaupt reinkommen, denn gueltiges UTF-8-Zeichen oder nicht, ein ^V vor einem Strassennamen ist in den wenigsten Faellen ein gewollter Edit. Bye Frederik -- Frederik Ramm ## eMail frede...@remote.org ## N49°00'09 E008°23'33 ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] Aktualisierung Downloadbereich Geofabrik
Am Montag 27 Juli 2009 schrieb Frederik Ramm: Hallo, Florian Lohoff wrote: Wie umgehst Du eigentlich das Problem mit den Sonderzeichen? Soweit ich das verstanden habe, schneidest Du mit osmosis die einzelnen Gebiete per Polygon-File aus einem planet File aus (welches Du evtl. mit diff-Files aktuell hältst). Ersetzt Du einfach die problematischen Zeichen im planet File (oder in den Diffs) bevor Du osmosis startest? Osmosis frisst die diffs ja gar nicht - Der bricht ab mit einem XML fehler. Konkret ist das so, dass ich Osmosis --rci mit Stundendiffs laufen lasse. Wie Florian richtig sagt, bricht das dann ab. Dann mirrore ich die Stundendiffs lokal, jage sie durch xmlstarlet, um den Fehler zu finden, repariere ihn von Hand, und lasse Osmosis auf meinen korrigierten Mirror los. Waere schoen wenn das ein fuer alle mal in API gefixed wuerde - Das war schon request vor ueber einem Jahr aber anscheinend interessierts so richtig keinen. Derzeit ist das Problem wohl, wenn ich richtig verstehe, dass es sich um Sonderzeichen handelt, die in UTF-8 zulaessig sind, aber nicht in XML, und die daher streng genommen bei der XML-Herstellung aus der Datenbank (das macht Osmosis) escaped werden muessten. wie!?! ihr macht das per hand? ohne eine xml-library? utf-8 und xml vertraegt sich wunderbar, und die paar sachen, die escaped werden muessen, macht die entsprechende xml-lib automatisch. zumindest kenne ich das so... oder versteh ich das grad alles falsch...? signature.asc Description: This is a digitally signed message part. ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] Aktualisierung Downloadbereich Geofabrik
Hallo, Guenther Meyer wrote: wie!?! ihr macht das per hand? ohne eine xml-library? utf-8 und xml vertraegt sich wunderbar, und die paar sachen, die escaped werden muessen, macht die entsprechende xml-lib automatisch. zumindest kenne ich das so... oder versteh ich das grad alles falsch...? Ich hab mich nicht damit beschaeftigt, wie Osmosis genau XML erzeugt, ich vermute eigentlich schon, dass es eine Library benutzt (Quelltext in applications/utils/osmosis), aber auch bei fertigen Libraries kann es mal vorkommen, dass jemand zwar angedacht hat, aber nicht an ^V oder sowas... Das Planetfile wird uebrigens nicht mit Osmosis, sondern mit einem anderen Programm erstellt, daher kann es manchmal zu Unterschieden kommen bei exotischen Zeichen ,-) Fuer die, die die Diffs mit osm2pgsql weiterverarbeiten, gibt es dort natuerlich die sanitize UTF-8-Option. Bye Frederik -- Frederik Ramm ## eMail frede...@remote.org ## N49°00'09 E008°23'33 ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] Aktualisierung Downloadbereich Geofabrik
Frederik Ramm wrote: Eine andere Frage ist natuerlich, wieso die da ueberhaupt reinkommen, denn gueltiges UTF-8-Zeichen oder nicht, ein ^V vor einem Strassennamen ist in den wenigsten Faellen ein gewollter Edit. Soweit ich das mitbekommen habe liegt es an dem allseits beliebten Potlatch denn der benutzt nicht die APi sondern eine binäre Schnittstelle. Dazu kommt wohl ein kaputter Flashplayer für Linux und zusammen ergibt es dann dieses Problem. Matthias ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] Aktualisierung Downloadbereich Geofabrik
Am Montag 27 Juli 2009 schrieb Frederik Ramm: Hallo, Guenther Meyer wrote: wie!?! ihr macht das per hand? ohne eine xml-library? utf-8 und xml vertraegt sich wunderbar, und die paar sachen, die escaped werden muessen, macht die entsprechende xml-lib automatisch. zumindest kenne ich das so... oder versteh ich das grad alles falsch...? Ich hab mich nicht damit beschaeftigt, wie Osmosis genau XML erzeugt, ich vermute eigentlich schon, dass es eine Library benutzt (Quelltext in applications/utils/osmosis), ohje, java... aber auch bei fertigen Libraries kann es mal vorkommen, dass jemand zwar angedacht hat, aber nicht an ^V oder sowas... und wo ist da ein problem? ^V ist kein xml-relevantes zeichen. wenn das ganz normal in utf8-kodierung gespeichert ist, sollte das doch kein problem geben... signature.asc Description: This is a digitally signed message part. ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] Aktualisierung Downloadbereich Geofabrik
Hallo, Guenther Meyer wrote: und wo ist da ein problem? ^V ist kein xml-relevantes zeichen. wenn das ganz normal in utf8-kodierung gespeichert ist, sollte das doch kein problem geben... Sollte, haette, muesste, koennte ;-) es gibt da eine Liste von Ausnahmezeichen, die gueltige UTF8-Zeichen, fuer XML aber discouraged sind: http://www.w3.org/TR/REC-xml/#NT-Char Diese als nicht xml-relevant zu bezeichnen, ist sicher nicht ganz richtig, denn immerhin finden sie im offiziellen W3C-XML-Dokument Erwaehnung. Ich wuerde diesen Passus zwar als sollte man nicht benutzen lesen und nicht als sind verboten, aber einige Libraries scheinen letzteres anzunehmen. Bye Frederik -- Frederik Ramm ## eMail frede...@remote.org ## N49°00'09 E008°23'33 ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] Aktualisierung Downloadbereich Geofabrik
Matthias Versen schrieb: Frederik Ramm wrote: Eine andere Frage ist natuerlich, wieso die da ueberhaupt reinkommen, denn gueltiges UTF-8-Zeichen oder nicht, ein ^V vor einem Strassennamen ist in den wenigsten Faellen ein gewollter Edit. Soweit ich das mitbekommen habe liegt es an dem allseits beliebten Potlatch denn der benutzt nicht die APi sondern eine binäre Schnittstelle. Dazu kommt wohl ein kaputter Flashplayer für Linux und zusammen ergibt es dann dieses Problem. Das tut Potlatch schon seit längerem nicht mehr. Problem ist wohl tatsächlich ein zu laxer input-check, bzw. eine zu pingelige java-XML-lib Seitens osmosis. -- Dirk-Lüder Deelkar Kreie Bremen - 53.0901°N 8.7868°E signature.asc Description: OpenPGP digital signature ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
