Re: [Talk-de] Overpass-API und Augmented-Diff-Files
Hi,
Am 26.11.2016 um 16:23 schrieb Pascal Neis:
> Am 26.11.16 um 10:47 schrieb mmd:
>>> Als File können diese nicht irgendwo abgerufen werden, oder?
>>
>> Augmented-diffs werden seit einiger Zeit immer nur on-the-fly erzeugt,
>> sind also nicht als File irgendwo abrufbar.
>>
>> Ich hatte mal vor einiger Zeit folgendes Script nach einer Diskussion
>> auf osm dev gebastelt ("OSM API lookups to complement minutely diffs?"
>> vom 15.09.2016). Vielleicht hilft das als Startpunkt:
>
> danke für deine Antwort. So ähnlich mache ich das momentan bereits.
Ok, prima!
>
> So richtig happy bin ich mit der Variante aber nicht. Ein File
> wäre deutlich schneller als jedes Mal auf die API zu warten bis
> sie das Diff erzeugt hat. Weiterhin würden dann hoffentlich auch
> keine 429er kommen. Aber ok, für meinen Workflow erstmal egal.
>
Richtig toll skaliert der heutige Ansatz nicht. Aktuell konsumieren etwa
eine Hand voll Server regelmäßig Augmented diffs, und jeder einzelne
führt praktisch zur gleichen Zeit dieselbe Query aus. Letztlich liefert
aber jede Query idealerweise dasselbe Ergebnis, benötigt aber je nach
Fleiß der Mapper zwischen 5 und 30 Sekunden.
Ich habe mal ein Ticket dazu aufgemacht und einen anderen Ansatz
vorgeschlagen. Bitte entsprechend ergänzen ;)
https://github.com/drolbr/Overpass-API/issues/342
VG/mmd
___
Talk-de mailing list
Talk-de@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] Overpass-API und Augmented-Diff-Files
Hi,
Am 26.11.16 um 10:47 schrieb mmd:
Als File können diese nicht irgendwo abgerufen werden, oder?
Augmented-diffs werden seit einiger Zeit immer nur on-the-fly erzeugt,
sind also nicht als File irgendwo abrufbar.
Ich hatte mal vor einiger Zeit folgendes Script nach einer Diskussion
auf osm dev gebastelt ("OSM API lookups to complement minutely diffs?"
vom 15.09.2016). Vielleicht hilft das als Startpunkt:
danke für deine Antwort. So ähnlich mache ich das momentan bereits.
So richtig happy bin ich mit der Variante aber nicht. Ein File
wäre deutlich schneller als jedes Mal auf die API zu warten bis
sie das Diff erzeugt hat. Weiterhin würden dann hoffentlich auch
keine 429er kommen. Aber ok, für meinen Workflow erstmal egal.
Viele Grüße
Pascal
___
Talk-de mailing list
Talk-de@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] Overpass-API und Augmented-Diff-Files
Hi,
Am 26.11.2016 um 09:22 schrieb Pascal Neis:
>
> Arbeitet jemand von euch aktiv bei/an der Overpass-API?
Ja, kann man glaube ich sagen :)
>
> Habe einen Prototypen für die Untersuchung von OSM Edits
> entwickelt, der u.a. die Augmented Diffs[1] verwendet.
> Leider habe ich mit dem abfragen der "Files" hin und wieder
> ein paar Probleme. Nutzt von euch noch jemand diese Diffs?
> Als File können diese nicht irgendwo abgerufen werden, oder?
Augmented-diffs werden seit einiger Zeit immer nur on-the-fly erzeugt,
sind also nicht als File irgendwo abrufbar.
Ich hatte mal vor einiger Zeit folgendes Script nach einer Diskussion
auf osm dev gebastelt ("OSM API lookups to complement minutely diffs?"
vom 15.09.2016). Vielleicht hilft das als Startpunkt:
http://wiki.openstreetmap.org/wiki/User:Mmd/Augmented_Diff
Besonderheit ist, dass die aktuelle Serverlast via /api/status
ausgewertet wird. Ist dein Quota durch zuviele / zu große Queries
ausgeschöpft, wird einfach eine gewisse Wartezeit eingelegt.
Roland hatte inzwischen das Format nochmal leicht geändert, u.a. mit
einer Information, wie lange ein Script warten muss, bevor weitere
Anfragen verarbeitet werden. Das ist im Script oben allerdings noch
nicht berücksichtigt.
>
> Die API liefert mir ab und an einen 429er (Too Many Requests).
> Obwohl ich eigentlich nicht so viele Requests hintereinander sende.
Übrigens: es gibt auch eine dedizierte ML:
http://listes.openstreetmap.fr/wws/info/overpass
--
___
Talk-de mailing list
Talk-de@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-de
