Hej OSM'ere. Vi havde en fin snak omkring AWSbot, og hvordan adressedata bliver importeret fra DAR via DAWA i august 2016[1][2], hvor dele af de anvendte værktøjerne også blev åbnet op[3] og dokumenteret[4] en smule.
Det lader dog til at vi har en kedelig situation med uhensigtsmæssig opførsel af scriptene i forhold til de anvendte API'er. I hvert fald rapporterer[5] en af Overpass API-udviklerne om stor belastning på Overpass-serverne[6] med mere end 20.000 forespørgsler pr. døgn, fra noget der lugter meget af at være et af AWSbot-scriptene Jeg har kontaktet Stephen Møller, som kører og administrerer den egentlige import til OSM via OSM-brugeren AWSbot[7], og han har slukket for noget af kørslen i morges, så forhåbentlig har vi allerede reduceret belastningen. Skulle der dog være nogen derude som selv har taget initiativ til at køre scriptene periodisk, i et cron-job eller lignende, så vil jeg gerne opfordre til at kørslen bliver midlertidigt lukket ned hurtigst muligt, så den ikke er årsag til for meget ballade. Jeg har selv faktuelt konstateret at det osmdata-add.php script der er på Github[8] ved forespørgsel på postnummer 1533 på DAWA (som giver et tomt svar) havner i en løkke som aldrig afslutter. Får det lov at køre uovervåget, fortsætter det med at forsøge at hente data om dette postnummer, først på Overpass, så på DAWA indtil det formentlig løber tør for hukommelse eller ved en timeout på ~694 dage. Jeg regner med ret hurtigt, måske i aften, at kunne lave en nød-rettelse, så scriptene fortsætter på mere fornuftig vis, måske efter et par retries, når denne situation opstår. Om rettelserne kan komme på det oprindelige Github-repository ved jeg ikke (mon ikke Stephen er administrator for det?), men ellers vil de være i mit fork[9]. Hilsner, -- Mikkel PS: rent datamæssigt ser postnummer 1532+1533 ud til at være[10] "Internationalt Postcenter" i Kastrup. Nogen der ved om dette er blevet ændret/nedlagt for nyligt siden de ikke er i DAWA? [1] https://lists.openstreetmap.org/pipermail/talk-dk/2016-August/004683.html [2] https://lists.openstreetmap.org/pipermail/talk-dk/2016-April/004595.html [3] https://github.com/AWSbot [4] http://www.openstreetmap.org/user/AWSbot [5] https://github.com/AWSbot/PHPscript/issues/1#issue-251346914 [6] https://wiki.openstreetmap.org/wiki/Overpass_API [7] https://lists.openstreetmap.org/pipermail/talk-dk/2016-April/004595.html [8] https://github.com/AWSbot/PHPscript/blob/master/osmdata-add.php [9] https://github.com/mikini/PHPscript [10] https://subscription.postnord.dk/webservices/export/07-11-2017-postnummer.xlsx
signature.asc
Description: OpenPGP digital signature
_______________________________________________ Talk-dk mailing list Talk-dk@openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-dk
