Re: [OSM-talk-be] overpass-api.de niet bereikbaar?

2016-08-22 Thread Glenn Plas 
Hallo,

Overpass API server (.de) is opnieuw opgezet.  De oorzaak is een
overload aan requests.  De server is gesized naar 50 000 requests per
uur en kreeg er 300K tot 500K requests te verwerken, wat de oorzaak was
van het probleem.

De server is opnieuw opgezet met 16:04 ubuntu en is 'recovering' ,
volledige functionaliteit is nog niet restored.  De updates staan niet
aan en area queries zijn nog niet enabled.

Dus best niet downloaden via Overpass API voor JOSM edits , en niet
verwachten dat updates onmiddelijk in Overpass beschikbaar zullen zijn,
dit zal wss nog een paar dagen het geval zijn.

Zie engelse uitleg: http://wiki.openstreetmap.org/wiki/Overpass_API/status

Nog even geduld dus tot alles terug normaal is.

Mvg,

Glenn


On 21-08-16 22:15, Glenn Plas wrote:
> On 21-08-16 21:46, Karel Adams wrote:
>> Hm, dank voor de tip, Glenn - maar is dat niet een beetje simpel? Moeten
>> we dan echt allemaal die Zwitserse server aanspreken totdat die ook door
>> zijn knieën gaat?
> 
> De Franse server werkt ook nog. ( api.openstreetmap.fr/oapi/ )
> 
> Nu stuurt iedereen standaard alles naar de Duitse , niet ?  Overpass API
> is gemaakt om veel te consulteren, en indien er load problemen zijn
> zouden die in principe moeten throthlen en zelfs queries killen.  Er is
> een gans systeem om fairness in afhandeling van request te vrijwaren.
> 
> Ik denk dat de Duitse server de meest populaire is.  De bedoeling van
> meerdere servers is net om de load te spreiden en alternatieven te hebben.
> 
> Als je er een service mee opzet, kan je de requests balanceren over de
> verschillende servers. Als ik een service op O-API zou bouwen, dan zou
> ik van in het begin meerdere servers ondersteunen en bij
> onbereikbaarheid overfalen naar eentje die wel antwoord.
> 
> Requests die niet doorgaan zullen niet 'gequeued' worden, die gaan
> gewoon verloren, er zal wel een piekje zijn als ze terug live komen maar
> dit zijn stevige services, maar het zijn en blijven openbare diensten
> die je 'mag' gebruiken.
> 
> Voor Mission critical stuff: dan kan je beter je eigen overpass diensten
> opzetten.
> 
> De zwitserse is geen standby-ambulance hoor, je mag die gerust ook
> hameren ipv alles naar de Duitse te duwen.
> 
> Glenn
> 
> 
>>
>> Het is goed om te weten dat hij er is, voor in een noodgeval, maar als
>> het niet dringend is dan zou het devies toch eerder moeten zijn
>> "eventjes geduld..."
>>
>> KA
>>
>> On 21-08-16 19:38, Glenn Plas wrote:
>>> Gebruikt de Zwitserse gewoon, die werkt: http://overpass.osm.ch/
>>>
>>> Zowel de Duitse als de Russische instances hebben nog steeds problemen.
>>>
>>> Glenn
>>>
>>>
>>>
>>> On 21-08-16 16:12, Karel Adams wrote:
 De titel zegt het allemaal: ik kan niet meer connecteren naar
 overpass-api.de?

 Onderhoudswerkzaamheden, misschien? Maar dan zou er toch een
 "sorry"-pagina opstaan, zou ik verwachten?

 wget "http://overpass-api.de/api/interpreter;
 --2016-08-21 14:09:02--  http://overpass-api.de/api/interpreter
 Resolving overpass-api.de (overpass-api.de)... 136.243.42.136,
 2a01:4f8:212:a83::2
 Connecting to overpass-api.de (overpass-api.de)|136.243.42.136|:80...
 failed: Connection refused.
 Connecting to overpass-api.de
 (overpass-api.de)|2a01:4f8:212:a83::2|:80... failed: Network is
 unreachable.

 (geen paniek, dit commando zal ik in normale omstandigheden niet
 lanceren - gewoonlijk zit er een --post-file= bij in om het volume
 stevig in te perken


 Karel


 ___
 Talk-be mailing list
 Talk-be@openstreetmap.org
 https://lists.openstreetmap.org/listinfo/talk-be
>>>
>>> ___
>>> Talk-be mailing list
>>> Talk-be@openstreetmap.org
>>> https://lists.openstreetmap.org/listinfo/talk-be
>>
>>
>> ___
>> Talk-be mailing list
>> Talk-be@openstreetmap.org
>> https://lists.openstreetmap.org/listinfo/talk-be
> 
> 
> ___
> Talk-be mailing list
> Talk-be@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-be
> 


___
Talk-be mailing list
Talk-be@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-be

Re: [OSM-talk-be] overpass-api.de niet bereikbaar?

2016-08-21 Thread Karel Adams 

Nogmaals bedankt, Marc.

Eigenlijk was ik van plan om te wachten tot morgen, maar ik kon het niet 
laten, ik ben om het kwartier of zo blijven proberen, en om 18:57 UTC 
(da's dus 20:57 plaatselijk) is mijn data er netjes doorgekomen. Het 
lijkt me wel zeker dat het allemaal met horten en stoten terug op gang 
komt, dat is nogal gebruikelijk na een langdurige panne.


Beste,
Karel

On 21-08-16 19:16, Marc Gemis wrote:

Karel,

er is ook nog http://wiki.openstreetmap.org/wiki/Platform_Status
Bij de overpass servers heb je een link naar een status pagina waar je
misschien meer info vindt

mvg

m

2016-08-21 19:47 GMT+02:00 Karel Adams :

Dankjewel Marc.

Intussen komt er een beetje leven in de boetiek, maar data krijg ik nog
niet. Mogelijks is de server terug helemaal op, maar nu stevig overbelast
door de vele wachtenden die al enkele etmalen aan het retry-en zijn.

KA

--2016-08-21 17:45:17--  http://overpass-api.de/api/interpreter
Resolving overpass-api.de (overpass-api.de)... 136.243.42.136,
2a01:4f8:212:a83::2
Connecting to overpass-api.de (overpass-api.de)|136.243.42.136|:80...
connected.
HTTP request sent, awaiting response... Read error (Connection reset by
peer) in headers.
Retrying.

--2016-08-21 17:45:21--  (try: 2) http://overpass-api.de/api/interpreter
Connecting to overpass-api.de (overpass-api.de)|136.243.42.136|:80...
connected.
HTTP request sent, awaiting response... 404 Not Found
2016-08-21 17:45:55 ERROR 404: Not Found.





On 21-08-16 15:17, Marc Gemis wrote:

Philippe Verdy op de Franse mailing list:

Les deux instances russe et allemande sont "down" (aussi bien en HTTP
qu'en HTTPS). Ce n'est même pas à cause de l'usage car selon leurs
mainteneur l'activité est faible. Il semble que ce soit un problème en
amont sur un parefeu (maucais routage interne) ou un proxy frontal
(problème disque?). En attendant on n'a que l'instance française qui
fonctionne.

Cela dure depuis 2 jours, mais pas d'explication sur ce qui se passe.
Si c'est causé par un usage excessif de l'API, cela pourrait être lié
à certains outils (quelques applis mal fichues pour mobiles, qui ne
disposent d'aucune capacité de gestion de cache en local sur le client
ou sur le serveur de l'appli, et qui raffraichissent trop souvent ou
entrent en boucle)

2016-08-21 16:12 GMT+02:00 Karel Adams :

De titel zegt het allemaal: ik kan niet meer connecteren naar
overpass-api.de?

Onderhoudswerkzaamheden, misschien? Maar dan zou er toch een
"sorry"-pagina
opstaan, zou ik verwachten?

wget "http://overpass-api.de/api/interpreter;
--2016-08-21 14:09:02--  http://overpass-api.de/api/interpreter
Resolving overpass-api.de (overpass-api.de)... 136.243.42.136,
2a01:4f8:212:a83::2
Connecting to overpass-api.de (overpass-api.de)|136.243.42.136|:80...
failed: Connection refused.
Connecting to overpass-api.de
(overpass-api.de)|2a01:4f8:212:a83::2|:80...
failed: Network is unreachable.

(geen paniek, dit commando zal ik in normale omstandigheden niet lanceren
-
gewoonlijk zit er een --post-file= bij in om het volume stevig in te
perken


Karel


___
Talk-be mailing list
Talk-be@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-be

___
Talk-be mailing list
Talk-be@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-be



___
Talk-be mailing list
Talk-be@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-be

___
Talk-be mailing list
Talk-be@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-be



___
Talk-be mailing list
Talk-be@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-be

Re: [OSM-talk-be] overpass-api.de niet bereikbaar?

2016-08-21 Thread Marc Gemis 
Karel,

er is ook nog http://wiki.openstreetmap.org/wiki/Platform_Status
Bij de overpass servers heb je een link naar een status pagina waar je
misschien meer info vindt

mvg

m

2016-08-21 19:47 GMT+02:00 Karel Adams :
> Dankjewel Marc.
>
> Intussen komt er een beetje leven in de boetiek, maar data krijg ik nog
> niet. Mogelijks is de server terug helemaal op, maar nu stevig overbelast
> door de vele wachtenden die al enkele etmalen aan het retry-en zijn.
>
> KA
>
> --2016-08-21 17:45:17--  http://overpass-api.de/api/interpreter
> Resolving overpass-api.de (overpass-api.de)... 136.243.42.136,
> 2a01:4f8:212:a83::2
> Connecting to overpass-api.de (overpass-api.de)|136.243.42.136|:80...
> connected.
> HTTP request sent, awaiting response... Read error (Connection reset by
> peer) in headers.
> Retrying.
>
> --2016-08-21 17:45:21--  (try: 2) http://overpass-api.de/api/interpreter
> Connecting to overpass-api.de (overpass-api.de)|136.243.42.136|:80...
> connected.
> HTTP request sent, awaiting response... 404 Not Found
> 2016-08-21 17:45:55 ERROR 404: Not Found.
>
>
>
>
>
> On 21-08-16 15:17, Marc Gemis wrote:
>>
>> Philippe Verdy op de Franse mailing list:
>>
>> Les deux instances russe et allemande sont "down" (aussi bien en HTTP
>> qu'en HTTPS). Ce n'est même pas à cause de l'usage car selon leurs
>> mainteneur l'activité est faible. Il semble que ce soit un problème en
>> amont sur un parefeu (maucais routage interne) ou un proxy frontal
>> (problème disque?). En attendant on n'a que l'instance française qui
>> fonctionne.
>>
>> Cela dure depuis 2 jours, mais pas d'explication sur ce qui se passe.
>> Si c'est causé par un usage excessif de l'API, cela pourrait être lié
>> à certains outils (quelques applis mal fichues pour mobiles, qui ne
>> disposent d'aucune capacité de gestion de cache en local sur le client
>> ou sur le serveur de l'appli, et qui raffraichissent trop souvent ou
>> entrent en boucle)
>>
>> 2016-08-21 16:12 GMT+02:00 Karel Adams :
>>>
>>> De titel zegt het allemaal: ik kan niet meer connecteren naar
>>> overpass-api.de?
>>>
>>> Onderhoudswerkzaamheden, misschien? Maar dan zou er toch een
>>> "sorry"-pagina
>>> opstaan, zou ik verwachten?
>>>
>>> wget "http://overpass-api.de/api/interpreter;
>>> --2016-08-21 14:09:02--  http://overpass-api.de/api/interpreter
>>> Resolving overpass-api.de (overpass-api.de)... 136.243.42.136,
>>> 2a01:4f8:212:a83::2
>>> Connecting to overpass-api.de (overpass-api.de)|136.243.42.136|:80...
>>> failed: Connection refused.
>>> Connecting to overpass-api.de
>>> (overpass-api.de)|2a01:4f8:212:a83::2|:80...
>>> failed: Network is unreachable.
>>>
>>> (geen paniek, dit commando zal ik in normale omstandigheden niet lanceren
>>> -
>>> gewoonlijk zit er een --post-file= bij in om het volume stevig in te
>>> perken
>>>
>>>
>>> Karel
>>>
>>>
>>> ___
>>> Talk-be mailing list
>>> Talk-be@openstreetmap.org
>>> https://lists.openstreetmap.org/listinfo/talk-be
>>
>> ___
>> Talk-be mailing list
>> Talk-be@openstreetmap.org
>> https://lists.openstreetmap.org/listinfo/talk-be
>
>
>
> ___
> Talk-be mailing list
> Talk-be@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-be

___
Talk-be mailing list
Talk-be@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-be

Re: [OSM-talk-be] overpass-api.de niet bereikbaar?

2016-08-21 Thread Karel Adams 

Dankjewel Marc.

Intussen komt er een beetje leven in de boetiek, maar data krijg ik nog 
niet. Mogelijks is de server terug helemaal op, maar nu stevig 
overbelast door de vele wachtenden die al enkele etmalen aan het 
retry-en zijn.


KA

--2016-08-21 17:45:17--  http://overpass-api.de/api/interpreter
Resolving overpass-api.de (overpass-api.de)... 136.243.42.136, 
2a01:4f8:212:a83::2
Connecting to overpass-api.de (overpass-api.de)|136.243.42.136|:80... 
connected.
HTTP request sent, awaiting response... Read error (Connection reset by 
peer) in headers.

Retrying.

--2016-08-21 17:45:21--  (try: 2) http://overpass-api.de/api/interpreter
Connecting to overpass-api.de (overpass-api.de)|136.243.42.136|:80... 
connected.

HTTP request sent, awaiting response... 404 Not Found
2016-08-21 17:45:55 ERROR 404: Not Found.




On 21-08-16 15:17, Marc Gemis wrote:

Philippe Verdy op de Franse mailing list:

Les deux instances russe et allemande sont "down" (aussi bien en HTTP
qu'en HTTPS). Ce n'est même pas à cause de l'usage car selon leurs
mainteneur l'activité est faible. Il semble que ce soit un problème en
amont sur un parefeu (maucais routage interne) ou un proxy frontal
(problème disque?). En attendant on n'a que l'instance française qui
fonctionne.

Cela dure depuis 2 jours, mais pas d'explication sur ce qui se passe.
Si c'est causé par un usage excessif de l'API, cela pourrait être lié
à certains outils (quelques applis mal fichues pour mobiles, qui ne
disposent d'aucune capacité de gestion de cache en local sur le client
ou sur le serveur de l'appli, et qui raffraichissent trop souvent ou
entrent en boucle)

2016-08-21 16:12 GMT+02:00 Karel Adams :

De titel zegt het allemaal: ik kan niet meer connecteren naar
overpass-api.de?

Onderhoudswerkzaamheden, misschien? Maar dan zou er toch een "sorry"-pagina
opstaan, zou ik verwachten?

wget "http://overpass-api.de/api/interpreter;
--2016-08-21 14:09:02--  http://overpass-api.de/api/interpreter
Resolving overpass-api.de (overpass-api.de)... 136.243.42.136,
2a01:4f8:212:a83::2
Connecting to overpass-api.de (overpass-api.de)|136.243.42.136|:80...
failed: Connection refused.
Connecting to overpass-api.de (overpass-api.de)|2a01:4f8:212:a83::2|:80...
failed: Network is unreachable.

(geen paniek, dit commando zal ik in normale omstandigheden niet lanceren -
gewoonlijk zit er een --post-file= bij in om het volume stevig in te perken


Karel


___
Talk-be mailing list
Talk-be@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-be

___
Talk-be mailing list
Talk-be@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-be



___
Talk-be mailing list
Talk-be@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-be

Re: [OSM-talk-be] overpass-api.de niet bereikbaar?

2016-08-21 Thread Marc Gemis 
Philippe Verdy op de Franse mailing list:

Les deux instances russe et allemande sont "down" (aussi bien en HTTP
qu'en HTTPS). Ce n'est même pas à cause de l'usage car selon leurs
mainteneur l'activité est faible. Il semble que ce soit un problème en
amont sur un parefeu (maucais routage interne) ou un proxy frontal
(problème disque?). En attendant on n'a que l'instance française qui
fonctionne.

Cela dure depuis 2 jours, mais pas d'explication sur ce qui se passe.
Si c'est causé par un usage excessif de l'API, cela pourrait être lié
à certains outils (quelques applis mal fichues pour mobiles, qui ne
disposent d'aucune capacité de gestion de cache en local sur le client
ou sur le serveur de l'appli, et qui raffraichissent trop souvent ou
entrent en boucle)

2016-08-21 16:12 GMT+02:00 Karel Adams :
> De titel zegt het allemaal: ik kan niet meer connecteren naar
> overpass-api.de?
>
> Onderhoudswerkzaamheden, misschien? Maar dan zou er toch een "sorry"-pagina
> opstaan, zou ik verwachten?
>
> wget "http://overpass-api.de/api/interpreter;
> --2016-08-21 14:09:02--  http://overpass-api.de/api/interpreter
> Resolving overpass-api.de (overpass-api.de)... 136.243.42.136,
> 2a01:4f8:212:a83::2
> Connecting to overpass-api.de (overpass-api.de)|136.243.42.136|:80...
> failed: Connection refused.
> Connecting to overpass-api.de (overpass-api.de)|2a01:4f8:212:a83::2|:80...
> failed: Network is unreachable.
>
> (geen paniek, dit commando zal ik in normale omstandigheden niet lanceren -
> gewoonlijk zit er een --post-file= bij in om het volume stevig in te perken
>
>
> Karel
>
>
> ___
> Talk-be mailing list
> Talk-be@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-be

___
Talk-be mailing list
Talk-be@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-be