Re: [OSM-talk-fr] Utilisation de bulk_upload & bulk_upload_sax

[g.d]

Le 24 sept. 2010 à 10:32, Tenshu a écrit :
> Je tient à faire remarquer que le sujet à fortement dévié.

Pardon, j'avais mal compris certains mails,
et pensais que le pb était aussi lié aux serveurs et disques.
___
Talk-fr mailing list
Talk-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-fr

Re: [OSM-talk-fr] Utilisation de bulk_upload & bulk_upload_sax

[Tenshu]

Je tient à faire remarquer que le sujet à fortement dévié.
Pour faire du bon travail il faut de bon outils a coutume de dire mon père.
Et si l'on pouvait déjà faire un petit pas en avant de ce côté en rendant
plus accessible les deux outils que j'ai cité ...

2010/9/23 g.d 

> Hello Emilie et les autres,
> Si je me souviens, en début d'été avait été lancé un appel à dons pour
> équiper de nouveaux disques, côté ici, "Franco" (Pardon, je ne retrouve plus
> le fil de discussion).
> J'étais ok pour donner, et le suis toujours, quid à racler les fonds des
> tiroirs, ça semblait valoir.
> Il avait été dit que ce sera pour après la rentrée, un dilemme d'assoc'
> et/ou de compte en banque.
> On y est, la "rentrée" est passée,
> mais je n'ai pas de nouvelles, ne sais toujours pas où envoyer.
> Saurais-tu (ou quelqu'un d'autre) où c'en est ?
>
> Sans connaître les internæ des comment tout cela fonctionne techenikkement,
> derrière,
> comment les données vectorielles sont localisées ou dé-localisées, ni
> comment sont fait les transformations du vectoriel en pixels,
> sans savoir ni où ni par qui (On pourrait me reprocher ma naïveté et ma
> confiance aveugle, mais, bon, je crois en le "bon", ce qui est mon grand
> défaut. Ma femme aimée ne cesse de me le rappeler),
> cet appel à dons € pour équiper avec des disques viables côté chez nous me
> paraissait "légitime". P'tèt' j'ai tort ? Dites.
>
> Gerhard
> ---
>
> Le 21 sept. 2010 à 17:17, Emilie Laffray a écrit :
>
> >
> >
> > 2010/9/21 Benoît ROUSSEAU 
> >
> > On a avancé :
> > 1 - il y a un pb côté JOSM a coup sûr => donc avertir l'équipe de JOSM ;
> > 2 - les serveurs sont PROBABLEMENT surchargés et donc ce pb est plus
> fréquent et ne passe plus inaperçu => SIMILI pb côté charge serveur.
> >
> > note : en gras, termes prudents, même si cela semble confirmées par
> Émilie, mais...
> >
> > Oui surtout que je n'ai rien confirmé :) J'ai juste parle que l'on allait
> avoir une nouvelle machine plus puissante, mais je ne suis pas sure de
> l'utilisation de la machine (pas sure qu'elle soit la pour la base de
> donnée). Comme je l'ai indiqué plutôt, je demanderais aux admins s'ils sont
> au courant d'un quelconque problème.
> > Les problèmes rencontrés par les serveurs récemment étaient liés a un
> contrôleur RAID défectueux, qui a été changé depuis.
> >
> > Emilie Laffray
>
>
>
>
> ___
> Talk-fr mailing list
> Talk-fr@openstreetmap.org
> http://lists.openstreetmap.org/listinfo/talk-fr
>



-- 
Mon weblog - http://www.tenshu.fr/
Je soutiens le Logiciel Libre, j'adhère à l'APRIL !
___
Talk-fr mailing list
Talk-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-fr

Re: [OSM-talk-fr] Utilisation de bulk_upload & bulk_upload_sax

[g.d]

Hello Emilie et les autres,
Si je me souviens, en début d'été avait été lancé un appel à dons pour équiper 
de nouveaux disques, côté ici, "Franco" (Pardon, je ne retrouve plus le fil de 
discussion).
J'étais ok pour donner, et le suis toujours, quid à racler les fonds des 
tiroirs, ça semblait valoir.
Il avait été dit que ce sera pour après la rentrée, un dilemme d'assoc' et/ou 
de compte en banque.
On y est, la "rentrée" est passée,
mais je n'ai pas de nouvelles, ne sais toujours pas où envoyer.
Saurais-tu (ou quelqu'un d'autre) où c'en est ? 

Sans connaître les internæ des comment tout cela fonctionne techenikkement, 
derrière,
comment les données vectorielles sont localisées ou dé-localisées, ni comment 
sont fait les transformations du vectoriel en pixels, 
sans savoir ni où ni par qui (On pourrait me reprocher ma naïveté et ma 
confiance aveugle, mais, bon, je crois en le "bon", ce qui est mon grand 
défaut. Ma femme aimée ne cesse de me le rappeler),
cet appel à dons € pour équiper avec des disques viables côté chez nous me 
paraissait "légitime". P'tèt' j'ai tort ? Dites.

Gerhard
---

Le 21 sept. 2010 à 17:17, Emilie Laffray a écrit :

> 
> 
> 2010/9/21 Benoît ROUSSEAU 
> 
> On a avancé :
> 1 - il y a un pb côté JOSM a coup sûr => donc avertir l'équipe de JOSM ;
> 2 - les serveurs sont PROBABLEMENT surchargés et donc ce pb est plus fréquent 
> et ne passe plus inaperçu => SIMILI pb côté charge serveur.
> 
> note : en gras, termes prudents, même si cela semble confirmées par Émilie, 
> mais...
> 
> Oui surtout que je n'ai rien confirmé :) J'ai juste parle que l'on allait 
> avoir une nouvelle machine plus puissante, mais je ne suis pas sure de 
> l'utilisation de la machine (pas sure qu'elle soit la pour la base de 
> donnée). Comme je l'ai indiqué plutôt, je demanderais aux admins s'ils sont 
> au courant d'un quelconque problème.
> Les problèmes rencontrés par les serveurs récemment étaient liés a un 
> contrôleur RAID défectueux, qui a été changé depuis.
> 
> Emilie Laffray




___
Talk-fr mailing list
Talk-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-fr

Re: [OSM-talk-fr] Utilisation de bulk_upload & bulk_upload_sax

[Pieren]

2010/9/21 Benoît ROUSSEAU 

>  Le 21/09/2010 17:17, Emilie Laffray a écrit :
>
> Les problèmes rencontrés par les serveurs récemment étaient liés a un
> contrôleur RAID défectueux, qui a été changé depuis.
>
> Emilie Laffray
>
>
>
Il y a aussi un autre problème de performance depuis la dernière maj de
postgres (8.4 je pense). Certaines requêtes sql sont plus lentes qu'avec la
version précédente de la bdd. Ceci cumulé avec les problèmes de disques, des
utilisations inappropriées de l'API pour faire des exports et des imports
massifs en cours (hors cadastre, aux USA et aux Pays-Bas en particulier) ont
abouti à la baisse de performance actuelle.

Pieren
___
Talk-fr mailing list
Talk-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-fr

Re: [OSM-talk-fr] Utilisation de bulk_upload & bulk_upload_sax

[Benoît ROUSSEAU]

  
  
Le 21/09/2010 17:17, Emilie Laffray a écrit :

  
  2010/9/21 Benoît ROUSSEAU 

   
On a avancé :
1 - il y a un pb côté JOSM a coup sûr => donc avertir
l'équipe de JOSM ;
2 - les serveurs sont PROBABLEMENT surchargés et donc ce pb
est plus fréquent et ne passe plus inaperçu => SIMILI pb
côté charge serveur.

note : en gras, termes prudents, même si cela semble
confirmées par Émilie, mais...
  

  
  
  Oui surtout que je n'ai rien confirmé :) J'ai juste parle que l'on
  allait avoir une nouvelle machine plus puissante, mais je ne suis
  pas sure de l'utilisation de la machine (pas sure qu'elle soit la
  pour la base de donnée). Comme je l'ai indiqué plutôt, je
  demanderais aux admins s'ils sont au courant d'un quelconque
  problème.
  Les problèmes rencontrés par les serveurs récemment étaient liés a
  un contrôleur RAID défectueux, qui a été changé depuis.
  
  Emilie Laffray

Ouaip je n'ai pas été assez prudent sur les termes... +1  désolé tes
propos étaient clairs.
Benoît R.
  




___
Talk-fr mailing list
Talk-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-fr

Re: [OSM-talk-fr] Utilisation de bulk_upload & bulk_upload_sax

[Emilie Laffray]

2010/9/21 Benoît ROUSSEAU 

>
> On a avancé :
> 1 - il y a un pb côté JOSM a coup sûr => donc avertir l'équipe de JOSM ;
> 2 - les serveurs sont PROBABLEMENT surchargés et donc ce pb est plus
> fréquent et ne passe plus inaperçu => SIMILI pb côté charge serveur.
>
> note : en gras, termes prudents, même si cela semble confirmées par Émilie,
> mais...
>

Oui surtout que je n'ai rien confirmé :) J'ai juste parle que l'on allait
avoir une nouvelle machine plus puissante, mais je ne suis pas sure de
l'utilisation de la machine (pas sure qu'elle soit la pour la base de
donnée). Comme je l'ai indiqué plutôt, je demanderais aux admins s'ils sont
au courant d'un quelconque problème.
Les problèmes rencontrés par les serveurs récemment étaient liés a un
contrôleur RAID défectueux, qui a été changé depuis.

Emilie Laffray
___
Talk-fr mailing list
Talk-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-fr

Re: [OSM-talk-fr] Utilisation de bulk_upload & bulk_upload_sax

[Benoît ROUSSEAU]

  
  
Le 21/09/2010 15:30, Tenshu a écrit :
2010/9/21 Vincent Pottier 
  

  
Quoi qu'il en soit du respect des protocoles, je trouve JOSM
peu clair
au moment de la transaction ou de son échec.
Il me semble que dans des versions précédentes de JOSM (il y
a 6 mois
environ), lors d'un upload par paquet, les objets en local
étaient mis
à jour paquet par paquet (id et statut), ce qui, me
sembl-t-il n'est
plus le cas. Lors d'un upload de 20 paquets, si la
transaction est
interrompue (volontairement ou non) au 10e, j'ai
l'impression que les 9
paquets envoyés ne sont pas mis à jour dans JSOM, ce qui
fait qu'une
relance de la transaction renvoie les nouveaux objets en
double.
Mais, bon, je n'ai pas de certitude...
  


  C'est exactement ça le problème. 

  
  
  -- 

On a avancé :
1 - il y a un pb côté JOSM a coup sûr => donc avertir l'équipe de
JOSM ;
2 - les serveurs sont PROBABLEMENT surchargés et donc ce pb est plus
fréquent et ne passe plus inaperçu => SIMILI pb côté charge
serveur.

note : en gras, termes prudents, même si cela semble confirmées par
Émilie, mais...

Reste à rédiger une note à destination de l'équipe JOSM pour ceux
qui ont une expérience du pb et leur transférer : "Il y a 6 mois on
n'avait pas ce pb parce que mise à jour locale des paquets.
Aujourd'hui ce n'est plus le cas mais ça pose pb avec les imports
massifs quand pb en cours d'export vers le serveur..."

Benoît R.

  




___
Talk-fr mailing list
Talk-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-fr

Re: [OSM-talk-fr] Utilisation de bulk_upload & bulk_upload_sax

[Tenshu]

2010/9/21 Vincent Pottier 

>  Quoi qu'il en soit du respect des protocoles, je trouve JOSM peu clair au
> moment de la transaction ou de son échec.
> Il me semble que dans des versions précédentes de JOSM (il y a 6 mois
> environ), lors d'un upload par paquet, les objets en local étaient mis à
> jour paquet par paquet (id et statut), ce qui, me sembl-t-il n'est plus le
> cas. Lors d'un upload de 20 paquets, si la transaction est interrompue
> (volontairement ou non) au 10e, j'ai l'impression que les 9 paquets envoyés
> ne sont pas mis à jour dans JSOM, ce qui fait qu'une relance de la
> transaction renvoie les nouveaux objets en double.
> Mais, bon, je n'ai pas de certitude...
>

C'est exactement ça le problème.

-- 
Mon weblog - http://www.tenshu.fr/
Je soutiens le Logiciel Libre, j'adhère à l'APRIL !
___
Talk-fr mailing list
Talk-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-fr

Re: [OSM-talk-fr] Utilisation de bulk_upload & bulk_upload_sax

[alexis gayte]

 Lors d'un upload de 20 paquets, si la transaction est interrompue
> (volontairement ou non) au 10e, j'ai l'impression que les 9 paquets envoyés
> ne sont pas mis à jour dans JSOM, ce qui fait qu'une relance de la
> transaction renvoie les nouveaux objets en double.
> Mais, bon, je n'ai pas de certitude...
>
>
+1


-- 
Cordialement,
alexis GAYTE
___
Talk-fr mailing list
Talk-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-fr

Re: [OSM-talk-fr] Utilisation de bulk_upload & bulk_upload_sax

[Vincent Pottier]

On 21/09/2010 13:00, Benoît ROUSSEAU wrote:


Je veux bien mettre en accusation JOSM, BULK_UPLOAD et d'autres 
clients API si on me prouve qu'effectivement il ne respectent pas 
l'API, les protocoles, ... Cela devrait être faisable par des 
programmeurs dans ces langages, étant donné qu'ils sont open-source.
Quoi qu'il en soit du respect des protocoles, je trouve JOSM peu clair 
au moment de la transaction ou de son échec.
Il me semble que dans des versions précédentes de JOSM (il y a 6 mois 
environ), lors d'un upload par paquet, les objets en local étaient mis à 
jour paquet par paquet (id et statut), ce qui, me sembl-t-il n'est plus 
le cas. Lors d'un upload de 20 paquets, si la transaction est 
interrompue (volontairement ou non) au 10e, j'ai l'impression que les 9 
paquets envoyés ne sont pas mis à jour dans JSOM, ce qui fait qu'une 
relance de la transaction renvoie les nouveaux objets en double.

Mais, bon, je n'ai pas de certitude...


Sommes nous sûr que la bases, le matériel, ... côté serveur tiennent 
la charge à tout moment ? A ton testé, prouvé, ... ? Peux t-on 
reproduire ces pb sur des serveurs "perso" ? Peux t'on répéter 
exactement et à coup sûr ces pbs ? Si on refait un import "merdé" a 
t'on les mêmes pbs ? ...
Il y a eu, fin août début septembre, une fatigue perceptible du serveur 
API. Il y a eu quelques allusions sur cette ML.

Peut-être que certains problèmes évoqués datent de cette période.


Ces investigations et/ou des essais pourraient très bien être menés en 
coordination avec l'équipe OSM en charge des serveurs en attaquant la 
vraie base avec des objets générés sur des zones de "tirs" (pourquoi 
pas les champs de tirs militaires inscrits dans la base), ...


Dans un premier temps, Émilie, pourrais-tu nous obtenir l'avis de 
l'équipe qui gère les serveurs sur l'origine possible ou avérée de 
tous ces doublons d'après eux ?

Quelles sont les orientations pour l'API 0.7 ?
Est-ce qu'un upload asynchrone est envisagé : demande d'un jeton 
~changeset id, envoi des paquets, réception des statut de paquets, envoi 
de la commande EXECUTE, réception du résultat.

Ce type de protocole diminuerait considérablement les erreurs rencontrées.
--
FrViPofm
___
Talk-fr mailing list
Talk-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-fr

Re: [OSM-talk-fr] Utilisation de bulk_upload & bulk_upload_sax

[Benoît ROUSSEAU]

  
  
Le 21/09/2010 13:11, Emilie Laffray a écrit :

  
  2010/9/21 Benoît ROUSSEAU 

   
Ces investigations et/ou des essais pourraient très bien
être menés en coordination avec l'équipe OSM en charge des
serveurs en attaquant la vraie base avec des objets générés
sur des zones de "tirs" (pourquoi pas les champs de tirs
militaires inscrits dans la base), ...

Dans un premier temps, Émilie, pourrais-tu nous obtenir
l'avis de l'équipe qui gère les serveurs sur l'origine
possible ou avérée de tous ces doublons d'après eux ?
  

  
  
  J'en parlerais. Je ne sais pas quand forcement mais la semaine
  prochaine il y a une réunion du Technical Working Group (les
  admins et les devs), donc il est certain qu'on aura une discussion
  la dessus, puisqu'un des sujets est comment améliorer les
  performances.
  Il faut noter qu'un nouveau serveur va être bientôt acheté.
  
  Emilie Laffray
  



Merci :p. En espérant qu'on y verra plus clair.
Il est pratique d'avoir des francophones au sein des instances
dirigeantes.
Benoît R.
  




___
Talk-fr mailing list
Talk-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-fr

Re: [OSM-talk-fr] Utilisation de bulk_upload & bulk_upload_sax

[Emilie Laffray]

2010/9/21 Benoît ROUSSEAU 

>
> Ces investigations et/ou des essais pourraient très bien être menés en
> coordination avec l'équipe OSM en charge des serveurs en attaquant la vraie
> base avec des objets générés sur des zones de "tirs" (pourquoi pas les
> champs de tirs militaires inscrits dans la base), ...
>
> Dans un premier temps, Émilie, pourrais-tu nous obtenir l'avis de l'équipe
> qui gère les serveurs sur l'origine possible ou avérée de tous ces doublons
> d'après eux ?
>

J'en parlerais. Je ne sais pas quand forcement mais la semaine prochaine il
y a une réunion du Technical Working Group (les admins et les devs), donc il
est certain qu'on aura une discussion la dessus, puisqu'un des sujets est
comment améliorer les performances.
Il faut noter qu'un nouveau serveur va être bientôt acheté.

Emilie Laffray
___
Talk-fr mailing list
Talk-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-fr

Re: [OSM-talk-fr] Utilisation de bulk_upload & bulk_upload_sax

[Benoît ROUSSEAU]

  
  
Le 21/09/2010 12:06, Tenshu a écrit :
Visiblement JOSM semble trop instable pour les
  imports, je pense que certain comme moi en ont fait les frais.
  Par ailleurs j'ai moi même tenté d'utiliser bulk_upload_sax.py
  sur la commune de Corbeil-Essonnes, le script a commencé à envoyer
  des nodes dupliqués en 10 à 20 exemplaires.
  Est qu'il serait envisageable de détailler la doc sur ce script,
  voir de le présenter dans le wiki comme une mini-formation à
  l'import de gros documents?
  
  -- 
  Mon weblog - http://www.tenshu.fr/
  Je soutiens le Logiciel Libre, j'adhère à l'APRIL !
  

Je repose la question du côté serveur... Sommes nous certains que
les serveurs tiennent la charge et respectent leur engagement
protocolaires ? C'est une histoire à deux bouts les transactions
d'import !

- Je veux bien accepter que JOSM déconne mais il a fait ces preuves
par le passé - mais cela peut être simplement un pb de temps de
réponse exigé pour le serveur par JOSM qui devrait être allongé ;
- je veux bien croire que bulk_upload_sax.py déconne mais même sans
documentation je ne le l'imagine pas, spontanément ou par défaut,
être configuré pour générer des doublons ;
- lors de mes connexions à l'API sur, par exemple 45 000 points
traités en 6-8 heures, il y a régulièrement quelques requêtes non
satisfaites, ...
- je note qu'on ne parle de ce type de pb qu'avec l'apparition d'une
charge importante des serveurs depuis l'import bâti et sûrement la
mise en branle de nouveaux pays.

Je veux bien mettre en accusation JOSM, BULK_UPLOAD et d'autres
clients API si on me prouve qu'effectivement il ne respectent pas
l'API, les protocoles, ... Cela devrait être faisable par des
programmeurs dans ces langages, étant donné qu'ils sont open-source.


Sommes nous sûr que la bases, le matériel, ... côté serveur tiennent
la charge à tout moment ? A ton testé, prouvé, ... ? Peux t-on
reproduire ces pb sur des serveurs "perso" ? Peux t'on répéter
exactement et à coup sûr ces pbs ? Si on refait un import "merdé" a
t'on les mêmes pbs ? ...

Ces investigations et/ou des essais pourraient très bien être menés
en coordination avec l'équipe OSM en charge des serveurs en
attaquant la vraie base avec des objets générés sur des zones de
"tirs" (pourquoi pas les champs de tirs militaires inscrits dans la
base), ...

Dans un premier temps, Émilie, pourrais-tu nous obtenir l'avis de
l'équipe qui gère les serveurs sur l'origine possible ou avérée de
tous ces doublons d'après eux ?

Benoît R.
  




___
Talk-fr mailing list
Talk-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-fr