Re: [OSM-dev-fr] cadastre vectoriel

[Jocelyn Jaubert]

Bonjour,

Le 02/03/2016 00:59, Laurent Combe a écrit :

si j'écris sur la liste dev c'est qu'il y a quand même un petit souci
technique
la page ne fonctionne pas si j'essaye d'accéder directement à la source
xml située sur le domaine openstreetmap.fr 
depuis mon domaine niconil.net 
le site n'implémente pas / n'autorise pas les requêtes de type CORS
(cross-origin-request)


J'ai reconfiguré le serveur pour ajouter l'header CORS sur ces pages là. 
Ça devrait dont marcher comme tu le souhaites.


Merci d'avoir reporté le souci, et bonne utilisation des données :)

--
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] Ecriture de requêtes pour Osmose

[Jocelyn Jaubert]

Bonjour,

Le 29/11/2015 15:48, didier2020 a écrit :

Pour la question des tests, et dans le cas où je doive installer un
backend perso, une idée de l'espace disque nécessaire ?
Mes ressources sont pour l'instant limitées de ce point de vue.

je te conseille vivement d'installer un backend


Oui, c'est le plus pratique. L'installation ne devrait pas être très 
compliqué. Il y a un README qui explique tout ce qu'il faut installer - 
le plus compliqué est peut-être postgresql avec postgis, parce que ça 
dépend de la distribution Linux utilisée.


Si tu n'arrives pas à installer le backend, tu peux toujours envoyer tes 
propositions d'analyse via Github ou email, et on pourra les lancer 
nous-mêmes. C'est par contre moins évident pour toi de vérifier :)



https://github.com/osm-fr/osmose-backend/blob/master/local-launcher
- le fichier ".err" te permetra de trouver des erreurs de syntaxe
- l'option --no-clean (n'efface pas les tables a la fin de l'analyse) te
permettra de "voir les tables" avec pgadmin par exemple
- cela peu ne prendre que tres peu de place
70M pour le backend
la taille de la base de données depend de la taille de l'extract


Perso, je teste plutôt avec des pays tout petits, comme le Luxembourg 
(~10 minutes pour tout lancer). Mais mes tests sont surtout pour 
vérifier que les analyses tournent correctement, pas tellement pour 
créer des nouvelles analyes.


Des options de ./osmose_run.py peuvent aussi t'intéresser comme:

  --analyser=  pour ne lancer que ton analyse
  --no-clean   pour ne pas effacer la base de donnée Osmosis
  --skip-download --skip-init  pour ne pas refaire d'import osmosis

--
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] Mise en pause des diffs de download.openstreetmap.fr

[Jocelyn Jaubert]

Le 19/07/2015 19:06, Jocelyn Jaubert a écrit :
> Pour download, c'est plus long que prévu pour la génération des extracts.
> J'ai remis tous les extracts, sauf pour ceux en europe. J'espère que ça sera
> terminé avant mardi.

http://download.openstreetmap.fr est reparti !

Pour ceux qui utilisent les diffs pour mettre à jour des extracts, je
recommande de ré-importer le dernier extract généré, pour récupérer les
modifications perdus dans les anciens diffs.

-- 
Jocelyn


___
dev-fr mailing list
dev-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] Mise en pause des diffs de download.openstreetmap.fr

[Jocelyn Jaubert]

Le 16/07/2015 09:07, Jocelyn Jaubert a écrit :
> Suite à des problèmes lors de la génération de diff, j'ai du mettre en pause
> ces deux sites suivants:
>   http://download.openstreetmap.fr
>   http://polygons.openstreetmap.fr
> 
> Ce qui signifie que les diffs et les extracts ne sont plus mis à jour, et que
> les polygons ne peuvent plus être générés sur polygons. Ça impacte aussi la
> fraicheur de certaines analyses sur Osmose QA.

http://polygons.openstreetmap.fr a été réactivé hier.

Pour download, c'est plus long que prévu pour la génération des extracts.
J'ai remis tous les extracts, sauf pour ceux en europe. J'espère que ça sera
terminé avant mardi.

-- 
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/dev-fr

[OSM-dev-fr] Mise en pause des diffs de download.openstreetmap.fr

[Jocelyn Jaubert]

Bonjour,

Suite à des problèmes lors de la génération de diff, j'ai du mettre en pause
ces deux sites suivants:
  http://download.openstreetmap.fr
  http://polygons.openstreetmap.fr

Ce qui signifie que les diffs et les extracts ne sont plus mis à jour, et que
les polygons ne peuvent plus être générés sur polygons. Ça impacte aussi la
fraicheur de certaines analyses sur Osmose QA.

Je suis en train de ré-importer un planet, ce qui devrait prendre encore
quelques heures. Une fois que l'import sera fini, je relancerai tous ces sites.


Pour information, les diffs générés depuis le 11 juillet n'ont aucune relation,
même si une relation a été créé, modifiée ou supprimé sur la région concernée.
Je vais voir pour générer un diff "correcteur", pour éviter que tous les
utilisateurs aient à ré-importer, mais je ne garantis rien.


-- 
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] Fwd: [contact] [Besoin d'aide technique] polygons openstreetmap fr

[Jocelyn Jaubert]

Le 05/06/2014 10:56, Christian Quest a écrit :
> 

Merci d'avoir forwardé cet email - j'avais complétement oublié de répondre :(

> j'ai ouvert sur github :
> https://github.com/jocelynj/__osm-polygons-generation/__issues/3
> ?

J'ai répondu sur le ticket github ci-dessus.


À noter que le site de polygons.openstreetmap.fr n'est pas à jour pour le
moment, puisque les données datent d'avril (afin de soulager la machine, qui
héberge aussi umap et osmose). L'idée était de déplacer le site sur osm16,
mais le transfert a pris plus de temps que prévu.

-- 
Jocelyn


___
dev-fr mailing list
dev-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] Generer des fichiers OSM

[Jocelyn Jaubert]

Le 04/03/2014 11:53, Rodolphe Quiédeville a écrit :
> Bonjour,
> 
> Connaissez-vous une lib qui permette de générer des fichiers de données
> xml ou pbf en python ? Autant il en existe pas mal pour parser les
> fichiers mais je n'en ai pas trouvé pour le générer, j'ai surement mal
> cherché :)

En python, il y a les librairies qu'Étienne Chové avait fait il y a quelques
années. Celle qui t'intéresse serait celle là:

https://github.com/osm-fr/osmose-backend/blob/master/modules/OsmSax.py#L366

La classe OsmSaxWriter permet de dumper des nodes/ways/relations dans un
fichier .osm.


-- 
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] Panne temporaire de la génération des diffs et des extracts d'OSM-FR

[Jocelyn Jaubert]

Bonjour,

On 01/16/2014 01:56 PM, Jocelyn Jaubert wrote:
> On Thu, Jan 09, 2014 at 11:52:54PM +0100, Jocelyn Jaubert wrote:
>> Suite à une panne de la machine osm8, le site
>> http://download.openstreetmap.fr n'est plus accessible.
>>
>> Ce site contient entre autre des extracts pour différents pays, dont la
>> France, l'Europe et des pays concernés par HOT. Il contient aussi des diffs
>> pour tous ces pays.
> 
> Les diffs sont de nouveau en place sur 
> http://download.openstreetmap.fr/replication/
> 
> Les extracts arriveront dans la semaine, une fois que le retard sera
> complétement récupéré.

Les extracts sont maintenant à jour sur:
http://download.openstreetmap.fr/extracts/

À noter que chaque extract est accompagné d'un fichier state.txt à utiliser
pour initialiser osmosis avec le bon diff initial. Pour le moment, les
fichiers state.txt et .osm.pbf sont légèrement désynchronisés lors de la
mise à jour (tous les jours à minuit), mais je corrigerais ça sous peu.


Les différentes analyse osmosis qui utilisent ces extracts devraient
rapidement être à jour.

-- 
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] Panne temporaire de la génération des diffs et des extracts d'OSM-FR

[Jocelyn Jaubert]

Bonjour,

On Thu, Jan 09, 2014 at 11:52:54PM +0100, Jocelyn Jaubert wrote:
> Suite à une panne de la machine osm8, le site
> http://download.openstreetmap.fr n'est plus accessible.
> 
> Ce site contient entre autre des extracts pour différents pays, dont la
> France, l'Europe et des pays concernés par HOT. Il contient aussi des diffs
> pour tous ces pays.

Les diffs sont de nouveau en place sur 
http://download.openstreetmap.fr/replication/

Les extracts arriveront dans la semaine, une fois que le retard sera
complétement récupéré.

-- 
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/dev-fr

[OSM-dev-fr] Panne temporaire de la génération des diffs et des extracts d'OSM-FR

[Jocelyn Jaubert]

Bonjour,

Suite à une panne de la machine osm8, le site
http://download.openstreetmap.fr n'est plus accessible.

Ce site contient entre autre des extracts pour différents pays, dont la
France, l'Europe et des pays concernés par HOT. Il contient aussi des diffs
pour tous ces pays.

On tâche de réparer la machine dès que possible, et désolé pour les
désagréments :)


-- 
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] Outil d'analyse en ligne de super-relation ?

[Jocelyn Jaubert]

Le 02/11/2013 17:16, sly (sylvain letuffe) a écrit :
> Je sais qu'il existe :
> https://github.com/jocelynj/osm/blob/master/tools/mega-relation-analyser.py
> mais je crois avoir lu quelque part, mais ne me souvient plus où, que cet 
> outil (ou un autre ?) tournait en ligne quelque part, ce qui m'éviterais de 
> sortir des pythonneries et l'utiliser en clic-clic direct.

Je pense que tu parles de ce site, qui est en rade actuellement:

http://osm8.openstreetmap.fr/~osmbin/analyse-relation-open.py?11980

Tant que osm8 sera en panne, ça ne marchera malheureusement pas. :(


-- 
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] [OSM-talk-fr] Panne des minutes diffs France

[Jocelyn Jaubert]

[déplacement sur dev-fr]

Bonjour,

Le 25/10/2013 18:07, GaelADT a écrit :
> Merci pour les nouvelles. Bon courage pour remettre tout en ordre.
> Je suis en train de regarder un peu comme fonctionne ces minutes diffs
> français. Je vais tester comment ça fonctionne et si ça passe sur un de nos
> serveurs, je diffuserai l'adresse. Ca peut permettre d'avoir un peu de
> redondance sur certains services importants.
> Par contre je trouve assez peu de doc. Il s'agit bien de cet outil là :
> https://github.com/jocelynj/osm/tree/master/osc_modif ?

Oui, il s'agit bien de ça.

C'est vrai qu'il n'y a pas tellement de doc dessus, juste quelques emails
que j'ai envoyé il y a longtemps.

Ça fonctionne avec une base OsmBin monde, mais je pense que ça devrait
marcher avec une base france si on ne veut que générer des diffs france
(mais c'est pas testé). Cette base est mise dans /data/work/osmbin/data, et
les diffs sont stockés dans /data/work/osmbin/replication.

Voilà les commandes à utiliser pour mettre en place le tout:

./modules/OsmBin.py --init /data/work/osmbin/data
./modules/OsmBin.py --import /data/work/osmbin/data 
# supprimer les polygons non utilisés du répertoire polygons
# mettre un state.txt pertinent dans /data/work/osmbin/replication/planet
./update.py  # à mettre dans un cron

Ça devrait fonctionner, même si c'est pas optimal pour générer une seule
région. Le script actuel fonctionne en deux passes:

  - génération d'un diff annoté, en ajoutant les bbox de tous les éléments
modifiés
  - lancement en parallèle de la génération des différents diffs régionaux

Le diff annoté n'est pas utile dans le cas où on ne génère qu'un seul diff:
il sert principalement à accélérer la génération de diffs multiples, en
enlevant rapidement les relations qui ne sont pas dans le polygone du diff
en cours de génération.

-- 
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] Export.openstreetmap.fr HS ?

[Jocelyn Jaubert]

Le 25/08/2013 12:03, Mickaël Guéret a écrit :
> Salut,
> 
> je voulais récupérer des limites communales au format shapefile, mais le
> site dédié est hors service : la page
> http://export.openstreetmap.fr/contours-administratifs/export-communes/
> est inaccessible.
> 
> J'ai cru comprendre qu'il y avait des soucis de serveur en ce moment,
> est-ce que c'est en cours de résolution ? Est-ce qu'il existe une
> alternative en attendant (overpass ?) ?

Oui, la machine qui héberge export est en panne depuis plusieurs semaines.

Pour ton problème, la bonne solution me parait
http://oapi-fr.openstreetmap.fr/, un Overpass API qui ne contient que la
france métropolitaine. Il doit y avoir une requête pour récupérer tous les
admin_level<=6. Je ne sais pas si la requête est trop lourde pour ce
serveur, mais il y a des chances que ça passe.

-- 
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] osmose à la maison

[Jocelyn Jaubert]

Le 30/01/2013 13:06, Mickaël Guéret a écrit :
> Bon, je commence à comprendre à quoi servent ces deux tables. J'avais
> essayé de les remplir manuellement avant ton message et les lignes
> correspondantes apparaissaient dans le menu, les marqueurs sur la carte
> correspondants aussi.

Effectivement, j'avais oublié quelque chose...

On n'a pas vraiment d'outil pour automatiser la création à partir de 0
de ces deux tables en fait.

Pour dynpoi_categ, je joins un fichier pour le générer.

Pour dynpoi_item, il y a bien tools/add-markers.py qui rajoute des items
à partir des erreurs nouvellement arrivés dans la table marker, mais il
a besoin d'avoir des items déjà présents afin d'en récupérer la couleur.
Je ne sais pas trop que fournir pour t'aider à démarrer cette table ...

Je vais quand même t'envoyer les premières erreurs de chaque catégorie
pour démarrer facilement.


> Pendant que j'y suis, sous Postgis 2, la table geometry_columns n'existe
> plus, c'est maintenant une vue. ça m'a fait une erreur, du coup j'ai
> modifié le fichier osmose_run.py, lignes 104-105 : "SELECT relname FROM
> pg_class WHERE relname = %s"

Est-ce que tu pourrais fournir le patch ?


-- 
Jocelyn

INSERT INTO dynpoi_categ VALUES (10, '"de"=>"Struktur", "en"=>"Structure", "fr"=>"Structurel", "it"=>"strutturale", "nl"=>"Structurele", "sw"=>"kimuundo"');
INSERT INTO dynpoi_categ VALUES (20, '"de"=>"fehlende Tags", "en"=>"Missing tags", "fr"=>"Tags manquants", "it"=>"Tags mancanti", "nl"=>"Tags vermist", "sw"=>"Tags kukosa"');
INSERT INTO dynpoi_categ VALUES (30, '"de"=>"ungeeignete Tags", "en"=>"Bad tag", "fr"=>"Mauvais tag", "it"=>"tag Bad", "nl"=>"Bad tag"');
INSERT INTO dynpoi_categ VALUES (40, '"de"=>"zu entfernende Tags", "en"=>"Tags to remove", "fr"=>"Tags à retirer", "it"=>"Tags rimozione", "nl"=>"Tags verwijderen", "sw"=>"Tags kuondolewa"');
INSERT INTO dynpoi_categ VALUES (50, '"de"=>"Namen", "en"=>"Tags name", "fr"=>"Tags name", "it"=>"Tags nome", "nl"=>"Tags naam", "sw"=>"Tags jina"');
INSERT INTO dynpoi_categ VALUES (60, '"de"=>"Administration", "en"=>"Administrative", "fr"=>"Administratif", "it"=>"amministrativo", "nl"=>"Administratieve", "sw"=>"Utawala"');
INSERT INTO dynpoi_categ VALUES (70, '"de"=>"zur Karte hinzuzufügen", "en"=>"To map", "fr"=>"A mapper", "it"=>"Aggiungi alla mappa", "nl"=>"Toevoegen aan Kaart", "sw"=>"ramani"');
INSERT INTO dynpoi_categ VALUES (80, '"de"=>"Integration", "en"=>"Integration", "fr"=>"Intégration", "it"=>"Integrazione", "nl"=>"Integratie"');
INSERT INTO dynpoi_item VALUES (0, 10, '#CC', 'O', '"de"=>"überlappende Gebäude", "en"=>"overlapping building", "fr"=>"bâtiments se recouvrant", "it"=>"edifici, che coprono", "nl"=>"overlappende gebouw", "sw"=>"majengo kufunika"', '{1,2,3}', '{14,4332,12318}');
INSERT INTO dynpoi_item VALUES (1010, 10, '#FFCC00', 'M', '"de"=>"mehrfache Knoten", "en"=>"duplicated node", "fr"=>"nœud répété", "it"=>"nodo ripetuto", "nl"=>"gedupliceerd knooppunt", "sw"=>"unaorudiwa nodi"', '{2}', '{243}');
INSERT INTO dynpoi_item VALUES (2010, 20, '#33', 'O', '"de"=>"junction=roundabout", "en"=>"junction=roundabout", "fr"=>"junction=roundabout", "it"=>"= incrocio rotonda", "nl"=>"knooppunt = rotonde", "sw"=>"makutano = mzunguko"', '{1}', '{280}');
INSERT INTO dynpoi_item VALUES (3010, 30, '#339966', 'O', '"de"=>"Kreisverkehr", "en"=>"highway roundabout", "fr"=>"highway roundabout", "it"=>"highway di rotonda", "nl"=>"snelweg rotonde", "sw"=>"highway roundabout"', '{1,2}', '{683}');
INSERT INTO dynpoi_item VALUES (4010, 40, '#33', 'O', '"de"=>"stillgelegt", "en"=>"disused", "fr"=>"abandonné", "it"=>"abbandonato", "nl"=>"onbruik geraakte", "sw"=>"kutelekezwa"', '{2}', '{45421}');
INSERT INTO dynpoi_item VALUES (5010, 50, '#FF', 'O', '"de"=>"Rechtschreibung", "en"=>"orthograph", "fr"=>"orthographe", "it"=>"ortografia", "nl"=>"spelling", "sw"=>"spelling"', '{1,2,3}', '{2494,22680,313}');
INSERT INTO dynpoi_item VALUES (6010, 60, '#3399CC', 'L', '"de"=>"offenes Polygon", "en"=>"open polygon", "fr"=>"polygone ouvert", "it"=>"poligono aperto", "nl"=>"open veelhoek", "sw"=>"wazi poligoni"', '{1,2,3}', '{1680,3830,18345}');
INSERT INTO dynpoi_item VALUES (7010, 70, '#B419CB', '=', '"de"=>"Gebäude bei Vermessungspunkt", "en"=>"geodesic building", "fr"=>"bâtiment géodésique", "it"=>"costruzione geodetica", "nl"=>"geodetische gebouw", "sw"=>"jengo geodesic"', '{3}', '{26672}');
INSERT INTO dynpoi_item VALUES (8010, 80, '#42FF3B', 'O', '"de"=>"Denkmal", "en"=>"monument", "fr"=>"monument", "it"=>"Monumenti", "nl"=>"monumenten", "sw"=>"monument"', '{3}', '{36807}');

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] osmose à la maison

[Jocelyn Jaubert]

Le 29/01/2013 15:43, Mickaël Guéret a écrit :
> Bon, il fait vraiment pas beau en ce moment, j'ai du temps pour
> reprendre ça ou je l'avais laissé...;-)
> 
> Il me semble avoir tout correctement configuré, mais aucuns marqueurs ne
> s'affichent sur la carte glissante, et le menu de choix des erreurs est
> vide...

Est-ce que tu peux vérifier avec ceci que les analyses ont bien
fonctionnées ?
  psql -c "SELECT count(*) from marker"


> En fait, ce n'est pas étonnant car les tables dynpoi_categ et
> dynpoi_item sont vides (contrairement aux autres tables qui contiennent
> bien des informations)...
> Bref, a quoi servent les tables dynpoi_categ et dynpoi_item et que
> doivent elles contenir ? 

Yep, j'ai oublié un truc dans le README: il s'agit de tables utilisées
pour le menu, et qui sont initialisés avec des fichiers de traductions.
Ceci devrait suffire:


  (cd tools/database &&
./categ_menu_update.sh &&# for the item menu
./item_menu_update.sh)

  ./tools/cron.sh# and add it to crontab


-- 
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] OSMOSE - Problème de rafraîchissement des données ?

[Jocelyn Jaubert]

Le 17/01/2013 00:28, Black Myst a écrit :
> Hello,
> 
> D'après Osmose, il y a erreur sur le tag wikipedia détecté le 2013-01-16 :
> http://osmose.openstreetmap.fr/map/?zoom=13&lat=49.24074&lon=4.05204&layers=BFFT&item=3031&level=1,2,3
> 
> 
> Mais en base, cette erreur a été corrigé le 29 juillet 2012:
> http://www.openstreetmap.org/browse/node/1020954966

C'est quand même vraiment bizarre.

J'ai téléchargé le dernier extract Geofabrik, et le node est bien
correct dedans. On ne devrait donc pas avoir généré d'erreur.
Malheureusement, ce n'est pas celui qui a été utilisé par l'analyse,
parce qu'elle a tourné hier. Je ne peux donc pas trancher tout de suite
entre une erreur dans l'extract ou dans l'analyse.

Est-ce qu'il est possible que le node en question ait été modifié par un
redaction-bot, et que ça n'apparaisse pas dans l'historique ?


-- 
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] Fwd: [OSM-talk-fr] Osmose et les tags wikipedia

[Jocelyn Jaubert]

Le 14/01/2013 21:18, Black Myst a écrit :
> Hello,
> 
> Je me permet une petite relance, il y a beaucoup de faux-positif près de
> chez moi que j'aimerais voir disparaître.

Désolé pour le retard.

J'ai appliqué ton commit sur osmose, et les résultats devraient se
mettre à jour dans les jours qui suivent.

Merci pour le patch !

-- 
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] osmose à la maison

[Jocelyn Jaubert]

On Tue, Dec 11, 2012 at 09:08:52PM +0100, Jocelyn Jaubert wrote:
> Pour l'instance osmose d'OSM-FR, j'ai un script dans le frontend qui
> duplique les mots de passe utilisés par le backend. Il doit être
> possible de faire un script qui récupérerait les mots de passe du
> backend, mais je n'ai pas pris le temps de le faire.

À ce sujet, je viens de commiter dans le frontend un script qui peut récupérer
les mots de passe d'un checkout du backend situé dans le même répertoire racine
que le frontend. (commit 7c9c75e6641a885e179c78acaa6131cccda8bd7f)

Il suffit donc de lancer ceci pour que la base de donnée du frontend soit
initialisée, et de relancer le script à chaque ajout d'analyses ou de pays:

  cd frontend/tools
  ./update-password.py

-- 
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] [OSM-talk-fr] Tr : [OSM-talk] New OpenStreetMap tile server

[Jocelyn Jaubert]

On Wed, Dec 19, 2012 at 07:56:56PM +0100, sly (sylvain letuffe) wrote:
> De prim abord, je pense que la puissance nécessaire à faire un rendu sur la 
> terre, bien que pas vraiment possible avec mon smartphone, n'est pas non plus 
> impossible. Je prouverais (dès que cquest c'est occupé de ma VM au lieu de 
> jouer avec des kernels :-p ) , que c'est possible avec les serveurs que la 
> fondation free a eu le bon goût de nous fournir.

Yep, je suis d'accord que c'est la bonne solution à investiguer pour le moment.
Avec un peu de chance, les machines de Free seront assez puissantes pour faire
du rendu rapide en temps réel.

> Pour info, je continue à faire un rendu europe à jour real time avec des 
> vieux 
> style mal optimisés sur un 4-coeur + 8GO de RAM sans SSD, donc oui, j'y crois 
> et ce, en grande partie grâce à ce que tu as développé pour les europe diffs)

Du coup, il y a des chances qu'un rendu par pays soit très facile à mettre en
place sur une machine "de base". Ça pourrait être le genre de truc à tester sur
les blades de cquest, avec genre un pays par blade :)

> En quoi j'ai peur de la réalisation ? 
> le protocole utilisé est TMS, on l'appel comme ça :
> http://duchmol/zoom/x/y.png
> 
> Et, hélas pas, ainsi : http://zone-[bbox max].duchmol/zoom/x/y.png
> Ou il aurait été bien plus facile de préparer un cluster géographique réparti 
> ou chaque serveur annonce quelle bbox il peut couvrir et le client openlayers 
> supportant ce faux TMS se charge d'interroger le bon serveur de la bonne zone

On pourrait s'amuser à faire un http://x.y.z.duchmol/, mais là, c'est le DNS
qui va prendre cher...

> En clair avec le vrai TMS, on tombe sur un seul serveur, et lui ne sait pas 
> encore s'il peut ou non servir la requête, l'idée que j'ai est donc un proxy 
> (non cache) intelligent que je préfère nommer "le dispatcher"

Il reste le souci soulevé par Philippe V., que ca ne permet pas de réduire la
bande passante, qui est le vrai problème actuellement. La solution d'un proxy
n'est pas vraiment envisageable, à moins qu'il ne fasse des 301 HTTP Redirect
sur les bons serveurs. (je ne sais pas si c'est possible)


-- 
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] [OSM-talk-fr] Tr : [OSM-talk] New OpenStreetMap tile server

[Jocelyn Jaubert]

On Wed, Dec 19, 2012 at 06:54:55PM +0100, sly (sylvain letuffe) wrote:
> > Yevaud est le générateur de tuiles. Il est effectivement tout seul pour
> > effectuer cette tache. Par contre il ne fait pas partie du réseau
> > GeoDNS, c'est Orm qui distribue la majorité des tuiles à la planète.
> 
> Je m'en serais douté, yevaud étant saturé ou presque d'accès disque, il leur 
> fallait trouver toutes les solutions bouche trou à disposition et celle là 
> semblait la plus simple et la plus rapide.

Je me demandais: est-ce que avoir un serveur de rendu dédié à une région
spéciale (genre la France) serait une solution envisageable ?

En gros, l'idée serait d'avoir un serveur de rendu par région, qui ne
contiendrait qu'un petit terrain, et sur les zoom élevés. Ça devrait permettre
de diminuer grandement la taille de la machine nécessaire, en la mettant là où
c'est le plus nécessaire. Avec les diffs locaux, ça pourrait être possible.

Ça renverse en fait le GeoDNS, en ne se basant pas sur l'IP du navigateur, mais
sur les tuiles demandées. Par contre, je ne sais pas du tout quelle serait la
solution technique à utiliser pour implémenter cette idée.


-- 
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] osmose à la maison

[Jocelyn Jaubert]

Le 10/12/2012 14:45, Mickaël Guéret a écrit :
> je n'arrive toujours pas à faire fonctionner la partie mise à jour du
> frontend... Pour chaque analyse, j'ai une erreur du style :"UPDATE ERROR
> france_poitou_charentes/osmosis_riverbank : AUTH FAIL"
> Si je fouille dans le code, si j'ai bien compris c'est la fonction
> send_update() du fichier control.py (osmose-frontend) qui me renvoie
> ça... comment fonctionne cette partie du code ? La table dynpoi_source
> est vide pour l'instant. Faut-il ajouter des lignes correspondant aux
> analyses que je souhaite effectuer ?

Effectivement, j'ai complètement oublié d'expliquer ceci.

Côté frontend, les mots de passe sont stockés dans la table
dynpoi_source du frontend:
  - comment, c'est le couple -
  - update, c'est le mot de passe

Par exemple, on a une entrée comment=osmosis_riverbank-france_lorraine

Côté backend, les mots de passes sont dans le fichier
osmose_config_password.py, mais tu peux les mettre dans osmose_config.py
si tu préfères.



Pour l'instance osmose d'OSM-FR, j'ai un script dans le frontend qui
duplique les mots de passe utilisés par le backend. Il doit être
possible de faire un script qui récupérerait les mots de passe du
backend, mais je n'ai pas pris le temps de le faire.


-- 
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] Nouvelle interface web sur beta.osmose.openstreetmap.fr

[Jocelyn Jaubert]

Le 01/12/2012 18:13, Jocelyn Jaubert a écrit :
> Bonjour,
> 
> Le site web d'Osmose a changé de framework, en passant à bottle
> [http://bottlepy.org], un framework simple en Python. Ça a impliqué de
> gros changements dans le code, réalisé pour la grande majorité par
> Frédéric. Du coup, je voudrais qu'un maximum de gens teste l'url
> suivante, afin en particulier de comparer avec les perfs du site
> officiel (les deux sites sont hébergés sur la même machine, et utilisent
> la même base de donnée):
> 
> http://beta.osmose.openstreetmap.fr/

Je viens de passer cette interface sur http://osmose.openstreetmap.fr,
en désactivant la heatmap par défaut.

Le souci sur les bulles est normalement corrigé.


Merci à tous pour avoir débuggé !

-- 
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] Nouvelle interface web sur beta.osmose.openstreetmap.fr

[Jocelyn Jaubert]

Le 06/12/2012 07:23, didier2020 a écrit :
> amélioration sur les graphes:
> 
> le nom de la source n'est plus indiqué dans le titre du graphe
> 
> http://beta.osmose.openstreetmap.fr/errors/graph.png?source=88
> http://osmose.openstreetmap.fr/utils/graph.py?source=88

Il y avait un problème dans le code, qui prenait sources= au lieu de
source= comme argument. C'est corrigé.

> les graphes n'indiquent pas le meme titre (si le parametre country
> pouvait etre repris dans le titre cela serait un plus)
> 
> http://osmose.openstreetmap.fr/utils/graph.py?country=france_alsace&item=0
> http://beta.osmose.openstreetmap.fr/errors/graph.png?country=france_aquitaine&item=0

Bonne idée, et c'est maintenant implémenté.

Il y aura sûrement quelque chose à revoir sur les titres des graphes,
mais la version actuelle a l'air suffisante.


Merci,
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] Nouvelle interface web sur beta.osmose.openstreetmap.fr

[Jocelyn Jaubert]

Le 01/12/2012 18:13, Jocelyn Jaubert a écrit :
> Bonjour,
> 
> Le site web d'Osmose a changé de framework, en passant à bottle
> [http://bottlepy.org], un framework simple en Python. Ça a impliqué de
> gros changements dans le code, réalisé pour la grande majorité par
> Frédéric. Du coup, je voudrais qu'un maximum de gens teste l'url
> suivante, afin en particulier de comparer avec les perfs du site
> officiel (les deux sites sont hébergés sur la même machine, et utilisent
> la même base de donnée):
> 
> http://beta.osmose.openstreetmap.fr/

Je pense que la plupart des soucis soulevés ont été corrigés. Du coup,
on va sûrement passer osmose.openstreetmap.fr sur cette nouvelle
interface dans la semaine.


Merci à tous pour vos commentaires.

-- 
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] Nouvelle interface web sur beta.osmose.openstreetmap.fr

[Jocelyn Jaubert]

On Wed, Dec 05, 2012 at 09:38:05AM +0100, didier2020 wrote:
> 
> Le mercredi 05 décembre 2012 à 09:29 +0100, Frédéric Rodrigo a écrit : 
> > Les analyses on normalement des noms anglais. On a tout converti en
> > anglais. Il est vrais que geodesie n'est que sur le territoire
> > français. On ne devrait même pas effectuer cette analyse pour la
> > Belgique.
> > 
> http://beta.osmose.openstreetmap.fr/errors/?source=248
> les analyses sont mélangées ? 

J'ai du me planter en réorganisant la liste des analyses pour éviter d'avoir
des listes en double dans osmose_config.py du backend. Je corrigerai d'ici ce
soir.


Merci,
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] Nouvelle interface web sur beta.osmose.openstreetmap.fr

[Jocelyn Jaubert]

Le 01/12/2012 19:20, Ista Pouss a écrit :
> Une problème, sinon à quoi ça servirait que je fasse un test : si je
> fais page suivante page précédente, je reviens pas dans la même config :
> je reviens à la France, même si j'avais zoomé sur Paris. Pas bien.

Je crois que c'était déjà le cas sur http://osmose.openstreetmap.fr

Mais c'est vrai que ça pourrait être amélioré.


Merci,
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

[OSM-dev-fr] Nouvelle interface web sur beta.osmose.openstreetmap.fr

[Jocelyn Jaubert]

Bonjour,

Le site web d'Osmose a changé de framework, en passant à bottle
[http://bottlepy.org], un framework simple en Python. Ça a impliqué de
gros changements dans le code, réalisé pour la grande majorité par
Frédéric. Du coup, je voudrais qu'un maximum de gens teste l'url
suivante, afin en particulier de comparer avec les perfs du site
officiel (les deux sites sont hébergés sur la même machine, et utilisent
la même base de donnée):

http://beta.osmose.openstreetmap.fr/


Même si l'interface reste basiquement la même, un grand nombre
d'améliorations ont pu être faites:

  - les bulles s'affichent tout de suite, et la popup n'est chargé qu'au
survol de la souris

  - une heatmap a été rajouté, qui affiche les erreurs sous forme de
tuiles - très utile quand on atteint la limite des 100 marqueurs
affichés. Cette heatmap est accessible dans la liste des layers.

  - un layer Bing photo a été rajoute

  - raccourcissement de la taille des permalink sur la liste des items

  - affichage du nombre d'erreur par item/level au survol de la souris
sur les bulles dans le menu

  - un flux RSS par utilisateur, en expérimentation.


À noter que ça ne marche toujours pas sur Internet Explorer 9, et je
n'ai pas le temps ni les logiciels pour investiguer le problème.

Les traductions auraient aussi besoin d'un coup de main, surtout en
allemand, néerlandais ou italien, d'après
http://beta.osmose.openstreetmap.fr/control/i18n

Les fichiers à traduire sont disponibles ici, et il est possible de
rajouter d'autres langues:
https://gitorious.org/osmose/frontend/trees/dev/po


Merci,
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] osmose à la maison

[Jocelyn Jaubert]

Bonjour,


Pour info, j'ai finalement mis un README basique sur la branche de dev:

http://gitorious.org/osmose/frontend/blobs/dev/README


Si il manque des trucs, n'hésitez pas à me le signaler.


Merci,
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] osmose à la maison

[Jocelyn Jaubert]

Le 22/11/2012 15:46, Mickaël Guéret a écrit :
> Ok, vu pour la traduction, merci ;-). J'ai aussi revu la config de
> apache, je progresse, j'ai maintenant des erreurs de base de données :
> j'ai exécuté la première requête sql dans /tools/database (01_init.sql)
> mais ça ne suffit pas... Seules trois tables sont créées : marker,
> marker_elem et marker_fix 
> Si je fouille un peu dans le code, il manque au moins 5 tables
> (dynpoi_*). 
> Les autres requètes semblent plutôt faire des mises à jour et ne
> fonctionnent pas... j'ai raté quelque chose ?

Effectivement, il manque un schéma complet. J'ai mis un schéma à jour ici:

https://gitorious.org/osmose/frontend/blobs/master/tools/database/schema.sql

(ce n'est pas dispo sur la branche dev encore, même si le schéma est le
même sur les deux branches)

-- 
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] osmose à la maison

[Jocelyn Jaubert]

On Thu, Nov 22, 2012 at 12:32:48PM +0100, Mickaël Guéret wrote:
> Ok, en effet, la mécanique du frontend est un peu plus "ardue". J'essaye
> d'installer la version 'dev', mais c'est quoi les versions bottle et
> nibou ?

Si tu parles de branche dans le repository, ça ne sont que des branches
temporaires, que je devrais supprimer.

> Dans les log d'apache, j'ai cette erreur :"No translation file found for
> domain: 'osmose-frontend'" que je ne comprends pas... je pense que je suis
> coincé, là ;-) Mauvaise config de Apache (ça m'étonnerait pas...la config
> d'apache ne fait pas partie des trucs que je fais tout les jours) ? Un
> paramètre à changer dans un script python ?

Le coup du "No translation file found for domain", c'est que tu n'as pas
compilé les fichiers nécessaires pour la traduction. Ces commandes devraient
suffire:

  cd po/
  make

-- 
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] osmose à la maison

[Jocelyn Jaubert]

Le 21/11/2012 18:13, Mickaël Guéret a écrit :
> Pour l'instant, je pense m'être débrouillé avec le backend. Ce qu'il m'a
> fallu faire en plus du README pour que ça marche sous debian squeeze :
> - installer la lib python-psycopg2 depuis le backport (version 2.4.2),
> certaines fonctions utilisées n'existent pas dans la version 2.2.1
> livrée sous debian squeeze pure

Effectivement, je vais le noter dans le README.

> - Sous Postgresql, exécuter les requêtes hstore.sql et
> fuzzystrmatch.sql, livré avec le paquet postgresql-contrib-8.4
> - la fonction string_agg() n'existe pas sous postgresql  8.4, j'ai
> modifié le fichier analyser_osmosis_multipolygon.py en remplaçant cette
> fonction par array_to_string(array_agg()) (astuce trouvé sur le net...)

À noter que le backend ne marche que sur postgresql 9.1 maintenant (même
si le README n'est pas à jour). Certaines analyses vont donner des
résultats différents, parce que les requêtes SQL donneront des résultats
incorrects avec postgresql 8.4.

En tout cas, je recommande fortement d'installer postgresql 9.1 ou plus
récent à partir des backports.

> - créer certains répertoire (tmp, result,...) je ne sais plus trop
> lesquels m'ont fait des erreurs

Normalement, la liste est dispo sur modules/config.py.
C'est vrai qu'on pourrait rajouter un script pour faire l'initialisation
de tous les répertoires nécessaires...

> A suivre pour le frontend ;-)

Bonne chance :)

Le schéma de la base utilisé doit être dans tools/database, mais il doit
falloir lancer les différents scripts SQL pour mettre à jour le schéma
vers la dernière version utilisée. Je peux te fournir un schéma à jour
si nécessaire.


-- 
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] Fwd: [contact] [Remarque, suggestion à propos de ce site] Source code of http://osm102.openstreetmap.fr/~jocelyn/polygons/

[Jocelyn Jaubert]

Le 09/11/2012 09:44, Christian Quest a écrit :
> Jocelyn, ton code est publié quelque part ?

Yep, je viens de le publier sur github:
https://github.com/jocelynj/osm-polygons-generation

Le code n'est pas vraiment utilisable en tant que tel: il faut une base
osmosis derrière, et rajouter une table à la base de donnée via le init.sql.

Je vais répondre directement à celui qui t'a contacté.


Merci,
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

[OSM-dev-fr] Génération de polygones engloblant, approximant ou contenu dans une relation

[Jocelyn Jaubert]

Bonjour,

C'est pour signaler que j'ai rajouté des fonctionnalités sur mon site de
génération de polygones variés:
http://osm102.openstreetmap.fr/~jocelyn/polygons/index.py

On peut maintenant changer la valeur pour X, et obtenir:
  - avec X > 0, un polygone engloblant.
  - avec X = 0, une approximation de la limite de la relation, plus ou moins
détaillée en fonction des valeurs pour Y et Z.
  - avec X < 0, un polygone contenu par la relation.

L'appli gère toujours les relations de relations, et devrait afficher un poil
plus d'informations dans les cas où ça plante (souvent parce qu'il y a une
erreur dans les données OSM).


-- 
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] API sur http://analyser.openstreetmap.fr/ ?

[Jocelyn Jaubert]

Le 6 octobre 2012, didier2020 a écrit :
> Le samedi 06 octobre 2012 à 13:15 +0200, didier2020 a écrit :
> > Le samedi 06 octobre 2012 à 13:06 +0200, Christian Quest a écrit :
> > > Y-a-til une API pour interroger http://analyser.openstreetmap.fr/
> > > sur la validité d'une relation ?
> > http://osm3.crans.org/osmbin/analyse-relation?283030
> 
> ca marche plus ...

Effectivement, parce qu'il n'y a plus de base adéquate sur osm3.

Du coup, j'ai déplacé le script sur osm8:

http://osm8.openstreetmap.fr//~osmbin/analyse-relation-open.py?283030


-- 
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] Test de dev.osmose.openstreetmap.fr

[Jocelyn Jaubert]

On Sun, Oct 07, 2012 at 01:01:19PM +0200, Ista Pouss wrote:
> - Les coordonnées de la souris en bas à droite ne sont correctes qu'à
> partir du moment où je bouge la souris. Sinon, elles sont à 0.

Hum, c'est vrai, mais ça m'a l'air cosmétique. Je regarderais si ça peut se
corriger facilement.

> - Si je clique sur "rawedit" dans un petit phylactère, ça me met dans une
> situation inextricable si je ne veux pas me connecter. Je vois apparaître
> une grosse fenêtre et je ne peux plus m'en sortir.

Effectivement, il y avait un souci dans le code de la page. Maintenant, un
bouton s'affiche en haut à droite pour fermer la fenêtre.

> - L'espèce de panneau de liste de catégories d'erreur est un peu déroutant
> quand il est replié : déjà il n'a pas de titre, et on n'est pas censé
> savoir ce que c'est (quand il est déplié c'est plus facile de deviner), et
> l'action sur les liens "tous" "rien" "inversé" ne provoque rien de visible
> (puisque le panneau est replié). De plus, même quand il est déplié, si je
> vois bien les cases se cocher ou se décocher en fonction, j'ai du mal à
> comprendre ce que ça déclenche au niveau de la carte. De plus, ce panneau
> replié ne suit pas le langage que j'ai choisi : chez moi il reste en
> anglais.

Bonne remarque. Du coup, j'ai mis la version déplié par défaut.

Concernant les liens "tous","rien","inversé", c'est vrai qu'ils ne sont pas
vraiment utiles tels quels (et "rien" ne fait pas ce qu'on voudrait). Peut-être
qu'on ne devrait garder que le "tous".

La langue devrait être correcte maintenant - enfin, en anglais et français
uniquement (il manque les traductions pour les autres langues)

> - Dans les phylactères, la notion de "faux positif" est très déroutante
> pour un utilisateur lambda concernant une erreur : c'est quoi une erreur
> positive ? une erreur en faux positif ?

Il y a un lien "Aide" en haut à gauche que explique tout ça. Il y a même un
paragraphe sur la distinction entre faux-positif et corrigé. :)

> - un clic sur "Permalink" retourne exactement la même chose. Je comprends
> bien le but de la manoeuvre de la cause de la chose, mais peut être
> faudrait-il donner quelques explications ?... (et le mettre en français si
> j'ai choisi le français comme langue ? )

Le Permalink a la même utilisation que sur les autres sites d'OSM: il s'agit
juste de pouvoir fournir à d'autres personnes un lien sur ce que tu es en train
de regarder. Il ne me semble n'avoir jamais vu d'explication sur ce permalink
sur www.openstreetmap.org, et je ne pense pas qu'il y ait besoin de plus
d'explications sur osmose.


Merci pour les remarques,
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] Récupération automatique d'un state.txt à partir d'un .osm déjà téléchargé

[Jocelyn Jaubert]

Le 9 septembre 2012, didier2020 a écrit :
> Le dimanche 09 septembre 2012 à 03:33 +0200, Krysst a écrit :
> > Salut,
> > 
> > Si cela peut aider, le seul moyen propre -mais non automatisé- 
> script joint 

Merci à tous les deux !

J'aurais préféré une fonction python, mais je vois que didier en a
déjà fait une dans son repository osmose:

https://gitorious.org/~didier2020/osmose/didier2020s-backend/commit/09e2b6435f07be1650f60c986a398cf6fd4ca0b9


-- 
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

[OSM-dev-fr] Récupération automatique d'un state.txt à partir d'un .osm déjà téléchargé

[Jocelyn Jaubert]

Bonjour,

Je suis en train de mettre en place le support des diffs dans osmose,
et je butte sur un souci pour commencer les diffs de façon automatisé.
Le flot que je souhaiterai est le suivant:

  - la première fois:
 - télécharger le .osm de la région
 - l'importer dans une base osmosis
 - lancer les analyses pour initialiser le frontend avec les
   erreurs déjà présentes.
 - mettre en place le fichier configuration.txt
 - initialiser le state.txt correctement

  - les fois suivantes:
 - télécharger le .osc des changements de la région, avec osmosis,
   ce qui mettre le state.txt à jour
 - l'importer dans la base osmosis
 - faire tourner les analyses sur les diffs

  - régulièrement (genre une fois tous les 15 jours), refaire comme la
première fois.


Les analyses ont déjà été modifiés pour fonctionner sur les diffs, donc
il ne me reste plus qu'à automatiser la chose. Je ne peux pas m'occuper
du state.txt à la main, parce qu'il y a bien trop de régions. :)


Est-ce que quelqu'un saurait comment trouver le bon state.txt ?  


Merci,
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] Travailler sur des imports partiels

[Jocelyn Jaubert]

Le 4 juillet 2012, Frédéric Rodrigo a écrit :
> Oui ce type de problème est déjà arrivé pour les bases de OSM-France.
> La solution a été de faire nous même un export France, de le diffuser
> et de diffuser des diff pour le maintenir à jour ainsi que le polygone
> de découpe. La frontière est mouvante et dépasse parfois du polygone
> de découpe de géofabrik, il faut alors le remettre à jour. Ce qui a
> été fait une fois.

Effectivement, les extracts de Geofabrik sont faits à partir de
polygones qui ne sont pas forcément idéaux: ils ne sont pas mis à jour
dès que la frontière change.

Il est possible de mettre à jour ces polygones en leur envoyant une
mise à jour des polygones disponibles là:

http://download.geofabrik.de/clipbounds/

À noter qu'il faut essayer de garder un nombre de points raisonnable
par polygone pour que la création des extracts prenne un temps
raisonnable.


-- 
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] Serveur download.openstreetmap.fr en carafe

[Jocelyn Jaubert]

2012/6/22 kimaidou :
> Bonjour
>
> Des nouvelles à ce sujet ? J'espère que la machine a pas fait cramer tout le
> datacenter ;)

La machine a été réinstallé, et il ne reste plus qu'à remettre en
place les backups.

Je pense que ça sera remis d'aplomb avant la fin de la semaine.


-- 
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] Serveur download.openstreetmap.fr en carafe

[Jocelyn Jaubert]

2012/6/19 kimaidou :
> Bonjour,
>
> Je viens de me rendre compte que le serveur ne répondait plus. Par exemple
> cette adresse :
> http://download.openstreetmap.fr/redaction-period/minute-replicate-france

Effectivement, je n'arrive plus à accéder à la machine osm8 qui
héberge ces données. Ce n'est pas a priori un problème réseau parce
que la machine osm7.openstreetmap.fr reste accessible (elles sont
toutes les deux dans le même datacenter).

Je vais contacter les contacts que j'ai dans ce datacenter.

Merci,
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] Stats du site osm.fr

[Jocelyn Jaubert]

2012/6/15 Bruno Cortial :
> Bonjour,
> Je voulais voir l'effet Arte sur la fréquentation du site, mais apparamment
> il y a des soucis avec piwik. C'est toujours accessible en anonyme ?
>
> http://www.openstreetmap.fr/piwik

Hum, c'est vrai que c'est en panne, sûrement depuis le changement de
machine du site.

Perso, j'utilise plutôt ce site là pour obtenir les stats (à base de webalizer)

http://osm101.openstreetmap.fr/stats/website/usage_201206.html

On voit nettement un pic le 12 et 13 juin, et à 22h (qui est l'heure à
laquelle l'émission du Dessous des Cartes est passée).

-- 
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] SOS openstreetmap.fr HS

[Jocelyn Jaubert]

Le 8 mai 2012, Christian Quest a écrit :
> Je vois que c'est reparti sur osm101.
> 
> Vraiment désolé, mais je n'étais pas disponible hier soir pour donner
> un coup de main.
> 
> On fait le point ce soir sur IRC #osm-fr-tech ?

Ça me parait une bonne idée. RDV à 21h ?


Pour info, les services suivants sont dispos actuellement sur osm101:

  - site web
  - forum
  - galette
  - trac
  - monit

Il y a juste le DNS à reconfigurer pour que forum, galette et trac
remarchent.


Concernant les listes emails, Guillaume s'en occupera dès que possible,
mais il faudra sûrement refaire les inscriptions, parce qu'on n'a pas
la liste des personnes inscrites sur chaque liste.


Pour taginfo, j'aimerai qu'on en discute ce soir, parce que je pense
que ça ne devrait pas être au même endroit que les services "de base"
de l'association OSM-FR. J'aimerai aussi qu'on duplique la VM une fois
qu'elle sera configuré afin de la mettre sur une autre machine. Et il
faudra sûrement une VM supplémentaire pour les backups.


-- 
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] SOS openstreetmap.fr HS

[Jocelyn Jaubert]

Le 7 mai 2012, Jocelyn Jaubert a écrit :
> J'ai envoyé un email à l'équipe du Crans pour demander leur aide sur
> ce problème.

Le Crans a réussi à redémarrer le serveur osm4, mais il se trouve que
le RAID0 qui y est installé ne repart pas correctement - il doit y
avoir des corruptions sur un des disques. Du coup, les fichiers ne sont
pas vraiment récupérables.


> On a toujours les backups si on veut mettre le site sur une autre
> machine, mais je ne sais pas exactement comment le tout était
> configuré. Je vais voir ce que je peux faire dans une VM de osm11.

J'ai du coup copié les backups de osm4 sur osm101 (une VM de osm11), et
remis en place http://www.openstreetmap.fr (qui sera visible après
propagation des DNS)

Le forum, galette, taginfo et trac devraient être récupérables aussi.

Concernant les listes d'email sympa, j'ai l'impression qu'on n'a pas de
backup de la base de données, mais uniquement des fichiers. Est-ce que
quelqu'un sait ce qu'il faut mettre dans la base de donnée pour que ça
remarche correctement ?


-- 
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] SOS openstreetmap.fr HS

[Jocelyn Jaubert]

Le 7 mai 2012, Jocelyn Jaubert a écrit :
> Le 7 mai 2012, Marc Sibert a écrit :
> > Bonjour,
> > 
> > Est-ce que quelqu'un peut jeter un coup d’œil.
> 
> (je forwarde sur tech@).

(ce qui est idiot parce que les listes sont sur osm4 qui est tombé...)

> Il me semble que ça veut dire que ça ne démarrera pas tant que
> quelqu'un ne forcera pas la machine à démarrer en appuyant sur le
> bouton approprié.

J'ai envoyé un email à l'équipe du Crans pour demander leur aide sur ce
problème.

On a toujours les backups si on veut mettre le site sur une autre
machine, mais je ne sais pas exactement comment le tout était
configuré. Je vais voir ce que je peux faire dans une VM de osm11.



-- 
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] SOS openstreetmap.fr HS

[Jocelyn Jaubert]

Le 7 mai 2012, Marc Sibert a écrit :
> Bonjour,
> 
> Est-ce que quelqu'un peut jeter un coup d’œil.

(je forwarde sur tech@).


Je viens de redémarrer osm4 via l'interface ILO, mais ça n'a pas l'air
de repartir tout de suite... J'ai ce message dans les logs:

POST Error: 1779-Drive Array Controller Detects Replacement Drives


Il me semble que ça veut dire que ça ne démarrera pas tant que
quelqu'un ne forcera pas la machine à démarrer en appuyant sur le
bouton approprié.


-- 
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] Utilisation des diffs pendant la phase de passage à ODBL

[Jocelyn Jaubert]

Le 11 avril 2012, Christian Quest a écrit :
> Pour l'instant j'en suis à corriger les admin_centre foireux... les
> nodes en trop dans la relation de la commune,
> 
> Ca serait possible de contribuer directement au backend d'osmose sur
> sa partie "dev" histoire de tester mes bricolages ?

C'est pas vraiment direct, mais tu peux déjà faire des modifs sur le
code disponible sur:
https://gitorious.org/osmose/backend

Il n'y a par contre rien pour tester des modifications sur le site de
dev d'osmose. La méthode actuelle est qu'on me soumet des patchs que je
vérifie rapidement (relecture et utilisation d'une base locale) avant de
les pusher sur les backends "normaux" d'osmose.

Par contre, il est très facile de tester localement des plugins Sax,
parce que ./analyser_sax.py peut prendre en argument un fichier
d'extract .osm.bz2.


-- 
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] Utilisation des diffs pendant la phase de passage à ODBL

[Jocelyn Jaubert]

Le 9 avril 2012, Jocelyn Jaubert a écrit :
> Le 9 avril 2012, Christian Quest a écrit :
> > Tu relance les updates sur osm7 ? Chouette !
> > 
> > J'ai vu que le schéma osmosis n'y était plus mis à jour depuis le
> > 1er avril.
> 
> J'ai relancé sur osmosis sur la base osmosis d'osm102, et sur
> taginfo.openstreetmap.fr.
> 
> Pour osm7, ce n'est pas encore relancé. Les bases qui sont dessus se
> basent sur des diff "france" seulement, qui sont générés à partir des
> hourly de http://planet.openstreetmap.org/hour-replicate/

C'est relancé, et la base osmosis d'osm7 est en train de se mettre à
jour :)

http://osm7.openstreetmap.fr/munin/localdomain/localhost.localdomain/osm_replication_lag_osmosis.html


Pour info, j'ai mis des diffs france dédiés à la redaction-period là:

http://osm8.openstreetmap.fr/redaction-period/

Ils ont encore deux jours de retard, mais on devrait rapidement arriver
à avoir des diffs récents.


-- 
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] Utilisation des diffs pendant la phase de passage à ODBL

[Jocelyn Jaubert]

Le 9 avril 2012, Christian Quest a écrit :
> Tu relance les updates sur osm7 ? Chouette !
> 
> J'ai vu que le schéma osmosis n'y était plus mis à jour depuis le 1er
> avril.

J'ai relancé sur osmosis sur la base osmosis d'osm102, et sur
taginfo.openstreetmap.fr.

Pour osm7, ce n'est pas encore relancé. Les bases qui sont dessus se
basent sur des diff "france" seulement, qui sont générés à partir des
hourly de http://planet.openstreetmap.org/hour-replicate/

Il faudrait donc que je passe ces diffs sur les nouveaux diffs, en
changeant l'url. Je m'en occuperais dès que j'aurais vérifié si ça
marche correctement sur osm102 et taginfo.

-- 
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] Utilisation des diffs pendant la phase de passage à ODBL

[Jocelyn Jaubert]

Le 9 avril 2012, Lapinos03 a écrit :
> Si j'ai bien compris, le répertoire
> 
> http://planet.openstreetmap.org/redaction-period/minute-replicate/
> 
> contient les nouveaux diffs pendant la phase de nettoyage. Ces diffs 
> contiendraient les éléments non ODBL qui sont effacés
> progressivement, et contiennent (-ça, c'est sûr-) toutes les éditions
> depuis la remise en route du système en date du 4 avril dernier.

Yep, c'est vrai, mais on dirait qu'il manque un 000.state.txt pour
repartir du tout début, y compris 001.osc.gz.

J'ai du tout tenter une mise à jour en modifiant le state.txt à la
main: on va voir si ça marche.


-- 
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

[OSM-dev-fr] Utilisation des diffs pendant la phase de passage à ODBL

[Jocelyn Jaubert]

Bonjour,

J'avoue que je n'ai rien compris à comment on devait gérer les diffs
durant le passage à ODBL, et si il y aurait quelque chose à faire de
spécial à la fin de passage. En gros, j'ai peur que ça soit un vrai bordel
à la fin de la migration pour tous les services d'OSM-FR existants. :)

Est-ce que quelqu'un a compris comment réagir ?

  - faut-il attendre le premier planet ODBL, et le ré-importer dans
toutes les bases existantes ?

  - y aura-t-il un moyen de rester avec les diffs de
http://planet.openstreetmap.org/minute-replicate/ , sans avoir à
tout ré-importer ?

  - ou y a-t-il une autre méthode que je n'ai pas trouvé ?


En fait, je n'ai pas trop compris pourquoi les diffs "redaction-period"
ne sont pas resté sur les minute-diff pour gêner le moins de gens -
peut-être un souci de license...


-- 
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] [OSM-talk-fr] Bogue d'Osmose (codage XML invalide provenant du serveur Backend)

[Jocelyn Jaubert]

Bonjour,

(je redirige sur dev-fr où ça a plus sa place)

Le 10 février 2012, Philippe Verdy a écrit :

> 369   self._write(' %s=%s' % (name, quoteattr(value)))
> 378   self._write(' %s=%s' % (name, quoteattr(value)))
> 
> En effet, la fonction Python quoteattr() ne représente pas
> correctement le caractère "&" qu'il laisse sous cette forme, alors
> qu'il FAUT le réencoder sous la forme "&"
> 
> La fonction quoteattr() est importée depuis le module Python
> "sax.saxutils", absent dans les sources GIT d'Osmose. C'est elle qui
> est ici en cause.

Cette fonction fait parti de la librairie python standard, et sa
documentation se trouve là:

http://docs.python.org/library/xml.sax.utils.html

D'après la doc, quoteattr() échappe bien les & < et >, donc je ne
comprends pas le problème.

Est-ce que tu pourrais donner un lien sur osmose.openstreetmap.fr qui
montrerait le problème ?  (avec le permalink en bas à droite)


>  Deuxième problème (lié au premier) ===
> 
> Enfin je note que le code Javascript envoyé au client utilise le
> constructeur: new XMLHttpRequest(), mais sans préciser le jeu de
> caractères qui sera utilisé pour dialoguer avec le serveur :

Le fait que la page html et le fichier .js soient encodées en UTF-8 via
les headers HTTP ne suffit pas à informer le navigateur ?


Et est-ce que tu peux donner un exemple d'objet "corrompu" sur OSM ?



Merci,
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] [OSM-talk-fr] Osm2pgsql et boundary_segment

[Jocelyn Jaubert]

Le 25 janvier 2012, sly (sylvain letuffe) a écrit :
> La liste des relations qui sont transformées en géométries est
> hard-codée dans output-pgsql.c, et sont les suivantes :
> type=multipolygon/boundary/road (et j'ai patché la version d'osm7
> pour supporter les type=waterway)

Est-ce que ça serait possible que tu rajoutes les type=boundary_segment
sur la base d'osm7 ?


> > Ça ne change pas grand chose en fait: ça veut dire qu'il faut
> > d'abord faire un ST_Union de tous les ways des boundary_segment,
> > puis un ST_MakePolygon et/ou ST_Polygonize pour obtenir le bon
> > "way" du type=boundary initial. Il restera le problème des
> > exclaves, mais vu que je n'ai pas compris comment c'est censé
> > marcher dans OSM, je le mettrais de côté.
> 
> exclaves est l'équivalent de outer en terme de gestion algo, c'est à
> dire qu'il faut bien les prendre en compte.

Je pensais plutôt aux inner (les "trous" des polygones). Mais si je
comprends bien, les membres d'un boundary_segment marqué en inner reste
un inner pour le méta-polygone d'au-dessus. Ça doit pouvoir se gérer,
mais vu qu'il n'y en a pas en France, ce n'est pas prioritaire :)


> A mon avis, il faut garder à l'esprit que si on veut que ce patch
> soit accepté upstream il faut qu'il s'incorpore dans osm2pgsql
> "facilement" et qu'il soit une option facultative, mais je te laisse
> voir.

Je vais d'abord jouer en peu, pour voir si c'est faisable, et on verra
après si c'est possible de le mettre directement dans osm2pgsql, ou si
ça reste séparé.


-- 
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] [OSM-talk-fr] Osm2pgsql et boundary_segment [was: Re: Re : Réflexions sur la modélisation dans osm des niveaux administratifs en france]

[Jocelyn Jaubert]

Le 24 janvier 2012, sly (sylvain letuffe) a écrit :
> > On aurait du coup, pour la colonne "way" de l'osm_id -1362232
> > (France Métropolitaine), un ST_Union des "way" des relations 76910,
> > 356747, ...). 
> 
> C'est ça, sauf qu'un st_union (de postgis) va juste agréger toutes
> les linestring pour faire un ensemble de type "multilinestring" qui
> ne sera pas un multipolygon

Hum, je ne comprends pas tout au format de la base osm2pgsql
(j'utilise l'instance de osm7)...


osm=> select * from planet_osm_rels where id = 1362232;
---> la relation 90341 est bien dans members

osm=> select * from planet_osm_rels where id = 90341;
---> pas de problème, j'ai plein de trucs.

Mais je n'arrive pas à trouver 90341 dans planet_osm_line ou
planet_osm_polygon, que ce soit en positif ou négatif. Est-ce que c'est
parce que les type=boundary_segment ne sont pas gérés par osm2pgsql ?


Ça ne change pas grand chose en fait: ça veut dire qu'il faut d'abord
faire un ST_Union de tous les ways des boundary_segment, puis un
ST_MakePolygon et/ou ST_Polygonize pour obtenir le bon "way" du
type=boundary initial. Il restera le problème des exclaves, mais vu que
je n'ai pas compris comment c'est censé marcher dans OSM, je le
mettrais de côté.


Par contre, la technique de mettre à plat les tags et les membres dans
un array signifie que ça va être hyper merdique de faire ça en SQL. :(
Je vais plutôt m'attaquer du côté de python pour générer les requêtes
nécessaires.


-- 
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] [OSM-talk-fr] Osm2pgsql et boundary_segment [was: Re: Re : Réflexions sur la modélisation dans osm des niveaux administratifs en france]

[Jocelyn Jaubert]

Le 24 janvier 2012, sly (sylvain letuffe) a écrit :
> Je me permet de migrer vers dev-fr, je sens que ça va partir en
> sucette

Yep, bonne idée :)

> > Ce n'est possible que si on garde la liste des membres de relations
> > dans la base: je ne sais pas trop si c'est déjà le cas. 
> 
> osm2pgsql dispose en fait de deux schémas :
> Un qui est une version bijective de la base osm (_osm_rel, _osm_nodes
> et _osm_ways), l'autre qui contient les géométries de manière a être
> utiliser par le rendu.

On a donc toutes les informations nécessaires en base de donnée.

Si j'ai bien compris le problème, il faudrait mettre dans la table
planet_osm_polygon un "way" qui correspondrait à l'union des relations
référencées par planet_osm_rels, et ceci de façon récursive.

Est-ce que ça répondrait au problème originel ?

On aurait du coup, pour la colonne "way" de l'osm_id -1362232 (France
Métropolitaine), un ST_Union des "way" des relations 76910,
356747, ...). Ça devrait être transparent pour le rendu, et tous les
scripts qui ont besoin de connaître le "vrai" polygone représenté par
cette relation.

Dit comme ça, ça a l'air assez simple de faire la requête SQL en
question: faut juste qu'on me confirme que je pars sur la bonne piste :)



Par contre, je ne sais pas trop comment ça se comporterait sur les
mises à jour: est-ce que osm2pgsql recalcule la colonne "way" des
relations qui ont changé ou pas ?

Et il manquerait l'équivalent de la table actions d'osmosis, qui
indique tous les nodes/ways/relations modifiés lors de la dernière mise
à jour.


-- 
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] Script pour compléter un fichier .osc à partir d'une base osmosis

[Jocelyn Jaubert]

2012/1/15 sly (sylvain letuffe) :
> A première vue au doigt mouillé, ça ne change pas énormément. J'utilise déjà
> un filtre bbox dans osm2pgsql qui devait sans doute déjà filtrer tout ça

Effectivement, ça ne doit pas changer grand chose pour osm2pgsql.
C'est surtout pour osmosis et osmose que ça fait une grosse
différence.


> J'ai peur d'avoir rencontré des "trous" de données qui, en France, aurait dû
> se trouver dans les diffs
>
> Je vais investiguer un peu plus avant d'en dire plus, ça à l'air d'être assez
> isolé, voir de venir d'ailleurs.
> Si ce n'est que sur mon serveur, en utilisant les diffs "officiels" ne n'ai 
> pas
> rencontré le problème

Si tu as l'ID d'un élément manquant, on peut très facilement remonter
au diff qui aurait du générer cet élément - j'ai gardé tous les diffs
depuis le début.

-- 
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] Script pour compléter un fichier .osc à partir d'une base osmosis

[Jocelyn Jaubert]

Le 30 décembre 2011, sly (sylvain letuffe) a écrit :
> > Je pourrais carrément enlever les nodes/ways/relations qui sont
> > garantis ne pas être en France (modulo un éventuel buffer), mais je
> > pense que ça donnera des choses erronées si un node se déplace sur
> > des milliers de kilomètres. Par exemple, si il se promène depuis
> > Paris vers New York - rien ne l'interdit dans la bdd OSM, même si
> > ça me parait un cas un peu étrange.
> 

J'ai modifié l'ensemble des scripts pour savoir de façon sûre si un
élément modifié était dans le polygone ou pas avant le diff généré. Du
coup, je peux obtenir les diffs "optimaux", ne contenant que les vrais
changements concernant le polygone France - j'ai quand même pris une
petit marge autour du polygone pour rajouter des  sur cette
zone.

Ces diffs "optimisés" se trouvent donc temporairement là:

http://osm8.pole-aquinetic.fr/hour-replicate-france/


J'ai testé sur la base osmosis de osm7, et l'import est nettement plus
rapide (on passe de ~2h à ~20 min pour 24h de données). Ça devrait
aussi permettre d'optimiser les analyses osmose (en développement) qui
utilisent ces diffs.


Par contre, il reste une limitation: le polygone utilisé est celui
donné à Geofabrik, qui est donc une forme très approximative de la
frontière. Le but étant de pouvoir télécharger l'extract de Geofabrik,
puis le mettre à jour, je pense que le polygone choisi est le bon, mais
ça peut aboutir à des surprises sur des morceaux supplémentaires sur les
frontières :)


-- 
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] Script pour compléter un fichier .osc à partir d'une base osmosis

[Jocelyn Jaubert]

Le 30 décembre 2011, sly (sylvain letuffe) a écrit :
> Premier noeud du fichier :
> http://www.openstreetmap.org/browse/node/7630526
> 
> pas en france
> 
> Après, je ne connais pas la syntaxe des .osc, et le delete me semble
> curieux Dans tes .osc, les delete ne sont pas groupés, contrairement
> à ceux de planet, peut-être une explication à la taille ?

En fait, j'ai pris une approche un peu "simpliste", mais robuste: tous
les nodes/ways/relations qui ne sont pas en france dans le .osc
original sont marqués en . Du coup, le fichier généré est
effectivement de la même taille, ou un poil plus gros.

Dans ton cas, ça devrait permettre d'avoir une base osm2pgsql qui reste
en France, sans contenir les morceaux de ta bbox qui ne sont pas en
France. Du coup, les chiffres que tu as donné ne sont pas équivalents,
et difficilement comparables...

Je vais comparer sur la bdd osmosis de osm7, où je pense qu'on devrait
gagner plus de temps que sur ta base osm2pgsql (je fais une passe après
l'import pour supprimer tous les éléments qui ne sont pas en France)



Je pourrais carrément enlever les nodes/ways/relations qui sont
garantis ne pas être en France (modulo un éventuel buffer), mais je
pense que ça donnera des choses erronées si un node se déplace sur des
milliers de kilomètres. Par exemple, si il se promène depuis Paris vers
New York - rien ne l'interdit dans la bdd OSM, même si ça me parait un
cas un peu étrange.


-- 
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] Script pour compléter un fichier .osc à partir d'une base osmosis

[Jocelyn Jaubert]

Le 30 décembre 2011, sly (sylvain letuffe) a écrit :
> 
> > Au début, ça utilisait une base osmosis qui ne contenait que la
> > France. Mais j'ai tout re-écrit en utilisant la base OsmBin de osm3
> > (et en corrigeant des erreurs à la con :) )
> 
> osm3 ? c'est quoi ça ?
> osm3s ? celle de l'overpassdb ?

Non, c'est bien sur osm3, et OsmBin est un format de donnée établie par
Étienne. J'en avais parlé là:
http://lists.openstreetmap.org/pipermail/dev-fr/2011-December/000580.html


> > Du coup, si vous voulez jouer avec, c'est dispo là:
> > 
> > http://osm3.crans.org/~jocelyn/hour-replicate-france/
> > 
> 
> Go, j'ai configuré mes updates osm2pgsql sur osm7 avec ces hour diff
> 
> J'en ai lancé à la main, tout semble fonctionner correctement.
> Attendons les rapports de bugs ;-)

Tu n'utilisais pas des minute diff sur osm7 ?

Et est-ce que tu as une idée du temps que tu gagnes par rapport à ta
découpe précédente ?


-- 
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] Script pour compléter un fichier .osc à partir d'une base osmosis

[Jocelyn Jaubert]

Le 6 décembre 2011, sly (sylvain letuffe) a écrit :
> 
> > Je me suis penché sur comment modifier un fichier .osc à partir
> > d'une base osmosis à jour
> 
> Pour savoir, cette base est obligée d'être world-wide ou avec une
> version restreinte initialement ça marche ? (j'imagine en acceptant
> la contrainte que tu cites juste après pour le chemin dont le pays
> passe de dehors à dedans)

Au début, ça utilisait une base osmosis qui ne contenait que la France.
Mais j'ai tout re-écrit en utilisant la base OsmBin de osm3 (et en
corrigeant des erreurs à la con :) )

Du coup, la base de départ peut être quelconque, tant qu'elle contient
la France entière - la seule contrainte est qu'on doit pouvoir trouver
les coordonnées d'un way/relation modifié si il se trouve en France.


> je me rappel au début quand j'ai testé les premiers minute diff vers
> 2009 qui avait la fâcheuse tendance à perdre des morceaux, et bien je
> n'avais trouvé aucun moyen simple de faire un test, j'ai donc décidé
> d'importer quand même, et ce sont les utilisateurs de la liste
> talk-fr qui, utilisant mes rendus de l'époque, remontaient les bugs
> en indiquant les id de l'objet non rendu/non listé/non trouvé et
> après je remontais la piste pour voir à quel moment le truc avait pû
> être perdu et à quelle étape.
> 
> Je propose de procéder ainsi ;-)

Du coup, j'ai tout mis en place, et testé grossièrement avec un
france.osm.gz mis à jour avec les deux méthodes:
  - hour-replicate du planet.osm.org, et filtrage avec un polygone.
  - utilisation de hour-replicate-france, sans filtrage.

Et ça a l'air cohérent: il y a juste des éléments en plus dans le
deuxième cas, parce que l'extract de geofabrik contient les nodes des
ways à moitié dans le polygone (le filtrage par défaut d'osmosis les
supprime). De plus, on passe de ~2h à ~1h pour mettre à jour le fichier
avec la deuxième méthode.


Du coup, si vous voulez jouer avec, c'est dispo là:

http://osm3.crans.org/~jocelyn/hour-replicate-france/

(les state.txt sont les mêmes que ceux de planet.osm.org, donc il est
possible de simplement modifier configuration.txt pour pointer sur cette
url)


J'ai mis à jour le code sur:
https://github.com/jocelynj/osm/tree/master/osc_modif


-- 
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] Une non base de données pour stoker les coordonnées des nodes...

[Jocelyn Jaubert]

Le 6 décembre 2011, Christian Quest a écrit :
> D'où une idée sotte et grenue de maintenir un fichier "à plat" ne
> stockant QUE les coordonnées des noeuds.
> Vu que les ID des noeuds s'incrémentent et le peu de noeuds supprimés
> sur les 1,5 milliards de noeuds créés depuis le début il n'y aura pas
> trop de place de perdue.
> Sachant que 24bits suffisent pour une précision de l'ordre de 2,5m, il
> faut 6 octets par noeuds pour stocker sa position.
> Le fichier "plat" fait 9Go pour les 1,5 milliards de noeuds actuels et
> pour récupérer la position d'un noeud il suffit d'un fseek sur l'ID du
> noeud x 6 puis d'un fread de 6 octets.

Pour info, il y a déjà une base de ce genre sur osm3, mise en place par
Étienne Chové. Elle stocke les nodes dans un fichier avec 8 octets par
node, et en réservant de la place pour 2^32 nodes. Les ways sont
stockés sous la forme d'un fichier indexé par l'id, qui pointe vers une
position d'un autre fichier qui contient la liste des id des nodes. Les
relations ont droit à un fichier texte par ID.

Tous les fichiers utilisés sont là:
http://osm3.crans.org/~osmbin/

En particulier, la librairie se trouve là:
http://osm3.crans.org/~osmbin/modules/OsmBin.py


La base est mise à jour tous les jours, et je peux donner un accès un
lecture seule à qui veut. Il y a aussi un accès en cgi sur la page
suivante:
http://osm3.crans.org/osmbin/
http://osm3.crans.org/osmbin/src/   (pour la "doc")


-- 
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

[OSM-dev-fr] Script pour compléter un fichier .osc à partir d'une base osmosis

[Jocelyn Jaubert]

Bonjour,

Je me suis penché sur comment modifier un fichier .osc à partir d'une
base osmosis à jour, afin de ne garder que les parties à l'intérieur
d'un polygone. J'ai du coup créer un script, en utilisant les parseurs
déjà fait par Étienne, et en liant le tout.

Le script permet les choses suivantes.

  - lister tous les nodes modifiés, directement, ou via un chemin ou
relation. Le but est surtout de savoir toutes les zones
potentiellement modifiées par le .osc original.

./osc_modif.py --source 873.osc.gz --dest 873.position.osc --position-only


  - filtrer les nodes/ways/relations en les mettant dans une section
 plutôt que  ou  dès qu'ils sont en dehors
d'un polygone. Les chemins sont découpés sur la frontière, en
enlevant tous les nodes qui dépassent (la liste des nodes utilisés
par le chemin n'est pas modifié par contre)

./osc_modif.py --source 873.osc.gz --dest 873.france.osc --poly=france.poly 


Les fichiers d'exemple générés se trouvent là (ils ne sont pas parfait,
parce que je ne suis pas parti d'une base osmosis datant du bon moment):
http://osm7.pole-aquinetic.fr/~jocelyn/osc_modif/

Le code se trouve là:
https://github.com/jocelynj/osm/tree/master/osc_modif

Le code est un peu "brut de fonderie": la fonctionnalité est là, et la
performance a l'air présente (moins de 5 minutes pour un fichier
hour-replicate). Il y a par contre un bug connu liée à la méthode.

En gros, si on créé un chemin au temps T, qui est complètement en
dehors du polygone, il ne sera pas dans le .osc correspondant. Mais si
on déplace un des noeuds du chemin un peu plus tard, de façon à ce
qu'il soit dans le polygone, on verra bien ce noeud apparaître, mais le
chemin n'a aucune chance d'être présent dans le .osc généré.


Du coup, est-ce que vous pensez que la méthode tient la route, et qu'on
peut s'en servir pour générer des hour-replicate dédié à la France ?

Et je ne sais pas trop comment vérifier que ça marche correctement: il
me faudrait une suite de tests :)


Merci,
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] taille serveur

[Jocelyn Jaubert]

Le 25 novembre 2011, sly (sylvain letuffe) a écrit :
> On vendredi 25 novembre 2011, didier2020 wrote:
> > bonjour a tous,
> > 
> > juste une petite question:
> > je voudrais tester/apprendre l'utilisation des base de données
> > postgres avec osm. Quel est la taille minimum requise pour un
> > extract france ( ou europe)
>
> Sinon, pour quand même répondre à ta question :
> Si tu choisi un format de base de donnée osm2pgsql il faut compter :
> 50Go pour la france
> 200Go pour l'europe
> (a la louche)

Pour comparer avec une base de donnée osmosis: ça prend bien plus de
place: 100 Go après quelques mises à jours, et des (gros) index sur les
tags.

D'ailleurs, si tu as besoin d'un accès à une base de donnée
osmosis France mise à jour régulièrement, n'hésite pas à me demander un
accès. La base est sur un serveur d'osm-fr, et n'attend que des
requêtes à lui envoyer :)


-- 
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] Besoin d'aide pour la partie téléchargement d'Osmose

[Jocelyn Jaubert]

Le 12 novembre 2011, didier2020 a écrit :
> si effectivement, SYSTEMATIQUEMENT TOUS les téléchargements se font
> une première fois en téléchargeant 12k et une deuxième fois en
> téléchargeant tout
> cela veut dire que la date entre les telechargements est superieur a
> la frequence de mise a jour des fichiers sur Geofabrik (normalement
> une journée)

Effectivement, on lance l'analyse des régions tous les deux jours, ce
qui fait qu'on télécharge à chaque fois un extract


> dans ce cas on peut desactiver une partie du code
> ligne 32 (nom du fichier ou est sauvegardée la date et l'heure)
> ligne 45 a 48 (date et heure du fichier local ou 0)
> ligne 50 (recuperation date et heure du fichier distant)
> Ligne 52 a 54 (comparaison date puis sortie eventuelle du prg)
> Ligne 86 (ecriture date et heure du fichier traité)

C'est une solution, mais qui ne me plait pas trop: ça veut dire que si
Geofabrik ne met à pas à jour un jour, on téléchargera et on lancera
l'analyse pour rien.


> MAIS
> 
> il ne faut pas que les informations de date soit utilisées ailleurs

Je crois que ce n'est pas le cas, donc on est tranquille de ce côté là.


> Je vois une autre solution mais cela implique de garder les fichiers
> bz2 et pbf en local

C'est vrai que je n'avais pas pensé à ça.

Mais je vois que curl a une option --time-cond qui prend en argument
une date. Ça pourrait être parfait pour ce cas là. Par contre, je ne
vois rien dans la doc pour savoir si une erreur est retournée si le
serveur n'a pas de fichier plus récent.



Merci,
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

[OSM-dev-fr] Besoin d'aide pour la partie téléchargement d'Osmose

[Jocelyn Jaubert]

Bonjour,

J'ai eu des remarques il y a peu me disant que Osmose téléchargeait les
extracts de Geofabrik en deux fois au lieu d'une seule:

  - une première fois en téléchargeant 12k
  - une deuxième fois en téléchargeant tout.

D'après ce fichier:
https://gitorious.org/osmose/backend/blobs/master/modules/download.py

C'est à cause de ce bout de code:

# get remote file timestamp
url_ts = urllib2.urlopen(url).headers.get("Last-Modified", 1)
# compare timestamp
if loc_ts == url_ts:
logger.log(u"not newer")
return False

# donwload the file
s, o = commands.getstatusoutput("wget -o /dev/null -O %s %s"%(file_dl, url))


Je pense qu'on peut re-écrire ce code en n'utilisant que des routines
python à la place du wget, mais ma connaissance python n'est pas
suffisante pour savoir quel est le module à utiliser. Peut-être qu'il
faudrait modifier les headers HTTP pour mettre directement la date du
fichier téléchargé, et utiliser le code de retour 304 pour décider si
il y a un nouveau fichier

Est-ce que quelqu'un pourrait me dire pour quoi il faudrait remplacer
le code ci-dessus (et éventuellement d'autres parties du fichier) ?


Merci,
Jocelyn


___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] [Osmose][Patch] Prise en compte du « c'h » breton

[Jocelyn Jaubert]

Le 27 mars 2011, Thomas Petillon a écrit :
>
> Il y a un problème avec Osmose qui m'embêtait depuis pas mal de
> temps, j'ai enfin pris mon clavier pour proposer une correction. :)
> Dans le test de toponymie, Osmose vérifie que les noms commencent par
> une majuscule. Pour cela une découpe est d'abord effectuée aux
> espaces, apostrophes et quelques autres caractères. Mais du coup les
> mots en breton comportant « c'h » (assez nombreux dans les toponymes)
> se retrouvent coupés au milieu, la seconde partie ne commence
> évidemment pas par une majuscule et une erreur est reportée.

Merci pour ton code. Je l'ai appliqué (avec un peu de retard...) en
faisant quelques modifications cosmétiques. Les analyses n'ont pas
encore tourné avec le nouveau code, mais le commit est visible là:

https://gitorious.org/osmose/backend/commit/ae63384f835e4f508614f745679248d94ecc2605


D'après des tests en local, ça marche correctement, mais on verra bien
ce que ça donne d'ici quelques jours.


Merci,
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] [OSM-talk-fr] petit bug (?) sur analyser.openstreetmap.fr

[Jocelyn Jaubert]

Le 9 octobre 2011, sly (sylvain letuffe) a écrit :
> 'soir (nuit ?), 
> 
> Je ne sais plus si le développeur de analyser.openstreetmap.fr est
> parmi nous, mais je viens de tomber sur défaut d'analyse (faux
> négatif) de analyser.openstreetmap.fr
> 
> Test case :
> http://analyser.openstreetmap.fr/cgi-bin/index.py?relation=1781467
> 

C'est la pseudo-intersection que tu voudrais qu'elle soit détectée ?
Et est-ce qu'il y a des cas où ça marche comme tu le voudrais ?


J'ai tenté de regarder le code, mais c'est du java, et je ne veux pas
me lancer là-dedans :)

J'ai mis tout le code de l'analyser là (la majeure partie est en python)
http://analyser.openstreetmap.fr/src/

Et le bout de code qui détecte les intersections est là:
http://analyser.openstreetmap.fr/src/jts/Intersect.java


-- 
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] Polygon de la France

[Jocelyn Jaubert]

2011/8/30 Aurélien FILEZ :
> En fait pour le moment je ne cherche pas à importer mais à extraire la
> France avec le completeWays et completePolygon à yes.
> La commande était :
> osmosis --read-pbf file=europe.pbf --bounding-polygon file=france.poly
> completeWays=yes completRelations=yes --write-pbf file=france.pbf
>
> Mais avec le fichier france.poly de cloudmade, ça m'a donné un fichier pbf
> de 1.6Go, ce qui me semble cohérent.

Il faut faire gaffe que le france.poly utilisé par geofabrik est un
poil trop petit, et ne contient donc pas toute la frontière de la
France. Je voulais renvoyer un nouveau .poly, mais je n'ai pas encore
réussi à vérifier que le nouveau contient bien toute la relation de la
France Métropolitaine.

Je ne sais pas quel france.poly tu as utilisé, ni celui que utilise cloudmade.

> Oui ça m'intéresserait bien ton script :)

Je l'ai mis sur:
https://github.com/jocelynj/osm/tree/fb5d414618efdfe3e2b8ec9806a92035b476f4a9/tools

Il faut juste configurer les différentes variables correctement dans
le ../config, et lancer le script avec un:
./import-relation-to-osmosis.sh 1362232   # c'est le numéro de la
relation France Métropolitaine.

Le script télécharge un à un les relations nécessaires, les modifie en
.osmchange, et les donne à manger à osmosis pour mettre à jour la base
de donnée locale.


-- 
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] Polygon de la France

[Jocelyn Jaubert]

2011/8/29 Aurélien FILEZ :

> - mega-relation-analyser.py donne un fichier de polygon filter de 5.3Mo, qui
> semble être bien formatté mais l'import avec osmosis ne donne rien (fichier
> : 0k)

Est-ce que tu n'aurais pas des soucis pour l'import juste à cause d'un
mauvais format du fichier généré (ou des IDs qui ne collent pas) ?
Quelle est la commande que tu utilises pour l'import osmosis ?

Personnellement, j'utilise un autre script pour télécharger
récursivement les relations et les importer dans une bdd osmosis. Je
peux te l'envoyer si tu es intéressé.


-- 
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] [Osmose:TagwatchCleaner] était [OSM-talk-fr] Extractions du planet par régions sur Geofabrik

[Jocelyn Jaubert]

Le 26 août 2011, Vincent Pottier a écrit :
> Dans le module que j'avais écrit (sous contrôle d'Étienne) : 
> TagwatchCleaner, il y a une erreur qui revient plus que souvent avec
> le mésusage du tag wikipedia (entrée de l'url complète au lieu de 
> l'intitulé de l'article, éventuellement précédé de la langue)
> 
> On pourrait en faire un analyseur à part entière...

Yep, ça pourrait être intéressant d'en faire un analyseur complet. A
priori, ça pourrait être un plugin sax (ou encore être corrigé par un
bot...)

> Mais je l'avais écrit dans une autre temps, sur une autre machine...
> Je n'ai plus la source...
> 
> Je pourrais aussi peut-être réécrire TagwatchCleaner pour extraire
> les descriptions d'erreurs et les mettre à jour dans un fichier
> autonome (séparation du code et des données) plus facile à maintenir.
> 
> Si quelqu'un peut me procurer ça, je le ferai un de ces jours (pas
> trop lointain).

Le code est dispo dans le repository git de osmose, plus précisément là:
https://gitorious.org/osmose/backend/blobs/master/plugins/TagWatchFrViPofm.py


Merci,
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] Polygon de la France

[Jocelyn Jaubert]

2011/8/26 sly (sylvain letuffe) :
>> Il paraît que vous avez un outils permettant de créer un polygon à partir de
>> super-relations comme c'est le cas pour les bordures françaises..
>>
>> Comment s'appelle cet outils ?
>
> A priori, mais j'avais testé une vielle version il y a 2 ans de ça, cet outil
> devrait faire l'affaire :
> http://osm1.crans.org/tmp/dl-mega/

Ah tiens, j'en apprends tous les jours sur les fichiers présents sur
osm1.crans.org :)

J'utilise de mon côté un autre script, que j'ai mis temporairement là:
http://osm1.crans.org/~jocelyn/

Ce n'est pas le même script que sur tmp/dl-mega/, et il sait vérifier
que la relation est bien fermée, et générer un .shp et autre. Je peux
mettre les fichiers générés quelque part si ça intéresse du monde -
sachant que la relation France est régulièrement cassée...


-- 
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] Demande de volontaires pour créer des polygones pour la France Outre-Mer

[Jocelyn Jaubert]

Merci à tous les deux pour les polygones.


2011/8/26 Hendrik Oesterlin :
> Pour St Martin et St Bathelemy j'en ai fait qu'un seul. Plus pratique
> aussi si quelqu'un veut en faire une carte régionale.

Il faut juste faire gaffe que toute l'île de Saint Martin n'est pas
française. J'ai fait la remarque à Didier en privé qui m'a regénéré le
polygone.


> St Pierre j'ai agrandie franchement pour englober la limite vers la
> Canada et d'éventuelles zones maritimes qui pourraient être ajoutées
> ultérieurement.
>
> Wallis et Futuna pareil. L'hectare n'est pas cher à prendre en pleine
> mer, et s'il devait y avoir des limites plus tard, Frederik n'aura pas
> à modifier ses polygones.
>
> La Polynésie était déjà tellement large que tout doit être englobé.

Il faut juste faire gaffe à ne pas englober des territoires
non-français. Il me semble avoir vu hier que le polygone Polynésie
contenait des territoires de Samoa, mais je n'ai pas investigué. Et il
y a une île français au niveau de la frontière canadienne, à l'est de
Saint Pierre et Miquelon qui n'était pas incluse. Je vérifierais si
tout va bien ce soir, et renverrait les polygones "définitifs" pour
confirmation.

Par contre, je ne comprends pas trop l'intérêt d'englober la ZEE
entière dans le polygone. Est-ce qu'il y a une utilisation de cette
limite que je n'ai pas vu ?  (en plus de la limite terrestre et/ou
maritime - limite maritime qui n'est déjà pas incluse dans les
polygones des DOM)


Merci,
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] Demande de volontaires pour créer des polygones pour la France Outre-Mer

[Jocelyn Jaubert]

2011/8/25 didier2...@free.fr :
>
>>   polynesie
>
> le detail :

Merci pour tous les fichiers !

Je ne pense pas avoir besoin des détails pour la Polynésie, mais
uniquement du global.

Par contre, il me semble que la relation pour la Polynésie ne contient
pas toutes les îles - j'avais commencé il y a quelques mois à rajouter
pas mal d'îles, mais je m'étais arrêté avant de finir. Est-ce que tu
penses que le polygone est suffisamment grand ?


Merci,
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] Demande de volontaires pour créer des polygones pour la France Outre-Mer

[Jocelyn Jaubert]

2011/8/25 didier2...@free.fr :
> il me manquait un prés texte pour retourner en martinique ..., merci !
>
> je serais bien volontaire mais quels sont les territoires qu'il faut
> poligoner ?

La liste:
  polynesie
  saint barthelemy
  saint martin
  saint pierre et miquelon
  wallis et futuna

(en gros, tous les territoires présents sur
http://www.openstreetmap.org/browse/relation/1263868 )


Merci,
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

[OSM-dev-fr] Demande de volontaires pour créer des polygones pour la France Outre-Mer

[Jocelyn Jaubert]

Bonjour,

Je suis en train de rajouter les territoires d'outre-mer français à
osmose [http://osmose.openstreetmap.fr], comme on peut le voir sur la
page de statut::
http://osmose.openstreetmap.fr/cgi-bin/last-update.py (tous les
"jamais généré" sont les territoires manquants).

J'ai pu créer des polygones pour les DOM, et Frederik Ramm de
Geofabrik a rajouté les extracts correspondants sur
http://download.geofabrik.de/osm/europe/france/ (il manque juste la
guyane).


Pour les autres territoires que je connais beaucoup moins bien, je
vais avoir besoin d'aide pour pouvoir générer ces polygones. En gros,
il me faut juste un .osm contenant un seul way entourant le territoire
concerné, avec un nombre de points pas trop grand. Et ça serait bien
pratique de savoir quel fichier .osm.bz2 de
http://download.geofabrik.de/osm/ se trouve ce territoire.

Est-ce que certains parmi vous pourrait me générer ces .osm ou des
.poly afin que je demande la création d'extracts pour tous les
territoires manquants ?


Pour info, pour les DOM, je suis passé par josm en téléchargeant juste
la relation du DOM en question sur
http://www.openstreetmap.org/browse/relation/1263863, en créant un
nouveau calque dans josm, et en traçant à la main un way englobant
largement le territoire - sauf pour la Guyane où j'ai utilisé des
outils de 
http://trac.openstreetmap.org/browser/applications/utils/osm-extract/polygons
pour générer le .poly à partir de la frontière.


N'hésitez pas à me dire si j'ai oublié des territoires, ou si il y a
des erreurs. Enfin, on peut quand même oublier la Terre Adélie ou les
Îles Kerguelen pour le moment :)


Merci d'avance,
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] test osmose pour junction=roundabout sans highway= ?

[Jocelyn Jaubert]

2011/8/20 Hendrik Oesterlin :
>
> http://download.geofabrik.de/osm/australia-oceania/new-caledonia.osm.pbf
>
> Frederik l'a ajouté exprès il n'y a pas longtemps :-)

Impeccable alors !

J'ai du coup remis en place les analyses sur la Nouvelle-Calédonie, et
tu seras heureux de voir qu'il y a plein d'erreurs à corriger :)
http://osmose.openstreetmap.fr/map/cgi-bin/index.py?zoom=7&lat=-20.83172&lon=165.11945

Est-ce que tu sais si c'est facile de rajouter d'autres extracts ?
Ça serait bien d'en avoir pour les autres territoires d'outre-mer,
quitte à les générer nous-même.


Merci,
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] test osmose pour junction=roundabout sans highway= ?

[Jocelyn Jaubert]

2011/8/20 Frédéric Rodrigo :
> Le 20/08/2011 04:02, Hendrik Oesterlin a écrit :
>>
>> Bizarre... ce qui est aussi bizarre, c'est qu'il n'y a /aucune/ erreur
>> signalé pour la NC:
>
> Aucune analyse sur la NC n'est effectué :
> http://osmose.openstreetmap.fr/cgi-bin/last-update.py
>
> Cela doit faire partie des zones pour les quelles il n'y a plus d'extract
> disponible.

Oui, c'est exactement ça: il n'y a plus d'extracts disponibles pour
ces zones, seulement pour les régions de France métropolitaine.

Je suis en train de mettre les extracts pour les DOM/ROM sur
osm3.crans.org (temporairement sur http://osm3.crans.org/~jocelyn/).
Je m'occuperais des autres collectivités d'outre-mer dès que j'aurais
trouvé l'extract source à utiliser sur geofabrik et un polygone
adapté.

Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] test osmose pour junction=roundabout sans highway= ?

[Jocelyn Jaubert]

2011/8/19 Hendrik Oesterlin :
> Bonjour,
>
> Je suis tombé dernièrement sur un rond point (ou giratoire...) qui
> portait bien junction=roundabout mais aucun highway=
>
> Je crois que osmose ne détecte pas cela, peut-être  que ca vaut le
> coup de vérifier?

Je viens de regarder, et c'est normalement bien détecté par osmose. Il
s'agit de l'item 3040 (highway roundabout), visible là:

http://osmose.openstreetmap.fr/map/cgi-bin/index.py?item=3010
http://osmose.openstreetmap.fr/cgi-bin/info.py?item=3010

J'espère que ton rond-point était bien détecté par cet item.


Merci,
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] Plugin Osmose pour Josm

[Jocelyn Jaubert]

2011/8/10 didier2...@free.fr :
> c'est peut etre seulement la façoon d'ajouter les elements dans la
> liste ?
> Si je debute par la fin de la liste et que je corrige et me deplace car
> double clic sur les elements de la liste => c'est ok mais si je prends
> le premier élément, ce n'est plus vrai... (jamais tres clair de
> s'expliquer non ?)

En fait, à chaque déplacement, le plugin va redemander à Osmose la
liste des bugs autour du point central, avec une limite de 100. Mais
je ne comprends pas ton problème: quand tu parles de corriger, c'est
en cliquant sur le bouton "corrigé" du panneau du plugin, ou juste en
corrigeant dans OSM ?

> j'ai activé le calcque osmose mais je n'ai pas réussi a selectionner les
> marqueurs (mon neuronne est a peine réveillé?)

Ce n'est pas possible, comme sur le plugin Openstreetbug d'où provient
le plugin Osmose.

> sinon pour osmose.filter
> http://osmose.openstreetmap.fr/map/cgi-bin/index.py?zoom=16&lat=48.84442&lon=2.43792&layers=B00T&item=0,1010,1030,1040,1050,1060
> j'utilise ...

Tu mets ceci dans les préférences (la valeur visible dans item= de l'URL)
osmose.filter = 0,1010,1030,1040,1050,1060


Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] [OSM-talk-fr] Ajout de seamark:fixme sur Osmose + accès au sources du backend

[Jocelyn Jaubert]

Le 4 août 2011, Bruno Cortial a écrit :
> Par contre je ne comprend pas pourquoi les analyseurs sax ne passent
> pas sur le fichier france.osm.bz2 (ou europe pour les seamark, nos
> amis Anglais et Allemand apprécieraient). Le sujet a déjà été évoqué
> lors du redémarrage d'Osmose, mais si une bonne âme peut m'exposer
> les limites des serveurs et des traitements Osmose...

Pour l'Europe, il faut oublier: le fichier .osm.bz2 est trop gros pour
être parsé par les scripts actuels (ils décompressent le .bz2, et
travaillent dessus, ce qui dépasse les 100 Go de disponible sur le
disque dur). De plus, on devrait pouvoir s'en sortir avec XAPI pour
sortir les seamark:fixme sur une grosse zone géographique au lieu de
télécharger le fichier .osm.bz2 complet.

Concernant la France, si je suis passé à des analyses par région plutôt
que sur le territoire complet, c'est pour ces raisons:
  - pouvoir lancer les analyses en parallèle sur plusieurs machines
  - ne pas utiliser trop d'espace disque
  - faire les analyses rapidement (osmose fait un import osmosis en bdd
dont le temps d'import n'est pas du tout proportionnel à la taille
du fichier d'origine)

Il ne faut pas oublier que le fichier .osm de la France a _énormément_
grossi depuis le début d'osmose, ce qui peux expliquer que ce qui
marchait correctement avant ne marche plus maintenant.


> Sinon pourquoi ne pas passer les fichiers source au format pbf qui
> semble n'avoir que des avantages (taille des fichiers, rapidité de
> traitement) ?

L'analyseur sax actuel est un parseur "fait-maison" de fichiers .osm,
qui ne marchent donc qu'avec ce format là, et pas avec les .pbf. Je
n'ai pas encore comparé avec les librairies existantes pour lire
les .pbf: pour ce faire, j'attends la fin de la re-écriture de Black
Myst :)


> ( Un pb avec l'analyseur sax des Pays de Loire ? c'est justement par
> là que je replace les balises nautiques)

Ça s'est mis à jour dans la journée.


Merci,
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

[OSM-dev-fr] Ajout de seamark:fixme sur Osmose + accès au sources du backend

[Jocelyn Jaubert]

Bonjour,

Grâce à l'aide de plusieurs personnes, Osmose affiche maintenant des
erreurs pour les points nouvellement ajouté avec l'import des phares et
autres. Pour voir ces erreurs, il suffit d'aller là:

http://osmose.openstreetmap.fr/map/cgi-bin/index.py?zoom=8&lat=47.79722&lon=-3.12112&layers=B00T&item=4060

(il n'y a actuellement des erreurs que sur la facade atlantique, de la
pointe de la Bretagne à l'Espagne, et autour de la Corse)


Par ailleurs, le source du backend de Osmose - la partie qui fait les
analyses est maintenant disponible dans un repository git:
https://gitorious.org/osmose/backend

(n'hésitez pas à rediriger sur dev-fr toute discussion à ce sujet)


Du coup, j'encourage tout le monde à proposer des idées d'analyses, et
éventuellement à me soumettre un patch pour inclusion. Par ailleurs,
c'est aussi intéressant de me reporter les faux-positifs (celui sur les
code INSEE sur les EPCI devrait être corrigé)


Pour finir, chaque bulle a maintenant un lien [?] vers l'aide qui se
situe sur le wiki, sur le lien suivant. Ça devrait permettre d'éclaircir
les erreurs peu claires.

http://wiki.openstreetmap.org/wiki/FR:Osmose/erreurs


Merci,
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] Osmose et last-update.py

[Jocelyn Jaubert]

Le 13 juillet 2011, Frédéric Rodrigo a écrit :
> > J'en avais proposé un il y a quelques mois pour ma part, sur cette
> > liste. Il était passé un peu inaperçu apparemment, et ne sachant
> > trop qui s'occupait d'Osmose, je n'étais pas allé plus loin.
> > Ce patch s'applique à Name_Toponymie.py et permet de régler le
> > problème des (nombreux) noms de lieu bretons contenant « c'h »,
> > dont l'apostrophe est détectée comme une coupure de mot, ce qui
> > déclenche une erreur de toponymie due à la majuscule supposément
> > manquante au « h ». En gros il y a plein de faux positifs.
> Désolé de ne pas encore l'avoir traité... ton patch dans ma liste de 
> trucs à faire :/

Ça m'a l'air bien compliqué ton patch :)

Je le mets de côté pour j'aurais un peu plus de temps. En attendant,
est-ce que tu pourras donner un exemple d'URL où l'analyse plante ?


> Il y a un SVN mais bien au chaud sur le serveur d'osmose...

C'est plutôt un git en fait. Enfin deux, un pour le backend, et l'autre
pour le frontend.

Je ne peux pas dans l'état les rendre public parce qu'ils contiennent
des mots de passes. Je verrais ce que je peux faire en août.

Merci,
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] Osmose et last-update.py

[Jocelyn Jaubert]

2011/7/13 Vincent Pottier :
> Inclure les erreurs dans un modèle qui s'affiche comme paragraphe avec titre
> dans la sous-page et qui est linkable sous la forme
> http://wiki.openstreetmap.org/wiki/FR:Osmose/erreurs#Mon_erreur
> ou
> http://wiki.openstreetmap.org/wiki/FR:Osmose/erreurs#4050 (plus simple à
> cause des lettres accentuées...)

Ça me parait une bonne idée ça. je peux rajouter un lien sur les
bulles vers cette aide, ce qui me demande un minimum d'effort :)

Il faudrait maintenant plus qu'une moulinette pour transformer l'aide
déjà présente vers ce nouveau format. Est-ce que ça serait d'ailleurs
possible d'afficher le numéro de l'erreur dans les titres de
paragraphes ?  (genre, vers la fin).

Merci,
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] Osmose et last-update.py

[Jocelyn Jaubert]

Le 12 juillet 2011, Black Myst a écrit :
> Pour le moment, j'aurais surtout des idées sur la partie présentation
>  1- Avoir directement dans l'info bulle d'une erreur, la date ou elle
> a été constaté (Vue que certains analyseurs fonctionnent mal)

Je viens de rajouter la date.

>  2- Avoir des métriques claires sur le nombre d'erreurs de chaque type
> par région et des stat globale pour la France...
>  J'ai vue que l'info était disponible région par région, il ne
> devrait donc pas être trop compliquer de les agréger.
>  Ces métriques sont particulièrement important pour savoir si on
> progresse ou non.

Le souci, c'est qu'on a trop de types différents d'erreurs pour que ce
genre de graphe soit utile. A moins qu'on ne se contente de tout
agréger ?

>  3- Corriger les liens vers JOSM (les liens vers les zones ne
> fonctionne pas)

Ça marche chez moi pourtant: ca charge dans josm la zone actuellement
affichée dans la fenêtre. Est-ce que tu peux vérifier en zoomant avant
de cliquer ?

Mais c'est sur que si osmose donnait directement une petite zone autour
de l'objet quelque soit le zoom, ca serait mieux. Si je mettais au max
0.02° de part et d'autre de l'objet, ça vous irait, ou c'est trop
petit ?

> 4- Mettre plus d'info dans les bulles d'erreur, ou
> renvoyer vers le wiki. Certaine erreur ne sont pas facile à
> comprendre pour un non-initié.

Oui, bonne idée. Je peux rajouter des liens si on me donne une URL
facile à générer à partir du type d'erreur.


>  5- Supprimer l'analyseur 'miettes Corine' qui est vraisemblablement
> déprécié

De quel analyseur parles-tu ?


> Pour le 4, j'ai commencé à mettre à jour un certain nombre d'entrée
> dans la page: http://wiki.openstreetmap.org/wiki/FR:Osmose

Ca serait peut-être plus clair en mettant un paragraphe par erreur
plutôt que tout dans un tableau, non ?


Merci,
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] Osmose et last-update.py

[Jocelyn Jaubert]

Le 12 juillet 2011, Black Myst a écrit :
> Bonjour,
> 
> Je suis à la recherche de renseignement sur Osmose, principalement sur
> le fréquence de mise à jour des infos.

Je me suis effectivement de remettre d'aplomb osmose ces derniers mois.
Ca marche pas trop mal pour le moment :)

> Si je me réfère à l'url:
> http://osmose.openstreetmap.fr/cgi-bin/last-update.py, je note 3
> catégories:
>  - Ceux qui sont mise à jour depuis moins de 24H (nickel)

Yep, ce sont toutes les régions qui n'ont pas eu de soucis (les
analyses tournent tous les 2 jours)

>  - Ceux qui sont mise à jour depuis moins de 2 semaines (tout à fait
> acceptable)

Hum, ça se sont des régions qui ont planté pour une raison quelconque.
Je vais regarder pourquoi elles ne marchent plus...


Pour les analyses entre 150 et 300 jours, la plupart sont les analyses
des DOM-TOMs, que je n'ai pas pu remettre en place faute d'une source
de donnée à donner à manger aux analyses.

Une autre partie contient la France, qui a été découpé en région - je
devrais enlever ce rapport pour clarifier la chose.

>  - Ceux qui dépasse les 300j (euh, là je pense qu'il y a un problème)

Les analyses européennes sont malheureusement trop grosses pour tenir
sur les machines que j'ai à disposition. Déjà, l'extract osm.bz2 est
gros, mais les scripts ont besoin de le décompresser pour travailler
efficacement. Et la version décompressée fait plusieurs centaines de Go.

> Est-ce qu'il y a quelques choses à faire pour actualiser ces
> analyses ?
> 
> D'une manière plus générale, est-ce que le projet est encore vivant
> et/ou est-ce qu'il y a possibilité de prendre contact avec les
> développeurs/admin pour réactiver un peu tout ça ?
> Je suis développeur python et j'ai des notions correct en
> administration Linux, si ça peut servir...

C'est réactivé :)

Par contre, si tu as des idées d'analyses à rajouter, n'hésite pas à
proposer et/ou à fournir un patch !


Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] Sources de clc.osm.fr

[Jocelyn Jaubert]

Bonjour,

Le 23 mai 2011, Vincent Pottier a écrit :
> Sur l'interface http://clc.openstreetmap.fr/cgi-bin/index.py les
> liens permettant un téléchargement des polygones dans JOSM produisent
> un fichier xml défectueux. Deux lignes sont insérées pour signaler
> qu'un module python est obsolète (et je crois bien que ledit module
> n'est pas utilisé dans le script). Il ne manque pas grand chose pour
> que l'erreur soit réparéee et l'outil parfaitement opérationel.

Je pense que j'ai corrigé le soucis en enlevant le "import sets". Il
n'y avait effectivement aucun appel à sets dans le code.

> Quelqu'un a-t-il l'accès aux sources de 
> http://clc.openstreetmap.fr/cgi-bin/index.py ?

J'ai accès aux sources, et je peux les modifier. N'hésitez pas à me
reporter tout souci sur les sites hébergés par une des machines du
crans (clc, osmose, bmo, analyser, geodesie, rawedit, …).


Merci,
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] Osmose

[Jocelyn Jaubert]

Le 24 février 2011, Bruno Cortial a écrit :

> Désolé, pas de réponse à te donner, que des questions :-)

Pas de soucis :)


> Ce way à un node correspond à une boundary de la région ?

En fait, je pense que les extract de geofabrik découpent les ways
"brutalement", en enlevant les nodes à l'extérieur du polygone
d'extraction. Du coup, on se retrouve avec des ways à un node qui
n'existent pas dans la base de donnée d'OSM.


> Ce qui implique que les analyses sur ces boundary ne sont plus
> opérationnelles ?

Non, c'est juste l'item "way one node" qui est faux. C'est celui qu'on
voit là:

http://osmose.openstreetmap.fr/map/cgi-bin/index.py?zoom=8&lat=45.63591&lon=5.41776&layers=B00T&item=1030

> Quel est le problème qui a forcé le passage à une
> analyse par région ?

Je suis passé à des analyses par région pour deux raisons principales:

 - france.osm est devenu très/trop gros: du coup, certaines analyses sur
   la france sont impossibles, et plantaient systématiquement. D'autres
   analyses prenaient plusieurs heures. C'était donc trop aléatoire de
   continuer à lancer des analyses sur la france entière.

 - je voulais pouvoir paralléliser les analyses sur plusieurs
   machines/cpus - ca tourne donc actuellement sur deux machines, mais
   je devrais très facilement tourner 2 régions par machine.


> Autre question: où puis-je trouver les sources ?

Les sources sont sur http://osm1.crans.org/src/osmose/, mais c'est pas
tout à fait à jour: les analyses osmosis ont été adaptés pour la
dernière version d'osmosis, mais les autres analyses sont inchangés
pour le moment.


Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] Osmose

[Jocelyn Jaubert]

Le 21 février 2011, Greg a écrit :
> Je profite de ce thread, ca c'est peut-être lié :
> Le test 'gis_building_overlaps-france_rhone_alpes' ne semble pas
> fonctionnel : depuis que les analyses ont repris, c'est le seul qui
> n'a jamais été généré.
> 
> Problème de script, de région ?
> 
> En tous cas, merci de remettre de fantastique outil en route !

Les analyses n'ont en fait pas complètement repris: ce test a planté
pour une raison inconnue la première fois, et j'ai perdu tous les
marqueurs d'Osmose hier à cause d'extracts foireux sur geofabrik.
Et aujourd'hui, tout n'a pas marché correctement :)

Avant que je considère que ça marche correctement, j'ai quelques
modifications à faire dans le code:
  - ne pas générer d'analyse si l'extract est trop petit
  - passer les analyses osmosis au nouveau format d'osmosis
  - commencer à passer les analyses osm2pgsql à osmosis pour voir si on
peut éviter d'utiliser les deux formats de bdd.
  - réussir à paralléliser sur la même machine.
  - et bien sur, remettre en place les DOM-TOMs.

En tout cas, n'hésitez pas à m'envoyer un message si il y a des erreurs
dans les rapports d'Osmose (à part les rapports non générés, que je
surveillerais de près les jours qui suivent)

Il y a quand même un souci connu: maintenant que les analyses sont
faites par région, avec les extract de Geofabrik, on a des ways à un
seul node sur le bord des régions. J'hésite à supprimer cette analyse:
est-ce que vous pensez qu'il sert à quelque chose ?


Merci,
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

[OSM-dev-fr] Anciens extraits de la France et DOM-TOM u tilisés par osmose

[Jocelyn Jaubert]

Bonjour,

Je suis en train de relancer la machinerie qui génère les rapports
utilisés par osmose, et je vois qu'un certains nombres d'extraits sont
récupérés sur une machine qui ne les héberge plus.

Est-ce que quelqu'un saurait si ces extraits peuvent se trouver autre
part ?
Et quelle est la différence entre les Large et les Small ?

Au pire, je pourrais partir de la base osmosis que j'ai déjà pour
générer ces extraits, mais ça serait plus rapide si ils existent déjà :)


Il s'agit de ces URLs là:

http://ns369499.ovh.net/planet/FranceLarge/FranceLarge-latest.osm.bz2
http://ns369499.ovh.net/planet/FranceSmall/FranceSmall-latest.osm.bz2
http://ns369499.ovh.net/planet/FrenchOverseas/Guadeloupe-latest.osm.bz2
http://ns369499.ovh.net/planet/FrenchOverseas/GuyaneFrancaiseLarge-latest.osm.bz2
http://ns369499.ovh.net/planet/FrenchOverseas/GuyaneFrancaiseSmall-latest.osm.bz2
http://ns369499.ovh.net/planet/FrenchOverseas/Martinique-latest.osm.bz2
http://ns369499.ovh.net/planet/FrenchOverseas/Mayotte-latest.osm.bz2
http://ns369499.ovh.net/planet/FrenchOverseas/Nouvelle-Caledonie-latest.osm.bz2
http://ns369499.ovh.net/planet/FrenchOverseas/PolynesieFrancaise-latest.osm.bz2
http://ns369499.ovh.net/planet/FrenchOverseas/Reunion-latest.osm.bz2
http://ns369499.ovh.net/planet/FrenchOverseas/SaintBarthelemy-latest.osm.bz2
http://ns369499.ovh.net/planet/FrenchOverseas/SaintMartinLarge-latest.osm.bz2
http://ns369499.ovh.net/planet/FrenchOverseas/SaintMartinSmall-latest.osm.bz2
http://ns369499.ovh.net/planet/FrenchOverseas/SaintPierreEtMiquelon-latest.osm.bz2
http://ns369499.ovh.net/planet/FrenchOverseas/WallisEtFutuna-latest.osm.bz2


Merci d'avance,
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] Aide pour démarrer avec Postgis

[Jocelyn Jaubert]

2010/12/6 sly (sylvain letuffe) :
> Osmosis ne construit pas (aux dernières nouvelles) les géométries. Il produit
> un schéma relationnel c'est à dire un schéma dans lequel un way fera
> référence à ses noeuds. Il faut donc dynamiquement construire le way pour en
> obtenir la géométrie.

Sur le versions récentes de osmosis, on a des colonnes qui donnent le
géométrie des ways (mais pas des relations). En fait, on a le schéma
approximatif de bdd suivant (où les hstores sont en fait des
dictionnaires)

  - nodes avec id, geom et hstore des tags
  - ways avec id, geom, bbox, hstore des tags et hstore des nodes
  - relations avec id et hstore des tags
  - relation_members pour associer relation et node/way/relation.

Ce qui est pas mal, c'est que les géométries et les bbox sont
reconstruites automatiquement lors des mises à jour, et que les
hstores des tags permettent de faire des requêtes marrantes avec les
tags.

Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

[OSM-dev-fr] Réparation de osm4.crans.org [w as: Re: [OSM-talk-fr] syj ne réponds plus ?]

[Jocelyn Jaubert]

Le 23 novembre 2010, Nicolas Dandrimont a écrit :
> Donc je vais rappeler un peu l'état de ce serveur :
>  - Une barette de ram morte, et il ne veut pas accepter la barette de
>  remplacement
>  - Un disque dur mort-vivant
> 
> Dites moi ce que vous voulez faire pour la suite...

Pour résumer: la machine osm4.crans.org est une des machines donnée par
free (cf http://wiki.openstreetmap.org/wiki/FR:Servers) et est
définitivement en panne.

Du coup, je vois deux possibilités:
  - on remplace la machine par une des machines sans hébergement
disponible sur Paris
  - on récupère une barette de RAM et un disque dur sur une des autres
machines fournies par Free disponible sur Paris.

Est-ce que quelqu'un aurait une autre suggestion, ou pourrait voir avec
le Crans pour la suite des festivités ?

Merci,
Jocelyn


signature.asc
Description: PGP signature
___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr