Re: [OSM-talk-fr] Import sélectifs
sly (sylvain letuffe) a écrit : On vendredi 7 mai 2010, Rodolphe Quiedeville wrote: Salut, Je fais des stats sur les éoliennes en France, et pour cela j'importe les données dans une base pg avec osm2pgsl, je ne suis donc intéressé que par les nodes, les ways et les relations m'importe peu. Je n'ai pas trouvé d'option dans osm2pgsl pour faire cela, quelqu'un connaîtrait un autre outil d'import suffisamment péchu et qui disposerait de cette option ? Le fichier de style de osm2pgsql permet justement ça Je gagne un peu de temps en optimisant le fichier de style, merci pour l'actuce ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] Import sélectifs
On mercredi 12 mai 2010, Rodolphe Quiedeville wrote: sly (sylvain letuffe) a écrit : On vendredi 7 mai 2010, Rodolphe Quiedeville wrote: Salut, Je fais des stats sur les éoliennes en France, et pour cela j'importe les données dans une base pg avec osm2pgsl, je ne suis donc intéressé que par les nodes, les ways et les relations m'importe peu. Je n'ai pas trouvé d'option dans osm2pgsl pour faire cela, quelqu'un connaîtrait un autre outil d'import suffisamment péchu et qui disposerait de cette option ? Le fichier de style de osm2pgsql permet justement ça Je gagne un peu de temps en optimisant le fichier de style, merci pour l'actuce Je viens de tester et c'est en effet décevant, j'ai 11 minutes pour la france, alors qu'il y a trois fois rien en power=generator. Le problème c'est qu'il parse tous les noeuds au cas où ils feraient parti d'un power=generator Mais on peut ruser avec XAPI et ne demander en amont que ce qu'il faut : $ wget http://www.informationfreeway.org/api/0.6/node[bbox=-2,42,8,51] [power=generator] -O power.osm $time ./tools/osm2pgsql/osm2pgsql -C 3000 -S ./default.style -G -x -m -d gis power.osm 0.3s, forcément, ça va beaucoup plus vite ! # select count(*) from planet_osm_point where power_source='wind'; count --- 651 (1 ligne) Tiens ? j'aurais pas cru qu'on en avait autant en france, ma bbox doit avoir mangée un peu d'allemagne, faudra intersecter avec le polygone france -- sly Sylvain Letuffe sylv...@letuffe.org qui suis-je : http://slyserv.dyndns.org ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] Import sélectifs
Le 12/05/2010 16:54, sly (sylvain letuffe) a écrit : On mercredi 12 mai 2010, Rodolphe Quiedeville wrote: Je viens de tester et c'est en effet décevant, j'ai 11 minutes pour la france, alors qu'il y a trois fois rien en power=generator. Le problème c'est qu'il parse tous les noeuds au cas où ils feraient parti d'un power=generator Mais on peut ruser avec XAPI et ne demander en amont que ce qu'il faut : $ wget http://www.informationfreeway.org/api/0.6/node[bbox=-2,42,8,51] [power=generator] -O power.osm $time ./tools/osm2pgsql/osm2pgsql -C 3000 -S ./default.style -G -x -m -d gis power.osm 0.3s, forcément, ça va beaucoup plus vite ! # select count(*) from planet_osm_point where power_source='wind'; count --- 651 (1 ligne) Tiens ? j'aurais pas cru qu'on en avait autant en france, ma bbox doit avoir mangée un peu d'allemagne, faudra intersecter avec le polygone france Bonjour, Je viens de jouer avec ma base libosm / spatialite (pub), sur un extrait geofabrik.de de la France ( 2h pour l'import) : |select count(*) from node as n join node_tags as nt on n.id = nt.id_node join tag as t on t.id = nt.id_tag where t.key=power_source and t.value=wind - 235| Le résultat est instantané :-)) Note de benchmark : sur Intel i5 650 (3.2 GHz) 2 Go de RAM, j'importe le planet en 48h (avec un minimum d'indexes). PS : je ne parse pas encore les diff, mais je sens que ça va venir. -- Marc Sibert m...@sibert.fr ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] Import sélectifs
On mercredi 12 mai 2010, Marc Sibert wrote: |select count(*) from node as n join node_tags as nt on n.id = nt.id_node join tag as t on t.id = nt.id_tag where t.key=power_source and t.value=wind - 235| Le résultat est instantané :-)) C'est d'la triche ! Tu as sous traité le calcul d'intersection avec le polygone france à géofabrik ;-) (Mais je me doute que ça ne devrait pas coûter très cher, les algos d'appartenance polygone sont bien rôdés et je suppose que spatialite doit savoir faire) Note de benchmark : sur Intel i5 650 (3.2 GHz) 2 Go de RAM, j'importe le planet en 48h (avec un minimum d'indexes). Très très bon score vu ta bécanne, quel disque ? Question qui me taraude, ça gère quoi au niveau des relations ? -- sly Sylvain Letuffe sylv...@letuffe.org qui suis-je : http://slyserv.dyndns.org ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] Import sélectifs
sly (sylvain letuffe) a écrit : On mercredi 12 mai 2010, Rodolphe Quiedeville wrote: sly (sylvain letuffe) a écrit : On vendredi 7 mai 2010, Rodolphe Quiedeville wrote: Salut, Je fais des stats sur les éoliennes en France, et pour cela j'importe les données dans une base pg avec osm2pgsl, je ne suis donc intéressé que par les nodes, les ways et les relations m'importe peu. Je n'ai pas trouvé d'option dans osm2pgsl pour faire cela, quelqu'un connaîtrait un autre outil d'import suffisamment péchu et qui disposerait de cette option ? Le fichier de style de osm2pgsql permet justement ça Je gagne un peu de temps en optimisant le fichier de style, merci pour l'actuce Je viens de tester et c'est en effet décevant, j'ai 11 minutes pour la france, alors qu'il y a trois fois rien en power=generator. Le problème c'est qu'il parse tous les noeuds au cas où ils feraient parti d'un power=generator Mais on peut ruser avec XAPI et ne demander en amont que ce qu'il faut : $ wget http://www.informationfreeway.org/api/0.6/node[bbox=-2,42,8,51] [power=generator] -O power.osm C'était ma première idée, mais à chaque fois que j'avais testé les appels XAPI le serveur était down :-( $time ./tools/osm2pgsql/osm2pgsql -C 3000 -S ./default.style -G -x -m -d gis power.osm 0.3s, forcément, ça va beaucoup plus vite ! # select count(*) from planet_osm_point where power_source='wind'; count --- 651 (1 ligne) Tiens ? j'aurais pas cru qu'on en avait autant en france, ma bbox doit avoir mangée un peu d'allemagne, faudra intersecter avec le polygone france Tout a fait :) ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] Import sélectifs
Bonjour, Je viens de mettre le source de mon application (LibOsm) dans la forge logicielle github (j'aime bien cette francisation) à l'adresse http://github.com/Marcussacapuces91/LibOsm. Il y a un bouton Download Source qui fabrique un tar ou un zip au choix. Je n'ai pas inclus les dépendances, bien que les licences me semblent le permettre ; j'ai du mal à publier du code source qui ne m'appartient pas. Pensez-vous que je doive adjoindre ces sources afin de faciliter la compilation ? A+ -- Marc Sibert m...@sibert.fr ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
[OSM-talk-fr] Import sélectifs
Salut, Je fais des stats sur les éoliennes en France, et pour cela j'importe les données dans une base pg avec osm2pgsl, je ne suis donc intéressé que par les nodes, les ways et les relations m'importe peu. Je n'ai pas trouvé d'option dans osm2pgsl pour faire cela, quelqu'un connaîtrait un autre outil d'import suffisamment péchu et qui disposerait de cette option ? Sinon il reste le patch à osm2pgsql, j'ai regardé le code mais mes compétences en C sont un peu juste pour me permettre un patch efficace et propre. Merci ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] Import sélectifs
Bonjour, Je te conseille de regarder Osmosis qui propose justement ce genre d'option. Osm2pgsql est plus pour le rendu. Osmosis est l'outil de base pour manipuler les fichiers Osm. Emilie Laffray On 7 May 2010 10:45, Rodolphe Quiedeville rodol...@quiedeville.org wrote: Salut, Je fais des stats sur les éoliennes en France, et pour cela j'importe les données dans une base pg avec osm2pgsl, je ne suis donc intéressé que par les nodes, les ways et les relations m'importe peu. Je n'ai pas trouvé d'option dans osm2pgsl pour faire cela, quelqu'un connaîtrait un autre outil d'import suffisamment péchu et qui disposerait de cette option ? Sinon il reste le patch à osm2pgsql, j'ai regardé le code mais mes compétences en C sont un peu juste pour me permettre un patch efficace et propre. Merci ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] Import sélectifs
On vendredi 7 mai 2010, Rodolphe Quiedeville wrote: Salut, Je fais des stats sur les éoliennes en France, et pour cela j'importe les données dans une base pg avec osm2pgsl, je ne suis donc intéressé que par les nodes, les ways et les relations m'importe peu. Je n'ai pas trouvé d'option dans osm2pgsl pour faire cela, quelqu'un connaîtrait un autre outil d'import suffisamment péchu et qui disposerait de cette option ? Le fichier de style de osm2pgsql permet justement ça -- sly Sylvain Letuffe sylv...@letuffe.org qui suis-je : http://slyserv.dyndns.org ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] Import sélectifs
En parlant d'éolienne et de relation, j'ai fais une relation type=site pour les éoliennes du Lomont : http://www.openstreetmap.org/browse/relation/546323 J'ai fait la relation pour mettre toutes les éoliennes du parc dedans, si ca peut t'aider pour des stats (nombre de parc en France,...) Le 7 mai 2010 11:04, Emilie Laffray emilie.laff...@gmail.com a écrit : Bonjour, Je te conseille de regarder Osmosis qui propose justement ce genre d'option. Osm2pgsql est plus pour le rendu. Osmosis est l'outil de base pour manipuler les fichiers Osm. Emilie Laffray On 7 May 2010 10:45, Rodolphe Quiedeville rodol...@quiedeville.org wrote: Salut, Je fais des stats sur les éoliennes en France, et pour cela j'importe les données dans une base pg avec osm2pgsl, je ne suis donc intéressé que par les nodes, les ways et les relations m'importe peu. Je n'ai pas trouvé d'option dans osm2pgsl pour faire cela, quelqu'un connaîtrait un autre outil d'import suffisamment péchu et qui disposerait de cette option ? Sinon il reste le patch à osm2pgsql, j'ai regardé le code mais mes compétences en C sont un peu juste pour me permettre un patch efficace et propre. Merci ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] Import sélectifs
Le 7 mai 2010 10:44, Rodolphe Quiedeville rodol...@quiedeville.org a écrit : Salut, Je fais des stats sur les éoliennes en France, et pour cela j'importe les données dans une base pg avec osm2pgsl, je ne suis donc intéressé que par les nodes, les ways et les relations m'importe peu. Je n'ai pas trouvé d'option dans osm2pgsl pour faire cela, quelqu'un connaîtrait un autre outil d'import suffisamment péchu et qui disposerait de cette option ? Sinon il reste le patch à osm2pgsql, j'ai regardé le code mais mes compétences en C sont un peu juste pour me permettre un patch efficace et propre. Merci ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr Bonjour, Je travaille sur un parseur XML pour OSM qui constitue une base SQLite / Spatialite, écrit en C++ et qui se compile sur Windows et normalement aussi en Linux (pas de spécifique Win.). Cela permet ensuite de faire les requêtes SQL de ton choix sur la base pour obtenir des listes de nodes (ou autres) suivant tes critères. L'intérêt de Spatialite et d'avoir des index spatiaux (!) et de faciliter les recherches par département ou autres. En plus, pas besoin d'installer un serveur de base de données ; tout fonctionne en local. Si cette solution t'intéresse, j'aimerais mettre ma solution à l'épreuve d'une vraie utilisation. Conversation à poursuivre en privée. A+ -- Marc Sibert m...@sibert.fr ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] Import sélectifs
Marc SIBERT a écrit : Bonjour, Je travaille sur un parseur XML pour OSM qui constitue une base SQLite / Spatialite, écrit en C++ et qui se compile sur Windows et normalement aussi en Linux (pas de spécifique Win.). De mon coté je bosse uniquement sur Linux, mais je peux tester la compilation si cela peut aider. Comment puis-je récupérer les sources, où sont-elles publiées ? Cela permet ensuite de faire les requêtes SQL de ton choix sur la base pour obtenir des listes de nodes (ou autres) suivant tes critères. L'intérêt de Spatialite et d'avoir des index spatiaux (!) et de faciliter les recherches par département ou autres. En plus, pas besoin d'installer un serveur de base de données ; tout fonctionne en local. Si cette solution t'intéresse, j'aimerais mettre ma solution à l'épreuve d'une vraie utilisation. Conversation à poursuivre en privée. Cela peut intéresser plein de gens autant continuer à discuter sur la liste. Et pour diminuer le nombre de message, merci pour vos réponses Emilie, Sylvain et Etienne, je vais commencer par regarder osmosis. ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] Import sélectifs
Le 7 mai 2010 12:58, Rodolphe Quiedeville rodol...@quiedeville.org a écrit : Marc SIBERT a écrit : Bonjour, Je travaille sur un parseur XML pour OSM qui constitue une base SQLite / Spatialite, écrit en C++ et qui se compile sur Windows et normalement aussi en Linux (pas de spécifique Win.). De mon coté je bosse uniquement sur Linux, mais je peux tester la compilation si cela peut aider. Comment puis-je récupérer les sources, où sont-elles publiées ? Cela permet ensuite de faire les requêtes SQL de ton choix sur la base pour obtenir des listes de nodes (ou autres) suivant tes critères. L'intérêt de Spatialite et d'avoir des index spatiaux (!) et de faciliter les recherches par département ou autres. En plus, pas besoin d'installer un serveur de base de données ; tout fonctionne en local. Si cette solution t'intéresse, j'aimerais mettre ma solution à l'épreuve d'une vraie utilisation. Conversation à poursuivre en privée. Cela peut intéresser plein de gens autant continuer à discuter sur la liste. ... Bonjour, Je mets ça en ligne, mais le proxy du boulot est un peu paranoïaque... http://freeroute.fr/libosm/src.zip http://freeroute.fr/libosm/dox/html : la doc en ligne avec Doxygen. J'ai aussi mi un makefile (http://freeroute.fr/libosm/makefile), mais qui n'a pas évolué depuis mes premiers tests. Il faudra donc le corriger et surement ajouter des répertoires. Mon code est sous licence LGPL v3. Il inclut le code source de SQLite3 (Domaine Public) et le source de Spatialite (MPLv1.1), ce sont les *amalgamation* source, c.-à-d. toute la librairie dans un seul fichier, c'est gros, mais le code compilé est très rapide (liaison statique...). J'utilise aussi TCLAP pour parser les paramètres de la ligne de commande (Licence MIT). J'appelle aussi les lib Expat, Geos, Proj4 (et Iconv pour Windows) qu'il faudra lier. Voilà je crois que j'ai fait le tour. Si en plus vous avez une idée pour héberger ça facilement (moi, je suis PC et windows, je ne peux plus m'en passer !), je suis preneur. -- Marc Sibert m...@sibert.fr ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
