Re: [OSM-talk-fr] Import de données OSM dans PostGIS
> > > > Il faut surtout éviter de créer de trop grosses bases, au delà de 2Go il y > a une perte de performance ... > > Hummm... Soit vous avez oublié des index ou de faire la maintenance de base... Mais des bases de plus de 2Go ça se gère très bien sans avoir de perte de performance. Çà t'oblige juste à faire de l'admin de base et de l'optimisation (et aussi ou surtout dimensionner l'infrastructure en conséquence). Rien que les bases Here par version font 3Go sans avoir été enrichi et seulement pour le territoire français. Alors j'imagine qu'avec de l'OSM avec le bâti (et autres) sur la France, voir plus si ton projet est trans-frontalier, les bases font largement plus que ça... Sans compté que des requêtes inter base c'est loin d'être le top. Jérôme ___ Talk-fr mailing list Talk-fr@openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] Import de données OSM dans PostGIS
Salut, Le Tue, 14 Jun 2016 06:17:54 -0700 (MST), Tony Emery a écrit : > Du coup, je recherche un tutoriel à jour (donc récent) et qui explique > (très) simplement comment mettre en place une solution automatisée > permettant : > - de télécharger les données d'une emprise géographique tous les > soirs (ou, à défaut, le différentiel) > - que ces données soient versées plus ou moins directement dans une > Base PostGIS. > Pour le coup, je suis aussi éventuellement preneur d'une solution > full open source Ubuntu que je testerai chez moi. Je ne sais pas si c'est encore à jour (05/2015), mais il y a les éléments demandés dans mon tuto ici : http://motive.cemagref.fr/people/nicolas.dumoulin/distances-osrm Les sections qui t'intéressent sont "Getting OpenStreetMap data for the Cantal" et "Updating the OpenStreetMap data". Si vraiment tu galères, je pourrai te faire un dockerfile, mais au final c'est assez simple je trouve. Une fois l'import fait, c'est assez bluffant de voir la rapidité de mise à jour des données Spatialite a l'air intéressant, mais je ne connais pas. -- Nicolas Dumoulin ___ Talk-fr mailing list Talk-fr@openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] Import de données OSM dans PostGIS
Bonjour de nouveau Pour osm2pgsql, qui fonctionne très bien, tout se fait en ligne de code qu'on peut automatiser avec des scripts (jamais fait mais je sais que c'est possible). Les infos qu'on peut trouver sur osm sont très complètes et très sûres. Il y a aussi des développeurs de qgis qui se sont penché dessus, en particulier Anita Graser (exemples ici : http://gis.stackexchange.com/search?q=user:187+[postgresql]) Bon courage ! Cyril Le 14/06/2016 à 16:17, Tony Emery a écrit : Bonjour à tous, Suite aux différentes présentations du dernier SOTM-FR et en lien avec une réflexion que je mène déjà depuis quelques temps, je me lance (enfin) dans le grand bain de l'import quasi-big data. En fait, je souhaite aller plus loin dans la démarche d'import des données OSM en local que celle que j'ai présenté à Clermont-Ferrand. Jusqu'à présent, j'utilise un script python pour automatiser l'import de certaines données OSM dans des fichiers planet en local, puis, avec la bibliothèque arcpy d'ESRI, qui renvoi tout ça dans une géodatabase ESRI (je vous entends siffler dans le fond). J'ai bien écouté les présentations qui expliquaient comment utiliser osm2pgsql, switch2osm et autre imposm3. Mais il y a 2 contraintes que je n'arrive pas à lever : - comment ça s'installe, ça se paramètre et ça fonctionne ? - Est-ce qu'il existe la même chose pour un environnement Windows, car nos serveurs sont ainsi ? Du coup, je recherche un tutoriel à jour (donc récent) et qui explique (très) simplement comment mettre en place une solution automatisée permettant : - de télécharger les données d'une emprise géographique tous les soirs (ou, à défaut, le différentiel) - que ces données soient versées plus ou moins directement dans une Base PostGIS. Pour le coup, je suis aussi éventuellement preneur d'une solution full open source Ubuntu que je testerai chez moi. Merci d'avance pour vos idées. Tony - Tony EMERY Administrateur OpenStreetMap.fr Mandataire Grand Sud-Est Géomaticien & chef de projets -- View this message in context: http://gis.19327.n5.nabble.com/Import-de-donnees-OSM-dans-PostGIS-tp5875478.html Sent from the France mailing list archive at Nabble.com. ___ Talk-fr mailing list Talk-fr@openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-fr ___ Talk-fr mailing list Talk-fr@openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] Import de données OSM dans PostGIS
Ca c'est du boulot pour osmosis (http://wiki.openstreetmap.org/wiki/FR:Osmosis#D.C3.A9duire_les_modifications_entre_deux_fichiers_planet.) Sinon http://wiki.openstreetmap.org/wiki/Overpass_API/Augmented_Diffs ? -Message d'origine- De : Tony Emery [mailto:tony.em...@yahoo.fr] Envoyé : mardi 14 juin 2016 16:36 À : talk-fr@openstreetmap.org Objet : Re: [OSM-talk-fr] Import de données OSM dans PostGIS Du coup, quand on créé une requête overpass pour récupérer les données dans un fichier xml (par défaut), est-ce qu'on peut paramétrer la requête pour qu'elle ne télécharge que la différence entre la base osm et ce qui est dans le fichier xml ? - Tony EMERY Administrateur OpenStreetMap.fr Mandataire Grand Sud-Est Géomaticien & chef de projets -- View this message in context: http://gis.19327.n5.nabble.com/Import-de-donnees-OSM-dans-PostGIS-tp5875478p5875492.html Sent from the France mailing list archive at Nabble.com. ___ Talk-fr mailing list Talk-fr@openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-fr --- Ce message et toutes les pièces jointes sont établis à l'intention exclusive de ses destinataires et sont confidentiels. L'intégrité de ce message n'étant pas assurée sur Internet, la SNCF ne peut être tenue responsable des altérations qui pourraient se produire sur son contenu. Toute publication, utilisation, reproduction, ou diffusion, même partielle, non autorisée préalablement par la SNCF, est strictement interdite. Si vous n'êtes pas le destinataire de ce message, merci d'en avertir immédiatement l'expéditeur et de le détruire. --- This message and any attachments are intended solely for the addressees and are confidential. SNCF may not be held responsible for their contents whose accuracy and completeness cannot be guaranteed over the Internet. Unauthorized use, disclosure, distribution, copying, or any part thereof is strictly prohibited. If you are not the intended recipient of this message, please notify the sender immediately and delete it. ___ Talk-fr mailing list Talk-fr@openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] Import de données OSM dans PostGIS
Bonjour Personnellement j'ai laissé tomber spatialite qui me plantait certaines bases. Il a l'avantage de la légèreté, c'est sûr, avec des process de requête très simples et agréables, mais je trouve postgis/postgresql plus sûr. Evidemment je ne suis pas un pro de la DB, donc je peux aussi mal prendre en compte certaines situations. Mais bon, un retour d'expérience parmi d'autres... Cyril Le 14/06/2016 à 16:42, HELFER Denis (SNCF RESEAU / SIEGE SNCF RESEAU / DT ALCA APPUI PERFORMANCE) a écrit : Tu as pensé à une solution spatialite ? Avantages : - installation enfantine - multi-plateforme - s'intègre directement dans ArcGIS (v 10.3 minimum) selon la doc (mais pas encore testé) - base mono-utilisateur - très paramétrable (et automatisable, y compris avec du python) - fonctionne très bien aussi avec QGis (testé du coup ;-) - export possible en shapefile - compatbible OGC Inconvénients - je ne sais pas comment ça tient la charge si volume très important de données. Pour ma part c'est les choix sur lesquels je m'oriente pour un projet similaire que je vais démarrer très prochainement. Pourquoi une geodatabase ? Denis -Message d'origine- De : Tony Emery [mailto:tony.em...@yahoo.fr] Envoyé : mardi 14 juin 2016 15:18 À : talk-fr@openstreetmap.org Objet : [OSM-talk-fr] Import de données OSM dans PostGIS Bonjour à tous, Suite aux différentes présentations du dernier SOTM-FR et en lien avec une réflexion que je mène déjà depuis quelques temps, je me lance (enfin) dans le grand bain de l'import quasi-big data. En fait, je souhaite aller plus loin dans la démarche d'import des données OSM en local que celle que j'ai présenté à Clermont-Ferrand. Jusqu'à présent, j'utilise un script python pour automatiser l'import de certaines données OSM dans des fichiers planet en local, puis, avec la bibliothèque arcpy d'ESRI, qui renvoi tout ça dans une géodatabase ESRI (je vous entends siffler dans le fond). J'ai bien écouté les présentations qui expliquaient comment utiliser osm2pgsql, switch2osm et autre imposm3. Mais il y a 2 contraintes que je n'arrive pas à lever : - comment ça s'installe, ça se paramètre et ça fonctionne ? - Est-ce qu'il existe la même chose pour un environnement Windows, car nos serveurs sont ainsi ? Du coup, je recherche un tutoriel à jour (donc récent) et qui explique (très) simplement comment mettre en place une solution automatisée permettant : - de télécharger les données d'une emprise géographique tous les soirs (ou, à défaut, le différentiel) - que ces données soient versées plus ou moins directement dans une Base PostGIS. Pour le coup, je suis aussi éventuellement preneur d'une solution full open source Ubuntu que je testerai chez moi. Merci d'avance pour vos idées. Tony - Tony EMERY Administrateur OpenStreetMap.fr Mandataire Grand Sud-Est Géomaticien & chef de projets -- View this message in context: http://gis.19327.n5.nabble.com/Import-de-donnees-OSM-dans-PostGIS-tp5875478.html Sent from the France mailing list archive at Nabble.com. ___ Talk-fr mailing list Talk-fr@openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-fr --- Ce message et toutes les pièces jointes sont établis à l'intention exclusive de ses destinataires et sont confidentiels. L'intégrité de ce message n'étant pas assurée sur Internet, la SNCF ne peut être tenue responsable des altérations qui pourraient se produire sur son contenu. Toute publication, utilisation, reproduction, ou diffusion, même partielle, non autorisée préalablement par la SNCF, est strictement interdite. Si vous n'êtes pas le destinataire de ce message, merci d'en avertir immédiatement l'expéditeur et de le détruire. --- This message and any attachments are intended solely for the addressees and are confidential. SNCF may not be held responsible for their contents whose accuracy and completeness cannot be guaranteed over the Internet. Unauthorized use, disclosure, distribution, copying, or any part thereof is strictly prohibited. If you are not the intended recipient of this message, please notify the sender immediately and delete it. ___ Talk-fr mailing list Talk-fr@openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-fr ___ Talk-fr mailing list Talk-fr@openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] Import de données OSM dans PostGIS
Les bases spatialite ça marche bien pour de la carto, j'utilise ça pour plusieurs projets au boulot ! Il faut surtout éviter de créer de trop grosses bases, au delà de 2Go il y a une perte de performance ... Sylvain Le 14 juin 2016 à 16:35, Tony Emery a écrit : > Du coup, quand on créé une requête overpass pour récupérer les données dans > un fichier xml (par défaut), est-ce qu'on peut paramétrer la requête pour > qu'elle ne télécharge que la différence entre la base osm et ce qui est > dans > le fichier xml ? > > > > - > Tony EMERY > Administrateur OpenStreetMap.fr > Mandataire Grand Sud-Est > Géomaticien & chef de projets > -- > View this message in context: > http://gis.19327.n5.nabble.com/Import-de-donnees-OSM-dans-PostGIS-tp5875478p5875492.html > Sent from the France mailing list archive at Nabble.com. > > ___ > Talk-fr mailing list > Talk-fr@openstreetmap.org > https://lists.openstreetmap.org/listinfo/talk-fr > ___ Talk-fr mailing list Talk-fr@openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] Import de données OSM dans PostGIS
Du coup, quand on créé une requête overpass pour récupérer les données dans un fichier xml (par défaut), est-ce qu'on peut paramétrer la requête pour qu'elle ne télécharge que la différence entre la base osm et ce qui est dans le fichier xml ? - Tony EMERY Administrateur OpenStreetMap.fr Mandataire Grand Sud-Est Géomaticien & chef de projets -- View this message in context: http://gis.19327.n5.nabble.com/Import-de-donnees-OSM-dans-PostGIS-tp5875478p5875492.html Sent from the France mailing list archive at Nabble.com. ___ Talk-fr mailing list Talk-fr@openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] Import de données OSM dans PostGIS
Quelques liens : http://www.gaia-gis.it/gaia-sins/ https://www.gaia-gis.it/spatialite-2.3.0/install-windows.html https://www.gaia-gis.it/spatialite-2.3.0/docs.html https://www.gaia-gis.it/gaia-sins/spatialite-cookbook/index.html#haute_cuisine je sais pas si c'est assez user-friendly pour toi. -Message d'origine- De : Tony Emery [mailto:tony.em...@yahoo.fr] Envoyé : mardi 14 juin 2016 15:59 À : talk-fr@openstreetmap.org Objet : Re: [OSM-talk-fr] Import de données OSM dans PostGIS Tu as de la doc "user friendly" là-dessus ? - Tony EMERY Administrateur OpenStreetMap.fr Mandataire Grand Sud-Est Géomaticien & chef de projets -- View this message in context: http://gis.19327.n5.nabble.com/Import-de-donnees-OSM-dans-PostGIS-tp5875478p5875487.html Sent from the France mailing list archive at Nabble.com. ___ Talk-fr mailing list Talk-fr@openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-fr --- Ce message et toutes les pièces jointes sont établis à l'intention exclusive de ses destinataires et sont confidentiels. L'intégrité de ce message n'étant pas assurée sur Internet, la SNCF ne peut être tenue responsable des altérations qui pourraient se produire sur son contenu. Toute publication, utilisation, reproduction, ou diffusion, même partielle, non autorisée préalablement par la SNCF, est strictement interdite. Si vous n'êtes pas le destinataire de ce message, merci d'en avertir immédiatement l'expéditeur et de le détruire. --- This message and any attachments are intended solely for the addressees and are confidential. SNCF may not be held responsible for their contents whose accuracy and completeness cannot be guaranteed over the Internet. Unauthorized use, disclosure, distribution, copying, or any part thereof is strictly prohibited. If you are not the intended recipient of this message, please notify the sender immediately and delete it. ___ Talk-fr mailing list Talk-fr@openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] Import de données OSM dans PostGIS
Tu as de la doc "user friendly" là-dessus ? - Tony EMERY Administrateur OpenStreetMap.fr Mandataire Grand Sud-Est Géomaticien & chef de projets -- View this message in context: http://gis.19327.n5.nabble.com/Import-de-donnees-OSM-dans-PostGIS-tp5875478p5875487.html Sent from the France mailing list archive at Nabble.com. ___ Talk-fr mailing list Talk-fr@openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] Import de données OSM dans PostGIS
Tu as pensé à une solution spatialite ? Avantages : - installation enfantine - multi-plateforme - s'intègre directement dans ArcGIS (v 10.3 minimum) selon la doc (mais pas encore testé) - base mono-utilisateur - très paramétrable (et automatisable, y compris avec du python) - fonctionne très bien aussi avec QGis (testé du coup ;-) - export possible en shapefile - compatbible OGC Inconvénients - je ne sais pas comment ça tient la charge si volume très important de données. Pour ma part c'est les choix sur lesquels je m'oriente pour un projet similaire que je vais démarrer très prochainement. Pourquoi une geodatabase ? Denis -Message d'origine- De : Tony Emery [mailto:tony.em...@yahoo.fr] Envoyé : mardi 14 juin 2016 15:18 À : talk-fr@openstreetmap.org Objet : [OSM-talk-fr] Import de données OSM dans PostGIS Bonjour à tous, Suite aux différentes présentations du dernier SOTM-FR et en lien avec une réflexion que je mène déjà depuis quelques temps, je me lance (enfin) dans le grand bain de l'import quasi-big data. En fait, je souhaite aller plus loin dans la démarche d'import des données OSM en local que celle que j'ai présenté à Clermont-Ferrand. Jusqu'à présent, j'utilise un script python pour automatiser l'import de certaines données OSM dans des fichiers planet en local, puis, avec la bibliothèque arcpy d'ESRI, qui renvoi tout ça dans une géodatabase ESRI (je vous entends siffler dans le fond). J'ai bien écouté les présentations qui expliquaient comment utiliser osm2pgsql, switch2osm et autre imposm3. Mais il y a 2 contraintes que je n'arrive pas à lever : - comment ça s'installe, ça se paramètre et ça fonctionne ? - Est-ce qu'il existe la même chose pour un environnement Windows, car nos serveurs sont ainsi ? Du coup, je recherche un tutoriel à jour (donc récent) et qui explique (très) simplement comment mettre en place une solution automatisée permettant : - de télécharger les données d'une emprise géographique tous les soirs (ou, à défaut, le différentiel) - que ces données soient versées plus ou moins directement dans une Base PostGIS. Pour le coup, je suis aussi éventuellement preneur d'une solution full open source Ubuntu que je testerai chez moi. Merci d'avance pour vos idées. Tony - Tony EMERY Administrateur OpenStreetMap.fr Mandataire Grand Sud-Est Géomaticien & chef de projets -- View this message in context: http://gis.19327.n5.nabble.com/Import-de-donnees-OSM-dans-PostGIS-tp5875478.html Sent from the France mailing list archive at Nabble.com. ___ Talk-fr mailing list Talk-fr@openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-fr --- Ce message et toutes les pièces jointes sont établis à l'intention exclusive de ses destinataires et sont confidentiels. L'intégrité de ce message n'étant pas assurée sur Internet, la SNCF ne peut être tenue responsable des altérations qui pourraient se produire sur son contenu. Toute publication, utilisation, reproduction, ou diffusion, même partielle, non autorisée préalablement par la SNCF, est strictement interdite. Si vous n'êtes pas le destinataire de ce message, merci d'en avertir immédiatement l'expéditeur et de le détruire. --- This message and any attachments are intended solely for the addressees and are confidential. SNCF may not be held responsible for their contents whose accuracy and completeness cannot be guaranteed over the Internet. Unauthorized use, disclosure, distribution, copying, or any part thereof is strictly prohibited. If you are not the intended recipient of this message, please notify the sender immediately and delete it. ___ Talk-fr mailing list Talk-fr@openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-fr
[OSM-talk-fr] Import de données OSM dans PostGIS
Bonjour à tous, Suite aux différentes présentations du dernier SOTM-FR et en lien avec une réflexion que je mène déjà depuis quelques temps, je me lance (enfin) dans le grand bain de l'import quasi-big data. En fait, je souhaite aller plus loin dans la démarche d'import des données OSM en local que celle que j'ai présenté à Clermont-Ferrand. Jusqu'à présent, j'utilise un script python pour automatiser l'import de certaines données OSM dans des fichiers planet en local, puis, avec la bibliothèque arcpy d'ESRI, qui renvoi tout ça dans une géodatabase ESRI (je vous entends siffler dans le fond). J'ai bien écouté les présentations qui expliquaient comment utiliser osm2pgsql, switch2osm et autre imposm3. Mais il y a 2 contraintes que je n'arrive pas à lever : - comment ça s'installe, ça se paramètre et ça fonctionne ? - Est-ce qu'il existe la même chose pour un environnement Windows, car nos serveurs sont ainsi ? Du coup, je recherche un tutoriel à jour (donc récent) et qui explique (très) simplement comment mettre en place une solution automatisée permettant : - de télécharger les données d'une emprise géographique tous les soirs (ou, à défaut, le différentiel) - que ces données soient versées plus ou moins directement dans une Base PostGIS. Pour le coup, je suis aussi éventuellement preneur d'une solution full open source Ubuntu que je testerai chez moi. Merci d'avance pour vos idées. Tony - Tony EMERY Administrateur OpenStreetMap.fr Mandataire Grand Sud-Est Géomaticien & chef de projets -- View this message in context: http://gis.19327.n5.nabble.com/Import-de-donnees-OSM-dans-PostGIS-tp5875478.html Sent from the France mailing list archive at Nabble.com. ___ Talk-fr mailing list Talk-fr@openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-fr
