Re: [OSM-talk-fr] OSRM données prêtes en téléchargement
Bonjour,
je ne me suis pas encore intéressé de prêt au routage mais il existe des
outils de filtrages de données OSM.
J'avais commencé à répondre Osmosis
<https://wiki.openstreetmap.org/wiki/FR:Osmosis> et j'allais ajouter
Osmfilter <https://wiki.openstreetmap.org/wiki/Osmfilter> quand j'ai
reçu le message de Frédéric.
imposm3 te permet d'ingérer efficacement des données brutes osm (en
osm.pbf, c'est plus efficace que le xml de base), tu as besoin d'un
fichier mapping.yml dans lequel tu dis ce que tu fais des différents
types d'informations.
Je te conseille de partir du rendu Lyrk (tu vas par exemple supprimer la
table osm_rail).
Attention, c'est une structure optimisée pour le rendu, je ne sais si ça
pet être adapté à du graphe (je doute) mais tu peux peut-être réexporter.
Mais comme dit Frédéric, "Maps.me utilise des extracts par département
avec un OSRM par département et rajoute une sur couche pour naviguer
entre les départements." ou Bouter prend des carreaux géographiques.
Car pour aller d'un endroit à un autre s'il y a une frontière arbitraire
entre le point A et le point B, tu vas du point A à la frontière et du
point frontière au point B.
Sauf que là la frontière est arbitraire (elle peut aussi l'être pour des
frontières physiques) et tu ne perds pas de temps avec des visas,
passeports et autres.
Je dis ça car j'ai appris que le futur président des États-Unis était un
amateur de cartes.
Pour OSRM monde, tu peux passer commande au Père Noël (ou Santa Klaus,
ça arrivera plus tôt) de beaucoup de RAM.
Et si tu n'en a pas assez, ajoute un gros disque SSD comme ça en cas de
besoins ça RAMera moins.
Si je disais OSMAND, c'est que les données sont préparées, que le code
est ouvert et qu'il font du routage sur téléphone (donc avec des besoins
mémoire réduits). Un résultat performant alors que c'est écrit en Java.
Je suppose que c'est un moteur elastic search.
Maps.me est aussi open source : https://github.com/mapsme/omim
"Copyright (C) 2015 My.com B.V. (Mail.Ru Group), published under Apache
Public License 2.0, except third-party libraries." Ca c'est si tu
préfère voir du C++.
Jean-Yvon
Le 11/11/2016 à 10:39, damien - dawa...@gmail.com a écrit :
Merci pour l'info Jean-Yvon, mais je ne crois pas que ça ne conviendra
pas.
Par contre, comme les données de base sont en XML, il doit y avoir un
moyen de les filtrer pour en éliminer ce qui ne sert pas au routing
(par exemple les chemins de fer, les restaurants, etc.) afin d'obtenir
un fichier plus léger a ensuite faire parser par OSRM.
Il existe un tel outil ou il faut le faire soit-même ?
Damien
Message: 4
Date: Wed, 9 Nov 2016 20:18:47 +0100
From: osm.sanspourr...@spamgourmet.com
<mailto:osm.sanspourr...@spamgourmet.com>
To: talk-fr@openstreetmap.org <mailto:talk-fr@openstreetmap.org>
Subject: Re: [OSM-talk-fr] OSRM données prêtes en téléchargement
Message-ID: <52bcbbd0-d972-97a0-e630-03c50b24b...@gmx.net
<mailto:52bcbbd0-d972-97a0-e630-03c50b24b...@gmx.net>>
Content-Type: text/plain; charset="utf-8"; Format="flowed"
Regarde peut-être du côté d'OSMAND qui permet de faire du routage
sur le
mobile (sans connexion). Avec par exemple brouter spécialisé vélo
(brouter comme bike router) sachant que le moteur voiture est
embarqué.
Pas forcément la réponse à ta question mais à ton problème.
Grosso modo on a besoin des données OSM sous forme de graphe valorisé
par un coût, souvent proportionnel à la durée d'un endroit à l'autre
avec le mode de calcul.
Là ce sera par tuile pour brouter.
Attention, je ne sais si le serveur accepte un téléchargement massif.
Peut-être ont-ils des moyens de production de ces tuiles suffisamment
efficaces.
Jean-Yvon
Le 09/11/2016 à 18:35, damien - dawa...@gmail.com
<mailto:dawa...@gmail.com> a écrit :
> Merci Julien pour la réponse,
> C'est bien dommage que l'extraction ne permette pas un export en XML
> par exemple.
> Je vais devoir trouver un moyen de faire tourner un programme trop
> gourmand en ressources sur un serveur trop petit.
> Damien
>
>
>
> Date: Wed, 9 Nov 2016 10:51:23 +0100
> From: Julien Coupey <jul...@coupey.fr
<mailto:jul...@coupey.fr> <mailto:jul...@coupey.fr
<mailto:jul...@coupey.fr>>>
> To: talk-fr@openstreetmap.org
<mailto:talk-fr@openstreetmap.org> <mailto:talk-fr@openstreetmap.org
<mailto:talk-fr@openstreetmap.org>>
> Subject: Re: [OSM-talk-fr] OSRM données prêtes en téléchargement
> Message-ID: <ef3a75bf-29ee-6012-f6eb-70599f3a0...@coupey.fr
<mailto:ef3a75bf-29ee-6012-f6eb-70599f3a0...@coupey.fr>
> <mailto:ef3a75bf-29ee-6012-f6eb-70599f3a0...@coupey.fr
<mailto:ef3a75b
Re: [OSM-talk-fr] OSRM données prêtes en téléchargement
Salut Tu peux utiliser osmfilter pour ne garder que ce qui est intéressant pour le routage. Ça aura un impact sur le temps d'extraction (moins de travail de parsing pour OSRM) mais ne devrait pas changer significativement les besoins en RAM, car ces éléments « inutiles » sont de toute façon déjà écartés dans la construction du graphe. La solution pour travailler avec OSRM sur de grosses données, c'est de la RAM (beaucoup), de la swap et un gros fichier alloué à la librairie stxxl. En pratique, pas mal de gens font faire ces calculs dans des instances de machines AWS pour cette raison. À + Julien Le 11/11/2016 à 10:39, damien a écrit : Merci pour l'info Jean-Yvon, mais je ne crois pas que ça ne conviendra pas. Par contre, comme les données de base sont en XML, il doit y avoir un moyen de les filtrer pour en éliminer ce qui ne sert pas au routing (par exemple les chemins de fer, les restaurants, etc.) afin d'obtenir un fichier plus léger a ensuite faire parser par OSRM. Il existe un tel outil ou il faut le faire soit-même ? Damien Message: 4 Date: Wed, 9 Nov 2016 20:18:47 +0100 From: osm.sanspourr...@spamgourmet.com <mailto:osm.sanspourr...@spamgourmet.com> To: talk-fr@openstreetmap.org <mailto:talk-fr@openstreetmap.org> Subject: Re: [OSM-talk-fr] OSRM données prêtes en téléchargement Message-ID: <52bcbbd0-d972-97a0-e630-03c50b24b...@gmx.net <mailto:52bcbbd0-d972-97a0-e630-03c50b24b...@gmx.net>> Content-Type: text/plain; charset="utf-8"; Format="flowed" Regarde peut-être du côté d'OSMAND qui permet de faire du routage sur le mobile (sans connexion). Avec par exemple brouter spécialisé vélo (brouter comme bike router) sachant que le moteur voiture est embarqué. Pas forcément la réponse à ta question mais à ton problème. Grosso modo on a besoin des données OSM sous forme de graphe valorisé par un coût, souvent proportionnel à la durée d'un endroit à l'autre avec le mode de calcul. Là ce sera par tuile pour brouter. Attention, je ne sais si le serveur accepte un téléchargement massif. Peut-être ont-ils des moyens de production de ces tuiles suffisamment efficaces. Jean-Yvon Le 09/11/2016 à 18:35, damien - dawa...@gmail.com <mailto:dawa...@gmail.com> a écrit : > Merci Julien pour la réponse, > C'est bien dommage que l'extraction ne permette pas un export en XML > par exemple. > Je vais devoir trouver un moyen de faire tourner un programme trop > gourmand en ressources sur un serveur trop petit. > Damien > > > > Date: Wed, 9 Nov 2016 10:51:23 +0100 > From: Julien Coupey <jul...@coupey.fr <mailto:jul...@coupey.fr> <mailto:jul...@coupey.fr <mailto:jul...@coupey.fr>>> > To: talk-fr@openstreetmap.org <mailto:talk-fr@openstreetmap.org> <mailto:talk-fr@openstreetmap.org <mailto:talk-fr@openstreetmap.org>> > Subject: Re: [OSM-talk-fr] OSRM données prêtes en téléchargement > Message-ID: <ef3a75bf-29ee-6012-f6eb-70599f3a0...@coupey.fr <mailto:ef3a75bf-29ee-6012-f6eb-70599f3a0...@coupey.fr> > <mailto:ef3a75bf-29ee-6012-f6eb-70599f3a0...@coupey.fr <mailto:ef3a75bf-29ee-6012-f6eb-70599f3a0...@coupey.fr>>> > Content-Type: text/plain; charset=utf-8; format=flowed > > Bonjour > > Le problème est que le format actuel des fichiers extraits ne présente > aucune garantie de portabilité. La façon dont les données sont > "dumpées" > dans ces fichiers peut dépendre de l'OS, des versions des librairies > utilisées et change également largement à chaque version d'OSRM. > > Conclusion : ça *peut* fonctionner en pratique pour une version donnée > d'OSRM de faire l'extraction/contraction sur une machine et le routage > sur une autre, mais rien n'est certain... > > Plus d'infos sur les travaux en cours à ce sujet : > > https://github.com/Project-OSRM/osrm-backend/issues/2242 <https://github.com/Project-OSRM/osrm-backend/issues/2242> > <https://github.com/Project-OSRM/osrm-backend/issues/2242 <https://github.com/Project-OSRM/osrm-backend/issues/2242>> > > À + > Julien > > Le 09/11/2016 à 10:41, damien a écrit : > > Bonjour, > > Je me demandais s'il existait des données prêtes à l'emploi pour > OSRM, > > c'est à dire déjà extraites. > > En effet, après un test d'extraction sur un serveur de puissance > > moyenne, le parsing à pris environ 6h et l'extraction a plantée > > rapidement après pour ca
Re: [OSM-talk-fr] OSRM données prêtes en téléchargement
Clairement le volume des données OSRM ne contient pas à de l'XML. As-tu pensé à ajouter un swapfile sur ta machine ? Le phase de préparation des données est celle qui à besoin du plus de mémoire. Pour filtrer il y osmosis ou osmfilter. Je ne suis pas sûr qu'un pré-filtrage change quelque chose, OSRM fait déjà un filtre pendant l'extract. Maps.me utilise des extracts par département avec un OSRM par département et rajoute une sur couche pour naviguer entre les départements. Frédéric. Le 11/11/2016 à 10:39, damien a écrit : Merci pour l'info Jean-Yvon, mais je ne crois pas que ça ne conviendra pas. Par contre, comme les données de base sont en XML, il doit y avoir un moyen de les filtrer pour en éliminer ce qui ne sert pas au routing (par exemple les chemins de fer, les restaurants, etc.) afin d'obtenir un fichier plus léger a ensuite faire parser par OSRM. Il existe un tel outil ou il faut le faire soit-même ? Damien Message: 4 Date: Wed, 9 Nov 2016 20:18:47 +0100 From: osm.sanspourr...@spamgourmet.com <mailto:osm.sanspourr...@spamgourmet.com> To: talk-fr@openstreetmap.org <mailto:talk-fr@openstreetmap.org> Subject: Re: [OSM-talk-fr] OSRM données prêtes en téléchargement Message-ID: <52bcbbd0-d972-97a0-e630-03c50b24b...@gmx.net <mailto:52bcbbd0-d972-97a0-e630-03c50b24b...@gmx.net>> Content-Type: text/plain; charset="utf-8"; Format="flowed" Regarde peut-être du côté d'OSMAND qui permet de faire du routage sur le mobile (sans connexion). Avec par exemple brouter spécialisé vélo (brouter comme bike router) sachant que le moteur voiture est embarqué. Pas forcément la réponse à ta question mais à ton problème. Grosso modo on a besoin des données OSM sous forme de graphe valorisé par un coût, souvent proportionnel à la durée d'un endroit à l'autre avec le mode de calcul. Là ce sera par tuile pour brouter. Attention, je ne sais si le serveur accepte un téléchargement massif. Peut-être ont-ils des moyens de production de ces tuiles suffisamment efficaces. Jean-Yvon Le 09/11/2016 à 18:35, damien - dawa...@gmail.com <mailto:dawa...@gmail.com> a écrit : > Merci Julien pour la réponse, > C'est bien dommage que l'extraction ne permette pas un export en XML > par exemple. > Je vais devoir trouver un moyen de faire tourner un programme trop > gourmand en ressources sur un serveur trop petit. > Damien > > > > Date: Wed, 9 Nov 2016 10:51:23 +0100 > From: Julien Coupey <jul...@coupey.fr <mailto:jul...@coupey.fr> <mailto:jul...@coupey.fr <mailto:jul...@coupey.fr>>> > To: talk-fr@openstreetmap.org <mailto:talk-fr@openstreetmap.org> <mailto:talk-fr@openstreetmap.org <mailto:talk-fr@openstreetmap.org>> > Subject: Re: [OSM-talk-fr] OSRM données prêtes en téléchargement > Message-ID: <ef3a75bf-29ee-6012-f6eb-70599f3a0...@coupey.fr <mailto:ef3a75bf-29ee-6012-f6eb-70599f3a0...@coupey.fr> > <mailto:ef3a75bf-29ee-6012-f6eb-70599f3a0...@coupey.fr <mailto:ef3a75bf-29ee-6012-f6eb-70599f3a0...@coupey.fr>>> > Content-Type: text/plain; charset=utf-8; format=flowed > > Bonjour > > Le problème est que le format actuel des fichiers extraits ne présente > aucune garantie de portabilité. La façon dont les données sont > "dumpées" > dans ces fichiers peut dépendre de l'OS, des versions des librairies > utilisées et change également largement à chaque version d'OSRM. > > Conclusion : ça *peut* fonctionner en pratique pour une version donnée > d'OSRM de faire l'extraction/contraction sur une machine et le routage > sur une autre, mais rien n'est certain... > > Plus d'infos sur les travaux en cours à ce sujet : > > https://github.com/Project-OSRM/osrm-backend/issues/2242 <https://github.com/Project-OSRM/osrm-backend/issues/2242> > <https://github.com/Project-OSRM/osrm-backend/issues/2242 <https://github.com/Project-OSRM/osrm-backend/issues/2242>> > > À + > Julien > > Le 09/11/2016 à 10:41, damien a écrit : > > Bonjour, > > Je me demandais s'il existait des données prêtes à l'emploi pour > OSRM, > > c'est à dire déjà extraites. > > En effet, après un test d'extraction sur un serveur de puissance > > moyenne, le parsing à pris environ 6h et l'extraction a plantée > > rapidement après pour cause de limite de mémoire RAM. > > Ce serait tellement pratique que les données extraites soient > mises à > > disposition en téléchargement. > > Merci de vos réponses > > Damien ___ Talk-fr mailing list Talk-fr@openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-fr
[OSM-talk-fr] OSRM données prêtes en téléchargement
Merci pour l'info Jean-Yvon, mais je ne crois pas que ça ne conviendra pas. Par contre, comme les données de base sont en XML, il doit y avoir un moyen de les filtrer pour en éliminer ce qui ne sert pas au routing (par exemple les chemins de fer, les restaurants, etc.) afin d'obtenir un fichier plus léger a ensuite faire parser par OSRM. Il existe un tel outil ou il faut le faire soit-même ? Damien > Message: 4 > Date: Wed, 9 Nov 2016 20:18:47 +0100 > From: osm.sanspourr...@spamgourmet.com > To: talk-fr@openstreetmap.org > Subject: Re: [OSM-talk-fr] OSRM données prêtes en téléchargement > Message-ID: <52bcbbd0-d972-97a0-e630-03c50b24b...@gmx.net> > Content-Type: text/plain; charset="utf-8"; Format="flowed" > > Regarde peut-être du côté d'OSMAND qui permet de faire du routage sur le > mobile (sans connexion). Avec par exemple brouter spécialisé vélo > (brouter comme bike router) sachant que le moteur voiture est embarqué. > > Pas forcément la réponse à ta question mais à ton problème. > > Grosso modo on a besoin des données OSM sous forme de graphe valorisé > par un coût, souvent proportionnel à la durée d'un endroit à l'autre > avec le mode de calcul. > > Là ce sera par tuile pour brouter. > > Attention, je ne sais si le serveur accepte un téléchargement massif. > Peut-être ont-ils des moyens de production de ces tuiles suffisamment > efficaces. > > Jean-Yvon > > > Le 09/11/2016 à 18:35, damien - dawa...@gmail.com a écrit : > > Merci Julien pour la réponse, > > C'est bien dommage que l'extraction ne permette pas un export en XML > > par exemple. > > Je vais devoir trouver un moyen de faire tourner un programme trop > > gourmand en ressources sur un serveur trop petit. > > Damien > > > > > > > > Date: Wed, 9 Nov 2016 10:51:23 +0100 > > From: Julien Coupey <jul...@coupey.fr <mailto:jul...@coupey.fr>> > > To: talk-fr@openstreetmap.org <mailto:talk-fr@openstreetmap.org> > > Subject: Re: [OSM-talk-fr] OSRM données prêtes en téléchargement > > Message-ID: <ef3a75bf-29ee-6012-f6eb-70599f3a0...@coupey.fr > > <mailto:ef3a75bf-29ee-6012-f6eb-70599f3a0...@coupey.fr>> > > Content-Type: text/plain; charset=utf-8; format=flowed > > > > Bonjour > > > > Le problème est que le format actuel des fichiers extraits ne > présente > > aucune garantie de portabilité. La façon dont les données sont > > "dumpées" > > dans ces fichiers peut dépendre de l'OS, des versions des librairies > > utilisées et change également largement à chaque version d'OSRM. > > > > Conclusion : ça *peut* fonctionner en pratique pour une version > donnée > > d'OSRM de faire l'extraction/contraction sur une machine et le > routage > > sur une autre, mais rien n'est certain... > > > > Plus d'infos sur les travaux en cours à ce sujet : > > > > https://github.com/Project-OSRM/osrm-backend/issues/2242 > > <https://github.com/Project-OSRM/osrm-backend/issues/2242> > > > > À + > > Julien > > > > Le 09/11/2016 à 10:41, damien a écrit : > > > Bonjour, > > > Je me demandais s'il existait des données prêtes à l'emploi pour > > OSRM, > > > c'est à dire déjà extraites. > > > En effet, après un test d'extraction sur un serveur de puissance > > > moyenne, le parsing à pris environ 6h et l'extraction a plantée > > > rapidement après pour cause de limite de mémoire RAM. > > > Ce serait tellement pratique que les données extraites soient > > mises à > > > disposition en téléchargement. > > > Merci de vos réponses > > > Damien > ___ Talk-fr mailing list Talk-fr@openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] OSRM données prêtes en téléchargement
Merci Julien pour la réponse, C'est bien dommage que l'extraction ne permette pas un export en XML par exemple. Je vais devoir trouver un moyen de faire tourner un programme trop gourmand en ressources sur un serveur trop petit. Damien > Date: Wed, 9 Nov 2016 10:51:23 +0100 > From: Julien Coupey <jul...@coupey.fr> > To: talk-fr@openstreetmap.org > Subject: Re: [OSM-talk-fr] OSRM données prêtes en téléchargement > Message-ID: <ef3a75bf-29ee-6012-f6eb-70599f3a0...@coupey.fr> > Content-Type: text/plain; charset=utf-8; format=flowed > > Bonjour > > Le problème est que le format actuel des fichiers extraits ne présente > aucune garantie de portabilité. La façon dont les données sont "dumpées" > dans ces fichiers peut dépendre de l'OS, des versions des librairies > utilisées et change également largement à chaque version d'OSRM. > > Conclusion : ça *peut* fonctionner en pratique pour une version donnée > d'OSRM de faire l'extraction/contraction sur une machine et le routage > sur une autre, mais rien n'est certain... > > Plus d'infos sur les travaux en cours à ce sujet : > > https://github.com/Project-OSRM/osrm-backend/issues/2242 > > À + > Julien > > Le 09/11/2016 à 10:41, damien a écrit : > > Bonjour, > > Je me demandais s'il existait des données prêtes à l'emploi pour OSRM, > > c'est à dire déjà extraites. > > En effet, après un test d'extraction sur un serveur de puissance > > moyenne, le parsing à pris environ 6h et l'extraction a plantée > > rapidement après pour cause de limite de mémoire RAM. > > Ce serait tellement pratique que les données extraites soient mises à > > disposition en téléchargement. > > Merci de vos réponses > > Damien > > > > > > ___ > > Talk-fr mailing list > > Talk-fr@openstreetmap.org > > https://lists.openstreetmap.org/listinfo/talk-fr > > > ___ Talk-fr mailing list Talk-fr@openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] OSRM données prêtes en téléchargement
Bonjour Le problème est que le format actuel des fichiers extraits ne présente aucune garantie de portabilité. La façon dont les données sont "dumpées" dans ces fichiers peut dépendre de l'OS, des versions des librairies utilisées et change également largement à chaque version d'OSRM. Conclusion : ça *peut* fonctionner en pratique pour une version donnée d'OSRM de faire l'extraction/contraction sur une machine et le routage sur une autre, mais rien n'est certain... Plus d'infos sur les travaux en cours à ce sujet : https://github.com/Project-OSRM/osrm-backend/issues/2242 À + Julien Le 09/11/2016 à 10:41, damien a écrit : Bonjour, Je me demandais s'il existait des données prêtes à l'emploi pour OSRM, c'est à dire déjà extraites. En effet, après un test d'extraction sur un serveur de puissance moyenne, le parsing à pris environ 6h et l'extraction a plantée rapidement après pour cause de limite de mémoire RAM. Ce serait tellement pratique que les données extraites soient mises à disposition en téléchargement. Merci de vos réponses Damien ___ Talk-fr mailing list Talk-fr@openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-fr ___ Talk-fr mailing list Talk-fr@openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-fr
[OSM-talk-fr] OSRM données prêtes en téléchargement
Bonjour, Je me demandais s'il existait des données prêtes à l'emploi pour OSRM, c'est à dire déjà extraites. En effet, après un test d'extraction sur un serveur de puissance moyenne, le parsing à pris environ 6h et l'extraction a plantée rapidement après pour cause de limite de mémoire RAM. Ce serait tellement pratique que les données extraites soient mises à disposition en téléchargement. Merci de vos réponses Damien ___ Talk-fr mailing list Talk-fr@openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-fr
