Re: [Talk-us] Great Lakes missing after osmosis update (diffs installation)
Thanks for responding Kevin, Actually I have the issue after daily updating the whole planet. But effectively, I don’t have that issue when I use only Ontario province or all Canada with geofabric daily updates… Only with the whole planet daily update…. (same issue with hourly and minutely updates). I am using a 32-cores server with 62 GB RAM and 1.4TB SSD. ALL: Am I the only one downloading the whole planet and trying to daily update it successfully? Please share your experience if you update the whole planet daily, hourly or minutely… Thanks, Michel From: kevin.b.ke...@gmail.com [mailto:kevin.b.ke...@gmail.com] On Behalf Of Kevin Kenny Sent: October 3, 2017 13:49 To: Pilon, Michel (SSC/SPC) <michel.pi...@canada.ca> Cc: talk-us@openstreetmap.org Subject: Re: [Talk-us] Great Lakes missing after osmosis update (diffs installation) On Tue, Oct 3, 2017 at 1:31 PM, Pilon, Michel (SSC/SPC) <michel.pi...@canada.ca<mailto:michel.pi...@canada.ca>> wrote: Have you gotten a chance to validate the coastlines of the Great Lakes during the last weekend? You’re the only one who responded to my “help” request…. Oops, sorry, I thought I'd sent a reply. I found one self-intersection on Lake Michigan and fixed it. Aside from that, there didn't seem to be any problems, and the Great Lakes render all right on my machine. (Even before the fix, they were rendering all right.) I'm not a Mapnik maintainer, nor a really sophisticated user, so I'm not certain what might be amiss. Could it be that you had a failed import of diffs that broke something? (In which case, there might be no alternative to rerunning osm2pgsql from a planet export.) Does your app need up-to-the-minute global data? I usually run with just North America from geofabrik, and only use geofabrik's daily diffs. I started out trying to maintain a mirror with minutely diffs, and it was kind of a nightmare. If anything went wrong even momentarily, it struggled to catch up and eventually failed. This was with a quadcore, 32 GB main memory, 0.5 TB SSD / 4 TB RAID0+1. It may have been bandwidth limited, but I think it was more that you need a bigger cache than I could give it. That's a big database to try to synchronize remotely. Otherwise, I'm kind of out of ideas. Maybe others who hear this message can help more. ___ Talk-us mailing list Talk-us@openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-us
Re: [Talk-us] Great Lakes missing after osmosis update (diffs installation)
Hello Kevin, Have you gotten a chance to validate the coastlines of the Great Lakes during the last weekend? You’re the only one who responded to my “help” request…. Thanks, Michel From: kevin.b.ke...@gmail.com [mailto:kevin.b.ke...@gmail.com] On Behalf Of Kevin Kenny Sent: September 28, 2017 16:37 To: Pilon, Michel (SSC/SPC) <michel.pi...@canada.ca> Cc: talk-us@openstreetmap.org Subject: Re: [Talk-us] Great Lakes missing after osmosis update (diffs installation) On Thu, Sep 28, 2017 at 1:23 PM, Pilon, Michel (SSC/SPC) <michel.pi...@canada.ca<mailto:michel.pi...@canada.ca>> wrote: Hello all, I am in the process of putting in place a local OSM server. Last Thursday September 21st I populated my PostGIS database using the following command: osm2pgsql --create --slim --flat-nodes /data/osm/pgload/flat_nodes.bin \ -C 27000 --number-processes 8 --hstore \ --style /data/osm/openstreetmap-carto-3.2.0/openstreetmap-carto.style \ --multi-geometry /data/osm/new_planet-latest.osm.pbf Once done I verified the slippymap and I can see correctly all the Canadian/US Great Lakes. So I applied the daily updates on the data using osmosis (daily diff). Once completed, everything looks good EXCEPT that there is no more water on Great Lakes except Lac Érié and Ontario for ALL ZOOM LEVELS. Superior, Michigan and Huron Lakes just disappeared! For the update process, I am using /usr/bin/openstreetmap-tiles-update-expire with the followng options for osm2pgsql command: OSM2PGSQL_OPTIONS="--number-processes 8 --hstore -C 27000 --style /data/osm/openstreetmap-carto-3.2.0/openstreetmap-carto.style --multi-geometry" I am using mapnik with openstreetmap-carto stylesheets. I am really stuck and need help as I tried it 3 times, always with the result of Lakes disappearing for all zoom levels… ☹ Any ideas??? Thanks in advanced for your very appreciated help…. Someone probably broke the coastline again. It's easy to goof when editing the lake shore. I don't have time to look into it right now, I can try on the weekend if someone else doesn't fix it first. (And, I confess, I've broken the lake shore of Lake Ontario at least once. I fixed it promptly once I realized the problem.) ___ Talk-us mailing list Talk-us@openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-us
[Talk-us] Great Lakes missing after osmosis update (diffs installation)
Hello all, I am in the process of putting in place a local OSM server. Last Thursday September 21st I populated my PostGIS database using the following command: osm2pgsql --create --slim --flat-nodes /data/osm/pgload/flat_nodes.bin \ -C 27000 --number-processes 8 --hstore \ --style /data/osm/openstreetmap-carto-3.2.0/openstreetmap-carto.style \ --multi-geometry /data/osm/new_planet-latest.osm.pbf Once done I verified the slippymap and I can see correctly all the Canadian/US Great Lakes. So I applied the daily updates on the data using osmosis (daily diff). Once completed, everything looks good EXCEPT that there is no more water on Great Lakes except Lac Érié and Ontario for ALL ZOOM LEVELS. Superior, Michigan and Huron Lakes just disappeared! For the update process, I am using /usr/bin/openstreetmap-tiles-update-expire with the followng options for osm2pgsql command: OSM2PGSQL_OPTIONS="--number-processes 8 --hstore -C 27000 --style /data/osm/openstreetmap-carto-3.2.0/openstreetmap-carto.style --multi-geometry" I am using mapnik with openstreetmap-carto stylesheets. I am really stuck and need help as I tried it 3 times, always with the result of Lakes disappearing for all zoom levels... :( Any ideas??? Thanks in advanced for your very appreciated help Michel -- Michel Pilon Conseiller technique / Technical Advisor Courriel | Email : michel.pi...@canada.ca Téléphone | Telephone : (819) 564-5600 ext. 227 Télécopieur | Fax: (819) 564-5698 50 Place de la Cité, suite 212, C.P. 162, Sherbrooke (Québec) J1H 4G9 Échange de données, solutions d'E/S E-Science | E-Science Input/Output Solutions Data Superinformatique | Super Computing Gestion des services et centres de données | Service Management and Data Centres Services partagés Canada | Shared Services Canada Gouvernement du Canada | Government of Canada ___ Talk-us mailing list Talk-us@openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-us
[OSM-talk-fr] Disparition des Grands Lacs canadiens et autres...
Bonjour à tous, Je suis en train de monter un serveur OpenStreetMap localement et j'ai un problème récurrent avec la disparition des Lacs qui sont très grands suite aux mise-a-jour des données OSM. Pour télécharger initialement la planète, la commande que j'utilise est la suivante osm2pgsql --create --slim --flat-nodes /data/osm/pgload/flat_nodes.bin \ -C 27000 --number-processes 8 --hstore --keep-coastlines \ --style /data/osm/openstreetmap-carto-3.2.0/openstreetmap-carto.style \ --multi-geometry /data/osm/new_planet-latest.osm.pbf A ce moment là, lorsque je regarde le slippymap, je tous les grands lacs sont bien présents. Par exemple au Canada, dans la région de Toronto, nous avons les Grands Lacs suivants : ·Ontario ·Michigan ·Supérieur ·Huron ·Érié J'utilise alors osmosis pour effectuer les mises a jour quotidiennes. Une fois complété, tout est beau à l'exception que je n'ai plus les Lacs Michigan, Supérier et Huron. Ontario et Érié sont encore présent (pour l'instant) mais je sais qu'à terme ils disparaitront aussi. Quand je dis disparaitre, je veux dire que je ne vois plus la couleur bleue pour l'eau dans le slippymap. La disparition de ces Lacs est notée sur TOUS les niveaux de zoom. Le même problème se produit également pour les Lacs Ladoga et Onega en Russie et probablement pour d'autres grands lacs dans le monde. Je suis à court d'idée et il est impératif pour mon organisation d'avoir un serveur OSM local fonctionnel. Est-ce que quelqu'un aurait une idée? Je dois avouer que je commence tout juste à me familiariser avec OSM. A part ca, tout fonctionne bien, incluant les mise a jour mais je dois ABSOLUMENT résoudre ce problème de grands lacs qui disparaissent apres une mise a jour des données OSM. Merci encore pour votre aide bien appréciée :) Michel Québec, Canada. -- Michel Pilon Conseiller technique / Technical Advisor Courriel | Email : michel.pi...@canada.ca Téléphone | Telephone : (819) 564-5600 ext. 227 Télécopieur | Fax: (819) 564-5698 50 Place de la Cité, suite 212, C.P. 162, Sherbrooke (Québec) J1H 4G9 Échange de données, solutions d'E/S E-Science | E-Science Input/Output Solutions Data Superinformatique | Super Computing Gestion des services et centres de données | Service Management and Data Centres Services partagés Canada | Shared Services Canada Gouvernement du Canada | Government of Canada ___ Talk-fr mailing list Talk-fr@openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-fr
[Talk-ca] Great Lakes disappearing again!
Hello all, I already asked that question in the past but I still have the issue. Objective: To have an operational OSM server. Last Thursday September 21st I populate my PostGIS database using the following command: osm2pgsql --create --slim --flat-nodes /data/osm/pgload/flat_nodes.bin \ -C 27000 --number-processes 8 --hstore --keep-coastlines \ --style /data/osm/openstreetmap-carto-3.2.0/openstreetmap-carto.style \ --multi-geometry /data/osm/new_planet-latest.osm.pbf This morning I verified the slippymap and I can see correctly all the Great Lakes. So I applied the daily updates on the data using osmosis. Once completed, everything looks good EXCEPT that there is no more water on Great Lakes except Lac Érié and Ontario for ALL ZOOM LEVELS. Superior Lake, Michigan and Huron just disappeared! I am really stuck and need help Could it be related to the stylesheet I am using? Which stylesheet do you recommend me to use if you think it can be related? Any ideas??? Thanks, Michel ___ Talk-ca mailing list Talk-ca@openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-ca
Re: [Talk-ca] Where are the Great Lakes?
Thanks for your help Stewart.
But my issue is that all Great Lakes (except Lac Érié) are not rendered event
at low zooms as you can see below :-/
I installed the whole planet 3 weeks ago and apply minute changes. I also
pregenerated tiles for level 0 to 10 with the command render-list.
As you can see in the attachment smaller lakes appeard but all Great Lakes are
not shown even at high level zooms (except Érié).
I am wandering if my options for osm2pgsql during updates can cause the issue?
OSM2PGSQL_OPTIONS="--number-processes 8 --hstore --keep-coastlines -C 27000
--multi-geometry"
As I said I am new with OSM and here is what I did (roughly):
·Install OSM on ubuntu 16.04
·wget -c http://planet.openstreetmap.org/pbf/planet-latest.osm.pbf
·osmupdate planet-latest.osm.pbf new_planet-latest.osm.pbf
·osm2pgsql --create --slim --flat-nodes /data/osm/pgload/flat_nodes.bin
\
-C 27000 --number-processes 8 --hstore --keep-coastlines \
--style /data/osm/openstreetmap-carto-3.2.0/openstreetmap-carto.style \
--multi-geometry /data/osm/new_planet-latest.osm.pbf
·Install mod_tile
·Install fonts-noto
·Configure stylesheet (mapnik)
·Configure renderd
·Pre-render tiles level 0 to 10 using render-list
·Do minute updates by using /usr/bin/openstreetmap-tiles-update-expire
Everything works well except the fact that I lost big lakes at ALL levels.
Any clue/hints? Is there something I did wrong? A step I missed?
I have another server where I installed a new fresh OSM implementation 3 days
ago where I did not implement updates and I can see actually the Big Lakes for
all level except, as you said at low zoom levels.
Thanks you very much for helping….
Michel
-Original Message-
From: Stewart C. Russell [mailto:scr...@gmail.com]
Sent: August 1, 2017 16:31
To: talk-ca@openstreetmap.org<mailto:talk-ca@openstreetmap.org>
Subject: Re: [Talk-ca] Where are the Great Lakes?
On 2017-08-01 04:21 PM, Pilon, Michel (SSC/SPC) wrote:
>
> But at my surprise today I realize that the Great Lakes are not there
> anymore for all zoom levels!
“The Great Lakes were tagged as natural=coastline, even though that is for the
ocean, because the coastline ways are rendered at low zoom levels. They were
changed to water=lake and as a result disappeared from the default map layer.
The correct fix is to teach the default stylesheet how to render lakes at low
zoom levels.”
— https://wiki.openstreetmap.org/wiki/Tagging_for_the_renderer#Examples
Basically, they're tagged as lakes. But the arbitrary decision to not render
lakes when zoomed out ('cos typically lakes are small, compared to countries)
leads to them not being drawn. It's okay, all is well.
Don't try to retag them.
Stewart
___
Talk-ca mailing list
Talk-ca@openstreetmap.org<mailto:Talk-ca@openstreetmap.org>
https://lists.openstreetmap.org/listinfo/talk-ca
___
Talk-ca mailing list
Talk-ca@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-ca
[Talk-ca] Where are the Great Lakes?
Hello all, It is my first post here and I must say that I am a newbie with OpenStreetMap. Actually I am trying to build my own OSM server and up to now everything worked well (on Ubuntun 16.04). The command I used for populating the posgis database is : osm2pgsql --create --slim --flat-nodes /data/osm/pgload/flat_nodes.bin \ -C 27000 --number-processes 8 --hstore --keep-coastlines \ --style /data/osm/openstreetmap-carto-3.2.0/openstreetmap-carto.style \ --multi-geometry /data/osm/new_planet-latest.osm.pbf And if I remember well, the Great Lakes just showed correctly. I started the minute update for several days with those options: OSM2PGSQL_OPTIONS="--number-processes 8 --hstore --keep-coastlines -C 27000 --multi-geometry" But at my surprise today I realize that the Great Lakes are not there anymore for all zoom levels! Smaller lakes are still be visible but not large ones! Any idea how to fix this? And why that happened? Thanks a lot, Michel ___ Talk-ca mailing list Talk-ca@openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-ca
Re: [OSM-talk-fr] Combien long pour updater la planète?
Un gros merci Christian pour ces informations fort pertinentes. Mon serveur est un Blade HP roulant 16 cores (AMD Opteron(TM) Processor 6220) avec 48 GB RAM. Je roule Ubuntu 14.04 avec postgresql 9.3 et PosGIS 2.1.2 J’ai roulé pgtune sur mon serveur et les valeurs importantes m’indiquent : -maintenance_work_mem = 1GB # pgtune wizard 2016-12-19 -effective_cache_size = 32GB # pgtune wizard 2016-12-19 -work_mem = 288MB # pgtune wizard 2016-12-19 -shared_buffers = 11GB # pgtune wizard 2016-12-19 -max_connections = 80 # pgtune wizard 2016-12-19 J’utilises le stack osmosis/osm2pgsql. Le style utilisé est openstreetmap-carto et j’ai créé les indexes recommandé pour ce style en plus de downloader les shapefiles. Mais effectivement, mon problème est les I/O. Lorsque je roule iostat –xm 5 je vois les disques utilisés à 100% Même chose pour le rendering qui n’est pas performant d’ailleurs… Je me pose la question pour les updates je n’ai pas besoin d’upgrader à la minute ou aux heures et je me disais qu’un upgrade par jour générerait moins de traffic global (que je roulerait la nuit). Mais il ne faudrait pas que mon serveur passe la moitié de la journée à upgrader. Est-ce que mon raisonnement est bon ou devrais-je en plus envisager des mises à jour aux minutes? Merci encore pour ton aide vraiment appréciée ! Michel Québec, Canada. From: Christian Quest [mailto:cqu...@openstreetmap.fr] Sent: December 19, 2016 16:15 To: Discussions sur OSM en français Subject: Re: [OSM-talk-fr] Combien long pour updater la planète? Je n'ai jamais utilisé de SAN, et l'autre facteur important c'est la RAM pour le cache. Il n'y a pas de miracle, de vrais disques rapides (SSD) et de la RAM... c'est ce qu'il faut pour une base monde si on veut faire du rendu qui tienne la route. Le prochain serveur de tuiles d'OSM-FR a 4 disques SSD de 800Go et 128Go de RAM... et les optimisations sont toujours indispensables ! Postgres 9.6 est aussi un sacré bon en avant avec son fonctionnement en multithread sur les grosses requêtes. Bref, il y a beaucoup d'éléments qui rentrent en ligne de compte: - le hardware (CPU, RAM et stockage plus ou moins rapide avec plus ou moins de latence) - le software: quels versions de chaque composant de la stack, quel paramétrage - osm2pgsql ou imposm3 ? (plusieurs jours pour l'import, je pense que c'est osm2pgsql) - quel style pour le fichier lua d'import... ça ralentit pas mal aussi - beaucoup d'index ou juste ceux de base ? etc... Les temps d'import/update sont une chose mais les temps pour faire le rendu c'est au final encore plus important car c'est bien ça l'usage final, non ? Le 19 décembre 2016 à 21:49, Pilon, Michel (SSC/SPC) <michel.pi...@canada.ca<mailto:michel.pi...@canada.ca>> a écrit : Bonjour Christian, Merci pour ta réponse. Je sais que j’ai un problème d’I/O (disque SAN non local et non SSD) mais je voudrais savoir à quoi m’attendre réellement afin de déterminer si je regarde pour acquérir des disques locaux SSD. Extrapoler une journée entière à partir d’update de 5 minutes induit une marge d’erreur qui peut être assez grande selon moi. Est-ce que quelqu’un d’autres upgrade la planète quotidiennement? Combien de temps cela vous prend-il? Bye, Michel From: Christian Quest [mailto:cqu...@openstreetmap.fr<mailto:cqu...@openstreetmap.fr>] Sent: December 19, 2016 15:42 To: Discussions sur OSM en français Subject: Re: [OSM-talk-fr] Combien long pour updater la planète? Je ne fais pas de daily update sur les serveurs osm-fr, mais des updates toutes les 5mn et ils prennent environ 10s pour 300s soit un facteur de 1/30. En extrapolant sur 24h, ça devrait prendre moins de 1h/jour. Tout dépend de la configuration hardware (et software) de ton serveur. Le 19 décembre 2016 à 20:52, Pilon, Michel (SSC/SPC) <michel.pi...@canada.ca<mailto:michel.pi...@canada.ca>> a écrit : Bonjour à tous, Ceci est mon premier envoi à cette liste. Corrigez-moi d’ailleurs si ma question devrait être envoyée à une autre liste de courriels. Je viens d’installer OSM sur un de mes serveurs. Cela a pris plusieurs jours pour peupler la BD postgreSQL (sans surprise). Pas contre je suis en train de tester l’upgrade journalier de la BD à partir de fichier diffs. Cela a pris 9 heures pour mettre à jour la BD en date du 21 novembre passée (daily diff). Je trouve cela très long et je voudrais, dans un premier temps, savoir combien de temps cela vous prend-il pour faire un « daily update » de la planète? Merci encore pour votre aide bien appréciée ☺ Michel Canada. ___ Talk-fr mailing list Talk-fr@openstreetmap.org<mailto:Talk-fr@openstreetmap.org> https://lists.openstreetmap.org/listinfo/talk-fr -- Christian Quest - OpenStreetMap France ___ Talk-fr mailing list Talk-fr@openstreetmap.org<
Re: [OSM-talk-fr] Combien long pour updater la planète?
Bonjour Christian, Merci pour ta réponse. Je sais que j’ai un problème d’I/O (disque SAN non local et non SSD) mais je voudrais savoir à quoi m’attendre réellement afin de déterminer si je regarde pour acquérir des disques locaux SSD. Extrapoler une journée entière à partir d’update de 5 minutes induit une marge d’erreur qui peut être assez grande selon moi. Est-ce que quelqu’un d’autres upgrade la planète quotidiennement? Combien de temps cela vous prend-il? Bye, Michel From: Christian Quest [mailto:cqu...@openstreetmap.fr] Sent: December 19, 2016 15:42 To: Discussions sur OSM en français Subject: Re: [OSM-talk-fr] Combien long pour updater la planète? Je ne fais pas de daily update sur les serveurs osm-fr, mais des updates toutes les 5mn et ils prennent environ 10s pour 300s soit un facteur de 1/30. En extrapolant sur 24h, ça devrait prendre moins de 1h/jour. Tout dépend de la configuration hardware (et software) de ton serveur. Le 19 décembre 2016 à 20:52, Pilon, Michel (SSC/SPC) <michel.pi...@canada.ca<mailto:michel.pi...@canada.ca>> a écrit : Bonjour à tous, Ceci est mon premier envoi à cette liste. Corrigez-moi d’ailleurs si ma question devrait être envoyée à une autre liste de courriels. Je viens d’installer OSM sur un de mes serveurs. Cela a pris plusieurs jours pour peupler la BD postgreSQL (sans surprise). Pas contre je suis en train de tester l’upgrade journalier de la BD à partir de fichier diffs. Cela a pris 9 heures pour mettre à jour la BD en date du 21 novembre passée (daily diff). Je trouve cela très long et je voudrais, dans un premier temps, savoir combien de temps cela vous prend-il pour faire un « daily update » de la planète? Merci encore pour votre aide bien appréciée ☺ Michel Canada. ___ Talk-fr mailing list Talk-fr@openstreetmap.org<mailto:Talk-fr@openstreetmap.org> https://lists.openstreetmap.org/listinfo/talk-fr -- Christian Quest - OpenStreetMap France ___ Talk-fr mailing list Talk-fr@openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-fr
[OSM-talk-fr] Combien long pour updater la planète?
Bonjour à tous, Ceci est mon premier envoi à cette liste. Corrigez-moi d'ailleurs si ma question devrait être envoyée à une autre liste de courriels. Je viens d'installer OSM sur un de mes serveurs. Cela a pris plusieurs jours pour peupler la BD postgreSQL (sans surprise). Pas contre je suis en train de tester l'upgrade journalier de la BD à partir de fichier diffs. Cela a pris 9 heures pour mettre à jour la BD en date du 21 novembre passée (daily diff). Je trouve cela très long et je voudrais, dans un premier temps, savoir combien de temps cela vous prend-il pour faire un « daily update » de la planète? Merci encore pour votre aide bien appréciée :) Michel Canada. ___ Talk-fr mailing list Talk-fr@openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-fr
