[OSM-talk-fr] [ortho] serveur scratch osm.tetaneutral.net
Bonjour, Le serveur "scratch" orthophoto pour faire des tests de dimensionnement est en place et les cles ssh root aussi (manque celle de Christian, pas reçue ?). https://pad.tetaneutral.net/p/osm << * Debian 9 stretch amd64 * Ryzen 1700 8C/16T 3 GHz * 64G de RAM (swap desactivé) * Disques 5 SSD root@h9:~# df -h Filesystem Size Used Avail Use% Mounted on /dev/sde2 165G 1.1G 164G 1% / /dev/sda962G 77M 962G 1% /scratch/t1 /dev/sdd962G 77M 962G 1% /scratch/t2 /dev/sdb110G 61M 110G 1% /scratch/s1 /dev/sdc110G 61M 110G 1% /scratch/s2 Usage des disques SSD : / => uniquement pour package et config /scratch/t1 et t2 => disques 1 TB mais avec endurance write relativement faible = 320 TBW, a utiliser pour données qui ne vont pas beaucoup bouger ou qui ne rentrent pas ailleurs /scratch/s1 et s2 => disques 120GB mais avec tres grande endurance write = 690 TBW a utiliser pour les (petites) BDD, calculs intermediaires et transformations de fichiers >> Pour le moment c'est en 1 Gbit/s donc ~ 90-100 Mo/s wget sur online et OVH, la carte 10G est dans la machine mais pas encore configurée. Sincèrement, Laurent ___ Talk-fr mailing list Talk-fr@openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] hebergement tuiles ? was: orthophoto HR 2016 de normandie
On Wed, 2017-08-16 at 10:56 +0200, Christian Quest wrote: > Bonjour Laurent, > > Je continue à explorer l'hébergement d'ortho HR qui n'est pas une > mince > affaire. > > 1) récupérer les données... c'est en partie fait pour d'autres > régions. > > 2) les retraiter... car le format JPEG2000 n'est pas très adapté à > la > diffusion, plutôt à l'archivage. > > 3) mise à disposition en WMS/WMTS/TMS... > > Pour 1, c'est de la bande passante qu'il faut et du stockage. > > Pour 2 c'est du CPU et un peu plus de stockage temporaire (SSD > bienvenus) > > Pour 3 c'est du stockage et un peu de bande passante et de CPU > > > Je voudrais finir de traiter un département pour pouvoir ensuite > extrapoler en terme de ressources nécessaires et avoir une meilleure > idée du process complet. Bonsoir Christian, Avec toi, une personne qui m'a contacté en privé et 2 inscrits sur le pad ça fait 4 :). Pour faire du scratch et avoir ensuite une idee du dimensionnement ressources je propose d'utiliser une machine physique l'association tetaneutral.net : ce lundi 20170821 on installe un Ryzen 7 1700 8 coeurs 3 GHz, 64G de RAM et 5 SSD (dont 2 de 1TB), connecté en 10 Gbit/s (debian 9 stretch). Est-ce que les interessés peuvent ajouter leur clé publique ssh sur le pad ? (ou me l'envoyer en privé en piece jointe pas en copier/coller) https://pad.tetaneutral.net/p/osm Pour les discussions en direct je suis sur OFTC #osm-fr nick guerby. pour le courriel je ne sais pas quelle liste il vaut mieux utiliser talk-fr@ avec un tag sujet genre "[ortho]", la liste technique sur http ://lists.tetaneutral.net ou une liste specifique pour ce projet ? Avis sur le pad aussi bienvenus. Merci a tou-te-s, Laurent > Le 15/08/2017 à 13:53, Laurent GUERBY a écrit : > > Bonjour, > > 100 MB pour 5x5 = 25km2 ca fait 4 MB/km2, France metropolitaine > > 551695 km2 donc ~ 2.3 TB de tuiles "TIFF compressé" ? > > > > tetaneutral.net dispose actuellement d'un cluster de 11 machines > > avec 70 TB de stockage brut (64 TB HDD et 6 TB SSD), 384G de RAM > > avec > > ceph + openstack comme logiciels (150+ KVM), et d'un peu plus de 20 > > Gbit/s de connectivié internet avec nos propres IPv4+IPv6. > > > > Il y a quelques temps l'association tetaneutral.net avait organisé > > un repas commun a Toulouse avec les benevoles OSM et nous avions > > discuté de ce sujet d'hebergement de grand volume. > > > > tetaneutral.net peut tout a fait heberger gratuitement des données > > libres qui interessent OSM (primaires ou backup), en gros la seule > > chose qui nous manque au dela de l'infrastructure decrite ci-dessus > > ce > > sont des benevoles pour installer et maintenir les logiciels > > geographiques et les données associées. > > > > Nous avons hebergé pendant quelques années le projet http://maposma > > tic. > > org (avec extract OSM maintenu en base quasi en continu a jour) > > mais > > qui s'est arreté maintenant faute de mainteneur (2 SSD de 1 TB > > chacuns > > probablement reutilisables si on demande). > > > > L'association tetaneutral.net compte plus de 500 adherent-e-s, > > est autonome financierement (sans aucune subvention ni campagne de > > don), existe depuis 2011, fait partie de la Federation FDN > > http://ffdn.org et heberge quelques chatons http://chatons.org > > > > Bref s'il y a des motivé-e-s répondre ici et/ou s'incrire : > > > > https://pad.tetaneutral.net/p/osm > > > > Sincèrement, > > > > Laurent > > AS197422 http://tetaneutral.net > > > > > > Je dis une à deux heures, mais parce que j'avais résolu les > > > > problèmes avant : je savais que faire. > > > > > > > > On pourrait imaginer un proxy OSM qui suivant la tuile choisie > > > > irait la demander à Geobretagne par exemple si c'est en > > > > Bretagne > > > > mais au CREA si c'est en Auvergne. > > > > Avec comme pour le serveur TMS cadastre le problème des zones > > > > frontalières. > > > > Car il est difficile de savoir s'il vaut mieux mettons la > > > > tuile du > > > > Mont Saint-Michel de la photo de la Bretagne ou celle de la > > > > Normandie. > > > > Je suis à proximité d'une frontière départementale et > > > > Geobretagne > > > > avait choisi la photo provenant de l'imagerie de mon > > > > département. > > > > Assez logique pourtant la qualité était moins bonne que celle > > > > du > > > > département voisin. > > > > Le problème à été résolu : nouvelles
Re: [OSM-talk-fr] hebergement tuiles ? was: orthophoto HR 2016 de normandie
On Fri, 2017-07-21 at 11:49 +0200, Christian Quest wrote: > > > Le 21/07/2017 à 01:31, osm.sanspourr...@spamgourmet.com a écrit : > > D'accord avec les remarques de Philippe mais il y a des groupement > > régionaux (CREA, Geobretagne, etc...) qui ont déjà les infra qui > > vont bien (pour geobretagne c'est georchestra basé sur GeoServer et > > GeoWebCache). > > C'est pour ça que je suggérais de vérifier si ces orthos ne sont pas > dispo en flux (WMTS, TMS, voire WMS). > > > C'est à base de logiciels libres et Geobretagne a fait des petits. > > Il n'y a pas une agence en Normandie ? > > Car c'est à mon avis à eux de proposer le service. > > Pas aux GAFA > > > > C'est sûr ! > > > Violaine avait eu ce besoin pour un Mapathon (une imagerie aérienne > > à mettre à dispo des éditeurs style JOSM) et elle l'a fait en > > quelques heures (une, deux ?), en tous cas avant le début du > > Mapathon mais pas sans stress. Ça pourrait être automatisé. > > Fil de discussion "Charger imagerie en local sur JOSM". > > Peut-être qu'elle a pris le temps de faire un bon doc. > > > > Ça permet de récupérer du TMS, notamment en 512x512 pour JOSM. > > Le faire chez soi, ça le fait. > > > > Sur une petite dalle ça se fait, sur une couverture de la moitié de > la France c'est pas tout à fait la même histoire ;) > > A titre d'info, l'IGN diffuse ces orthos opendata par dalles de 5km x > 5km, soit des fichiers de 625 millions de pixels au format JPEG2000. > Pour décompresser un seul fichier avec les librairies de base > (openjpeg), ça a pris 15h sur une machine pas trop ridicule (un R710 > équivalent à nos serveurs Free)... et il y en a 350 pour couvrir un > département (c'était l'Allier). > Il faut passer par des librairies propriétaires ou une version > s'appuyant sur un GPU pour descendre à des temps de traitement > raisonnables... c'est ça que j'explore. > Le JPEG2000 n'est pas la meilleure idée qui soit, le fichier retraité > en TIFF tuilé compressé JPEG fait 100Mo à comparer aux 90Mo pour le > JPEG2000 téléchargé, par contre il est directement exploitable. Bonjour, 100 MB pour 5x5 = 25km2 ca fait 4 MB/km2, France metropolitaine 551695 km2 donc ~ 2.3 TB de tuiles "TIFF compressé" ? tetaneutral.net dispose actuellement d'un cluster de 11 machines avec 70 TB de stockage brut (64 TB HDD et 6 TB SSD), 384G de RAM avec ceph + openstack comme logiciels (150+ KVM), et d'un peu plus de 20 Gbit/s de connectivié internet avec nos propres IPv4+IPv6. Il y a quelques temps l'association tetaneutral.net avait organisé un repas commun a Toulouse avec les benevoles OSM et nous avions discuté de ce sujet d'hebergement de grand volume. tetaneutral.net peut tout a fait heberger gratuitement des données libres qui interessent OSM (primaires ou backup), en gros la seule chose qui nous manque au dela de l'infrastructure decrite ci-dessus ce sont des benevoles pour installer et maintenir les logiciels geographiques et les données associées. Nous avons hebergé pendant quelques années le projet http://maposmatic. org (avec extract OSM maintenu en base quasi en continu a jour) mais qui s'est arreté maintenant faute de mainteneur (2 SSD de 1 TB chacuns probablement reutilisables si on demande). L'association tetaneutral.net compte plus de 500 adherent-e-s, est autonome financierement (sans aucune subvention ni campagne de don), existe depuis 2011, fait partie de la Federation FDN http://ffdn.org et heberge quelques chatons http://chatons.org Bref s'il y a des motivé-e-s répondre ici et/ou s'incrire : https://pad.tetaneutral.net/p/osm Sincèrement, Laurent AS197422 http://tetaneutral.net > > > Je dis une à deux heures, mais parce que j'avais résolu les > > problèmes avant : je savais que faire. > > > > On pourrait imaginer un proxy OSM qui suivant la tuile choisie > > irait la demander à Geobretagne par exemple si c'est en Bretagne > > mais au CREA si c'est en Auvergne. > > Avec comme pour le serveur TMS cadastre le problème des zones > > frontalières. > > Car il est difficile de savoir s'il vaut mieux mettons la tuile du > > Mont Saint-Michel de la photo de la Bretagne ou celle de la > > Normandie. > > Je suis à proximité d'une frontière départementale et Geobretagne > > avait choisi la photo provenant de l'imagerie de mon département. > > Assez logique pourtant la qualité était moins bonne que celle du > > département voisin. > > Le problème à été résolu : nouvelles photos formant un continuum de > > meilleure qualité. > > > > Marc, le problème de : > > cela permet d'estimer la surface qui pourrait être traité on la met > > dispo à usage interne pendant 1 mois. le mois d'après, on passe à > > la zone suivante > > > > C'est que tu imposes la zone à traiter. > > Or si une zone est mal faite, c'est cette zone là que l'utilisateur > > veut modifier, indépendamment de la zone actuellement en ligne. > > Ce que tu proposes c'est un peu ce que Christian fait avec > > OpenSolarMap : si on veut globalement améliorer un critère, ça
Re: [OSM-talk-fr] Réunion contributeurs Toulouse ?
Bonjour, La prochaine occasion est en centre ville mardi 10 fevrier au soir dans le lieu dont je vous ai parle : http://lists.tetaneutral.net/pipermail/tetaneutral/2015-February/000210.html Sincerement, Laurent On Fri, 2015-01-23 at 13:11 +0100, Florian LAINEZ wrote: Merci Laurent, c'était très sympa. J'écris un mail à quest...@tetaneutral.net pour approfondir les sujets abordés. Cordialement Le 23 janvier 2015 10:57, Laurent GUERBY laur...@guerby.net a écrit : On Tue, 2015-01-20 at 11:49 +0100, Florian LAINEZ wrote: Merci les gars du Tetaneutral ! Perso cela me convient tout à fait. On se retrouve donc à la Paniolade à 19h. Bonjour, Merci d'être passé :). N'hesitez pas a me contacter pour concretiser quelques projets dont nous avons discuté. Le prochain repas hebdomadaire du libre toulousain est le QJELT http://lists.tetaneutral.net/pipermail/tetaneutral/2015-January/000207.html mardi 27 en centre ville (inscription necessaire pour logistique) Sincèrement, Laurent ___ Talk-fr mailing list Talk-fr@openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-fr -- Florian Lainez @overflorian ___ Talk-fr mailing list Talk-fr@openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-fr ___ Talk-fr mailing list Talk-fr@openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] Réunion contributeurs Toulouse ?
On Tue, 2015-01-20 at 11:49 +0100, Florian LAINEZ wrote: Merci les gars du Tetaneutral ! Perso cela me convient tout à fait. On se retrouve donc à la Paniolade à 19h. Bonjour, Merci d'être passé :). N'hesitez pas a me contacter pour concretiser quelques projets dont nous avons discuté. Le prochain repas hebdomadaire du libre toulousain est le QJELT http://lists.tetaneutral.net/pipermail/tetaneutral/2015-January/000207.html mardi 27 en centre ville (inscription necessaire pour logistique) Sincèrement, Laurent ___ Talk-fr mailing list Talk-fr@openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] Réunion contributeurs Toulouse ?
On Mon, 2015-01-19 at 21:08 +0100, Florian LAINEZ wrote: Bonjour les toulousains, Je suis content que certains d'entre vous puisse se libérer demain. Pour les autres ce n'est que partie remise :) Quelqu'un a une suggestion de lieu ? Bonsoir, Si quasi tout le monde est en voiture vous pouvez venir squatter pendant/avant le repas/glou hebdomadaire des toulousains de tetaneutral.net (internet libre) : http://lists.tetaneutral.net/pipermail/tetaneutral/2015-January/000204.html Nous organisons un repas convivial tetaneutral.net ouvert à tou(te)s au restaurant « la Paniolade », 146 bd Suisse (31200 Toulouse) le **Mardi** 20 janvier 2015 à partir de 20h30 et jusque vers 22h30. Ca ouvre a 19h, il y a une biere toute simple a la pression, plein de place et pas besoin de reserver (on fait de 4 a 20 personnes selon les soir sans prevenir), c'est direct rocade sortie 31 b ou pont jumeaux, facile de se garer (et 15mn a pied de metro canal du midi et nougaro, station vélo 62 boulevard de Suisse a 3 minutes a pied). On a commencé a jouer avec umap/leaflet pour faire nos cartes d'antennes tetaneutral.net donc on a des sujets en commun :). Sincèrement, Laurent tel 06 43 09 45 15 On 15 Jan 2015 19:04, lenny.libre lenny.li...@orange.fr wrote: Désolé, je ne pourrais pas venir Cordialement Lenny Le 11/01/2015 23:09, Sébastien Dinot a écrit : Frédéric Bonifas a écrit : Je serai présent aussi ! Cool, nous sommes donc au moins quatre sur la région. :) Sébastien ___ Talk-fr mailing list Talk-fr@openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-fr ___ Talk-fr mailing list Talk-fr@openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-fr ___ Talk-fr mailing list Talk-fr@openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] Utiliser les photos aériennes (orthophotos ?) de Belfort
Bonjour, Tu peux leur citer l'exemple de Toulouse métropole ou de la Communauté de communes du Frontonnais qui ont mis dans leur appels d'offres orthophoto la pleine propriété des données (qui est un surcout faible) et ont donc pu les mettre a disposition avec la bonne licence pour le public, par exemple ici : http://pdi.cugt.org/map/?t=TMDATA_ORTHObase=ortho2013center=1574273.5,2268996.5zoom=3layers=331 http://data.toulouse-metropole.fr/les-donnees?p_p_id=5_WAR_opendataportletp_p_lifecycle=0p_p_state=normalp_p_mode=view Je met en copie Sébastien qui a suivi ces dossiers et qui a les contacts au besoin. Sincèrement, Laurent Le Saturday 13 September 2014 à 02:20 +0200, Muselaar a écrit : Après une visite ratée hier (interlocuteur absent), j'ai pu ce matin avoir un employé du SIG de la communauté urbaine (la CAB) au téléphone, qui a noté ma demande, le chef me rappelera et me fixera peut-être un rendez-vous à son bureau plutôt que parler au téléphone. L'employé m'a confirmé que c'était bien des orthophotos au format standard ECW, qui étaient géoréférencées, donc sans difficulté d'emploi. Mais il ne s'est pas engagé sur l'autorisation éventuelle. J'ai parlé également des autres données éventuelles qui pourraient nous être utiles, il a rigolé, et a évoqué les centaines de bases qu'ils possèdent. Je ne sais pas trop quoi leur dire s'ils m'en parlent, du coup… Le 07/09/2014 15:27, Christian Quest a écrit : Si tu me dégote les contacts, je veux bien faire la demande officiellement. On a comme ça obtenu assez rapidement le droit d'utiliser l'ortho du CG93. Le 7 septembre 2014 15:15, Muselaar musel...@ouvaton.org a écrit : Le 07/09/2014 10:26, Christian Quest a écrit : Avant le comment (technique) vérifier qu'elle est bien sous une licence nous permettant de l'utiliser... Il n'y a semble-t-il pas de licence à proprement parler, et le site indique clairement qu'il faut demander une autorisation par courrier pour toute utilisation autre que de consultation personnelle. J'ai donc la première partie de ma réponse, je sais à qui m'adresser maintenant : directement à la Mairie. Reste la 2e partie, que je ne maîtrise pas : quelle autorisation faut-il demander, sous quels termes, et dit autrement, quels termes employer pour éviter que l'autorisation soit rejetée d'emblée ? Il est nécessaire à mon avis de bien faire comprendre qu'il s'agit pour nous d'une simple source d'information de repérage, et pas d'une reproduction quelconque, puisque c'est nous qui interprétons et dessinons manuellement ce que nous voyons sur la photo. À l'extrême limite, je ne vois même pas comment la mairie pourrait montrer qu'on a tiré nos infos de leurs photos (si ce n'est par l'utilisation un peu trop régulière du site), puisqu'elles ne font que refléter la réalité, que l'on pourrait relever tout pareil avec un bon GPS… mais de façon beaucoup plus fastidieuse, voire moins exacte. Vu le mode de remise à jour quand on fait glisser la carte je pense qu'on a un WMS derrière cette appli Flash. Et donc, techniquement ? Où trouver les informations techniques pour en tirer parti ? Peut-être que l'on pourrait obtenir un accès plus commode aux données que par le site… NB : je ne suis que modeste, mais zélé contributeur, et pas du tout informaticien ni juriste, d'où mes questions peut-être un peu triviales… Muselaar ___ Talk-fr mailing list Talk-fr@openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-fr -- Christian Quest - OpenStreetMap France ___ Talk-fr mailing list Talk-fr@openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-fr ___ Talk-fr mailing list Talk-fr@openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-fr ___ Talk-fr mailing list Talk-fr@openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] Ombrage et relief... / EU-DEM Licence ?
On Mon, 2013-12-30 at 12:50 +0100, Christian Quest wrote: EU-DEM: http://www.eea.europa.eu/data-and-maps/data/eu-dem Dispo en 2 projections différentes, par dalles ou un gros tif + overview. Difficile de faire mieux ! Bonjour, Apres quelques rapides recherches je n'ai pas reussi a trouver la licence pour le jeu de donnée EU-DEM, quelqu'un a plus de succes que moi ? Sincèrement, Laurent http://www.eea.europa.eu/data-and-maps/data/eu-dem#tab-metadata Access to the data is governed by the draft delegated regulation on Copernicus data and information policy, as approved by the EC on 12th of July 2013, and in the process of decision making by the Council and European Parliament. This delegated act supplements regulation (EU) No 911/2010 of the European Parliament and of the Council on the European Earth monitoring programme (GMES). It establishes registration and licensing conditions for GMES/Copernicus users and defines criteria for restricting access to GMES/Copernicus dedicated data and GMES/Copernicus service information. The following credit must be displayed when using these data: Produced using Copernicus data and information funded by the European Union - EU-DEM layers. Access and use of the data is made on the conditions that: 1. When distributing or communicating Copernicus data and information to the public, users shall inform the public of the source of that data and information. 2. Users shall make sure not to convey the impression to the public that the user's activities are officially endorsed by the Union. 3. Where that data or information has been adapted or modified, the user shall clearly state this. http://www.eea.europa.eu/legal/ http://www.eea.europa.eu/legal/copyright Unless otherwise indicated, re-use of content on the EEA website for commercial or non-commercial purposes is permitted free of charge, provided that the source is acknowledged. http://www.eea.europa.eu/legal/eea-data-policy Products created by EEA are considered a public good and where possible, they will be made fully, freely and openly available for others to use. ___ Talk-fr mailing list Talk-fr@openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-fr
