Re: [Talk-it] Server OSM di Backup Nazionali
2009/8/27 Roberto Navoni r.nav...@radionav.it: Vedo che il tema ha suscitato molto interesse , chiedo ufficialmente a Simone di farsi portavoce presso la Foundation di farsi portavoce di questa sentita esigenza di affrontare il problema dei Server di Backup E la disponibilità della community italiana di prendere in mano la cosa in modo serio e produttivo. Un saluto a tutti e grazie Roberto L'ho aggiunto al mio elenco di cose da dire durante il primo board, che sara' fra due settimane. -- -S ___ Talk-it mailing list Talk-it@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-it
Re: [Talk-it] Server OSM di Backup Nazionali
Il giorno 25 agosto 2009 09.30, Francesco de Virgiliofradev...@gmail.com ha scritto: Come si può pensare di custodire il materiale creato da 127000 utenti in un'unica location? Per analogia si tende sempre ad assimilare OSM a Wikipedia (per ovvie ragioni), ma se non erro la WMFoundation ha circa 3 o 4 mirror in continenti diversi... Tampa (cuore), Amsterdam (cache servers), Belgrado (backup, non sotto il controllo diretto di Wikimedia Foundation). Un server in ogni nazione potrebbe avere un enorme costo sistemistico, forse vale la pena parlare con l'IT e capire con loro che soluzioni hanno in mente. A latere, immagino che OSM non abbia grandi problemi legali (legati a copyright, liceità dei contenuti ecc.) ma tenete presente che: 1. un server in ogni nazione significa una legislazione diversa per ogni server 2. in Italia non è proprio il massimo.. Ciao, Frieda ps: qualche info datata sul Wikipedia qui: http://meta.wikimedia.org/wiki/Wikimedia_servers (tutti i posti che non ho citato non ospitano più i nostri server) ___ http://it.wikipedia.org/wiki/Utente:Frieda ___ Talk-it mailing list Talk-it@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-it
Re: [Talk-it] Server OSM di Backup Nazionali
Martin Koppenhoefer ha scritto: ci sono anche persone chi tengono un backup a parte (per esempio Geofabrik), ma un altro in più non sarebbe mai male. Poi io non so bene queste cose, ma ho sentito di un sistema database diverso del nostro che mi suonava adatto allo nostro scopo, potrete dare una occhiata? parlano di: Apache CouchDB is a document-oriented (forse quello non ci va bene, vero?) database that can be queried and indexed in a MapReduce fashion using JavaScript. CouchDB also offers incremental replication with bi-directional conflict detection and resolution. (quello potrebbe essere interessante). Ho già sentito parlare di CouchDB, mi sembra che vogliano utilizzarlo su Ubuntu per permettere facilmente la replicazione del proprio ambiente desktop (me ne ha accennato un mio amico che lavora su Ubuntu One). Io non lo conosco come database, ma mi sembra un prodotto che lavora ad alto livello. Riuscirebbe a gestire i database enormi di OSM? La risposta a questa domanda è piuttosto critica. Del resto, non sono esperto dell'ambito, ma a quanto ho capito anche Postgres supporta la replicazione ed il backup incrementale a caldo. A quanto ho capito, fa un lavoro di questo tipo: il master riceve le query e le trasforma in cambiamenti incrementali da fare al database. Basta clonare lo stream di questi cambiamenti incrementali e dirottarlo su un altro server per tenere i due sincronizzati. Però quello che so sull'argomento finisce qui. Dovremmo parlare di Postgres e di queste cose al Linux Day a Pisa, posso provare ad aggiornarvi tra due mesi! :-) Gio. -- Giovanni Mascellani g.mascell...@gmail.com Pisa, Italy Web: http://poisson.phc.unipi.it/~mascellani Jabber: g.mascell...@jabber.org / giova...@elabor.homelinux.org GPG: 0x5F1FBF70 (FP: 1EB6 3D43 E201 4DDF 67BD 003F FCB0 BB5C 5F1F BF70) signature.asc Description: OpenPGP digital signature ___ Talk-it mailing list Talk-it@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-it
Re: [Talk-it] Server OSM di Backup Nazionali
2009/8/27 Giovanni Mascellani g.mascell...@gmail.com: Io non lo conosco come database, ma mi sembra un prodotto che lavora ad alto livello. Riuscirebbe a gestire i database enormi di OSM? La risposta a questa domanda è piuttosto critica. Non ne avevo mai sentito parlare, ma qui leggo: http://couchdb.apache.org/docs/intro.html Ad occhio non mi sembra indicato per OSM. Un database per OSM, allo stato attuale, deve essere 1. relazionale (cioè basato sul modello SQL) 2. efficiente (cioè deve sfruttare bene le risorse hardware) 3. affidabile (cioè non deve perdere i dati e in caso di guasto hardware deve essere possibile recuperarli) 4. maturo dal punto di vista dell'amministrazione (cioè ottimi strumenti per il tuning, per il backup a caldo e a freddo, ecc.) Postgres è perfetto (nel mondo commerciale si penserebbe a Oracle o DB2) L'eventuale passaggio a database non SQL sulla carta potrebbe ipoteticamente portare qualche vantaggio che però sarebbe sicuramente controbilanciato dalla difficoltà di porting del codice (che fa da tramite tra le API e il database) e dei dati. Non vorrei essere coinvolto nella migrazione... Restando ai database SQL effettivamente ridondarli non è facile. Una possibilità sarebbe di partizionare per lo meno la tabella dei nodi, ed eventualmente quella delle way, su base geografica e assegnare le varie partizioni a server diversi. Ciao Del resto, non sono esperto dell'ambito, ma a quanto ho capito anche Postgres supporta la replicazione ed il backup incrementale a caldo. A quanto ho capito, fa un lavoro di questo tipo: il master riceve le query e le trasforma in cambiamenti incrementali da fare al database. Basta clonare lo stream di questi cambiamenti incrementali e dirottarlo su un altro server per tenere i due sincronizzati. Però quello che so sull'argomento finisce qui. Dovremmo parlare di Postgres e di queste cose al Linux Day a Pisa, posso provare ad aggiornarvi tra due mesi! :-) Gio. -- Giovanni Mascellani g.mascell...@gmail.com Pisa, Italy Web: http://poisson.phc.unipi.it/~mascellani Jabber: g.mascell...@jabber.org / giova...@elabor.homelinux.org GPG: 0x5F1FBF70 (FP: 1EB6 3D43 E201 4DDF 67BD 003F FCB0 BB5C 5F1F BF70) ___ Talk-it mailing list Talk-it@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-it ___ Talk-it mailing list Talk-it@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-it
Re: [Talk-it] Server OSM di Backup Nazionali
Vedo che il tema ha suscitato molto interesse , chiedo ufficialmente a Simone di farsi portavoce presso la Foundation di farsi portavoce di questa sentita esigenza di affrontare il problema dei Server di Backup E la disponibilità della community italiana di prendere in mano la cosa in modo serio e produttivo. Un saluto a tutti e grazie Roberto Il giorno 27/ago/09, alle ore 12:28, Giovanni Mascellani ha scritto: Martin Koppenhoefer ha scritto: ci sono anche persone chi tengono un backup a parte (per esempio Geofabrik), ma un altro in più non sarebbe mai male. Poi io non so bene queste cose, ma ho sentito di un sistema database diverso del nostro che mi suonava adatto allo nostro scopo, potrete dare una occhiata? parlano di: Apache CouchDB is a document-oriented (forse quello non ci va bene, vero?) database that can be queried and indexed in a MapReduce fashion using JavaScript. CouchDB also offers incremental replication with bi-directional conflict detection and resolution. (quello potrebbe essere interessante). Ho già sentito parlare di CouchDB, mi sembra che vogliano utilizzarlo su Ubuntu per permettere facilmente la replicazione del proprio ambiente desktop (me ne ha accennato un mio amico che lavora su Ubuntu One). Io non lo conosco come database, ma mi sembra un prodotto che lavora ad alto livello. Riuscirebbe a gestire i database enormi di OSM? La risposta a questa domanda è piuttosto critica. Del resto, non sono esperto dell'ambito, ma a quanto ho capito anche Postgres supporta la replicazione ed il backup incrementale a caldo. A quanto ho capito, fa un lavoro di questo tipo: il master riceve le query e le trasforma in cambiamenti incrementali da fare al database. Basta clonare lo stream di questi cambiamenti incrementali e dirottarlo su un altro server per tenere i due sincronizzati. Però quello che so sull'argomento finisce qui. Dovremmo parlare di Postgres e di queste cose al Linux Day a Pisa, posso provare ad aggiornarvi tra due mesi! :-) Gio. -- Giovanni Mascellani g.mascell...@gmail.com Pisa, Italy Web: http://poisson.phc.unipi.it/~mascellani Jabber: g.mascell...@jabber.org / giova...@elabor.homelinux.org GPG: 0x5F1FBF70 (FP: 1EB6 3D43 E201 4DDF 67BD 003F FCB0 BB5C 5F1F BF70) ___ Talk-it mailing list Talk-it@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-it ___ Talk-it mailing list Talk-it@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-it
Re: [Talk-it] Server OSM di Backup Nazionali
Stefano de Fabris ha scritto: Giovanni Mascellani ha scritto: Ci pensavo proprio nei giorni scorsi: la protezione da down è un problema solo temporaneo (per quanto scocciante), ma se non abbiamo il backup ed il disco si rompe i problemi sono ben maggiori, perché dobbiamo ricominciare da capo. Ci sono siti che già ora fanno il mirror pressoché giornaliero del planet, altro discorso è il wiki, mailing-list, tracce gpx (dati non meno importanti, a mio avviso). Beh, wiki e mailing list sono molto più facili da backuppare. E se dovessi decidere cosa perdere tra wiki, mailing list, gpx e dati OSM, sicuramente sceglierei i primi tre! :-) Si può organizzare un semi-backup distribuito semplicemente copiandosi il planet ogni settimana, ma questo, in caso di morte del database primario, ci permette di recuperare soltanto lo stato finale, non la storia del database o i dati degli utenti. Un backup più serio sarebbe molto consigliabile, grazie a Roberto per aver sollevato la questione. Non so se il file planet contiene lo stato finale o anche lo storico, questo sarebbe da verificare. Su questo sono quasi del tutto sicuro: il planet contiene solo lo stato, non lo storico. Del resto, non avrebbe molto senso scaricarsi ogni volta la storia dell'intero progetto se vuoi offrire servizi basati sui dati attuali. Voi al momento avete idea di quanto sia grosso un dump completo del database? A proposito, al momento i dati di OSM sono tenuti su MySQL o PostgreSQL? Per quel che ne so io OSM usa PostgreSQL Il backup non dovrebbe essere poi così enorme, essendo testo compresso (almeno nel formato che uso io sul lavoro). IL backup del database? Non so, ma dando un'occhiata alle dimensioni dei dischi, direi che sotto il TB non si va (smaug, il database server ha 10 dischi da 450 GB). Non è roba molto facile da backuppare. Per darti un ordine di grandezza potrebbe essere comparabile con il file planet.osm.bz2 stesso (a meno delle tracce gpx). Se non sono del tutto idioti mi auguro che quelli della fondazione stiano già facendo un backup giornaliero del database. Me lo auguro anche io, ma mi chiedo dove. Non mi sembra il tipo di database che si backuppa su una pennina USB. Non trovo da nessuna parte alcuna evidenza che un backup sia effettivamente tenuto aggiornato. Diverso è fare un backup continuo, ovvero avere una piena ridondanza dei dati. Su questro non ho molta esperienza e non ho mai avuto l'esigenza di provarlo. Per evitare perdite di dati sul lavoro l'accorgimento che uso è quello di fare un backup ogni giorno quando lascio l'ufficio (tempo 1 minuto per un backup di 50MB). Io su un server che amministro eseguo un backup automaticamente ogni quattro ore Rimane il fatto che, invece, avere un backup (del database, non delle tile) è un grosso problema. Un backup delle tile è semplicemente inutile, visto che derivano dai dati. IMHO in caso di perdita delle immagini conviene rigenerarle piuttosto che implementare un meccanismo per farne il backup. Non è vero che è del tutto inutile: è inutile nell'ottica di preservare i dati del database, ma è molto utile nell'ottica di continuare ad offrire un servizio. Se costruisco un servizio Web che utilizza le tile di OSM ed il server di OSM va giù io non posso più utilizzare il mio servizio, cosa che non mi fa piacere. Vero che io non ho alcuna garanzia da parte di OSM sull'affidabilità del servizio di fornitura delle tile, però sarebbe bello provarci. Riassumendo: secondo me la cosa migliore sarebbe avere un backup (senza necessità di disponibilità immediata) per il database ed un qualche tipo di ridondanza per la fornitura delle tile. Ciaociao, Gio. -- Giovanni Mascellani g.mascell...@gmail.com Pisa, Italy Web: http://poisson.phc.unipi.it/~mascellani Jabber: g.mascell...@jabber.org / giova...@elabor.homelinux.org GPG: 0x5F1FBF70 (FP: 1EB6 3D43 E201 4DDF 67BD 003F FCB0 BB5C 5F1F BF70) signature.asc Description: OpenPGP digital signature ___ Talk-it mailing list Talk-it@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-it
Re: [Talk-it] Server OSM di Backup Nazionali
2009/8/25 Francesco de Virgilio fradev...@gmail.com: Come si può pensare di custodire il materiale creato da 127000 utenti siamo quasi 15 inscritti oramai ;-) http://wiki.openstreetmap.org/wiki/Stats (pero solo 12000 attivi questo mese). ciao, Martin ___ Talk-it mailing list Talk-it@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-it
Re: [Talk-it] Server OSM di Backup Nazionali
ci sono anche persone chi tengono un backup a parte (per esempio Geofabrik), ma un altro in più non sarebbe mai male. Poi io non so bene queste cose, ma ho sentito di un sistema database diverso del nostro che mi suonava adatto allo nostro scopo, potrete dare una occhiata? parlano di: Apache CouchDB is a document-oriented (forse quello non ci va bene, vero?) database that can be queried and indexed in a MapReduce fashion using JavaScript. CouchDB also offers incremental replication with bi-directional conflict detection and resolution. (quello potrebbe essere interessante). CouchDB provides a RESTful JSON API than can be accessed from any environment that allows HTTP requests. ... CouchDB is written in Erlang, a robust functional programming language ideal for building concurrent distributed systems. Erlang allows for a flexible design that is easily scalable and readily extensible. http://couchdb.apache.org/ ciao, Martin ___ Talk-it mailing list Talk-it@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-it
Re: [Talk-it] Server OSM di Backup Nazionali
Niccolo Rigacci ha scritto: On Mon, Aug 24, 2009 at 06:48:43PM +0200, Roberto Navoni wrote: Buongiorno a tutti, sul talkf in questi giorni ho inviato un messaggio che ha scatenato un mezzo dibattito rispetto alla necessità in caso di down del server principale della fondation La faccenda è di sicuro interesse. A parte le rezioni tiepide di alcuni membri della OSMF, credo che nessuno possa essere contrario ad avere della ridondanza. Temo che la reazione tiepida sia dovuta soprattutto alla difficoltà tecnica di allestire e gestire una soluzione al problema. Secondo me conviene aprire un thread di discussione e magari definire un working group in seno alla fondazione che affronti il problema. Ci sono problemi tecnologici molto interessanti, per esempio si vuole solo ridondanza oppure anche un'architettura distribuita che permetta di scalare il carico? La ridondanza/distribuzione deve essere in sola lettura oppure gestire il read/write delle API? Bisogna vedere se riusciamo a catalizzare l'attenzione di bravi programmatori, sistemisti, persone con delle risorse hw da mettere a disposizione. Per quanto mi riguarda mettimi nell'elenco delle persone interessate, posso offrire qualche competenza sistemistica e forse delle risorse hardware prese a prestito da GFOSS.it. Io sono d'accordo, per lavoro mi scontro spesso con questo genere di problemi e questo fine settimana mi sono chiesto come mai non si sia ancora affrontato il problema. Secondo me un progetto di portata internazionale come questo, che fra l'altro mi sembra che ambisca a diventare anche di ampio utilizzo, deve avere qualche livello di ridondanza. Marco. ___ Talk-it mailing list Talk-it@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-it
Re: [Talk-it] Server OSM di Backup Nazionali
Il giorno 25 agosto 2009 09.21, Marco Polciregistrazi...@marcopolci.net ha scritto: Niccolo Rigacci ha scritto: On Mon, Aug 24, 2009 at 06:48:43PM +0200, Roberto Navoni wrote: Buongiorno a tutti, sul talkf in questi giorni ho inviato un messaggio che ha scatenato un mezzo dibattito rispetto alla necessità in caso di down del server principale della fondation La faccenda è di sicuro interesse. A parte le rezioni tiepide di alcuni membri della OSMF, credo che nessuno possa essere contrario ad avere della ridondanza. Assolutamente daccordo! Come si può pensare di custodire il materiale creato da 127000 utenti in un'unica location? Per analogia si tende sempre ad assimilare OSM a Wikipedia (per ovvie ragioni), ma se non erro la WMFoundation ha circa 3 o 4 mirror in continenti diversi... -- Francesco de Virgilio *Ubuntu-it Member and Wiki Editor* mailto:frad...@ubuntu-it.org http://wiki.ubuntu-it.org/FrancescoDeVirgilio *Wikimedia projects contributor* http://en.wikipedia.org/wiki/User:Fradeve11 *OpenStreetMap Mapper* http://www.openstreetmap.org/user/Fradeve11 *Blog* http://fradeve.netsons.org Love - Peace - Freedom - Free Software GPG 0x6482E056 (FP B996 A12C BD52 2A9B CDD3 812D 462D 93B0 6482 E056) ___ Talk-it mailing list Talk-it@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-it
Re: [Talk-it] Server OSM di Backup Nazionali
2009/8/25 Marco Polci registrazi...@marcopolci.net: e questo fine settimana mi sono chiesto come mai non si sia ancora affrontato il problema. se non ricordo male sulla lista internazionale il problema era stato affrontato e la risposta era stata sulle linee di se hai il tempo di lavorarci e i soldi per gestire il server di backup ben contenti, ma noi non abbiamo ne' l'uno ne' l'altro e` passato un po' di tempo, pero` -- Elena ``of Valhalla'' homepage: http://www.trueelena.org email: elena.valha...@gmail.com ___ Talk-it mailing list Talk-it@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-it
Re: [Talk-it] Server OSM di Backup Nazionali
On Tue, Aug 25, 2009 at 09:35:27AM +0200, Elena of Valhalla wrote: se non ricordo male sulla lista internazionale il problema era stato affrontato e la risposta era stata sulle linee di se hai il tempo di lavorarci e i soldi per gestire il server di backup ben contenti, ma noi non abbiamo ne' l'uno ne' l'altro L'approccio se ti riesce, fai pure secondo me funziona solo se si vuole allestire ridondanza in sola lettura dai dati. Con un qualche ritardo rispetto al DB master. Temo che fornire ridondanza in lettura/scrittura delle API richieda uno sforzo coordinato, che probabilmente necessita di una revisione delle stesse API. Quindi in questo caso il fai pure non funziona. C'è da decidere se la ridondanza viene gestita dalle API oppure ad un livello più basso, ad esempio tramite meccanismi di replica del database. PostgreSQL offre diversi sistemi per la sincronizzazione dei DB su host diversi, ma nessuno di questi - che io sappia - funziona senza che i DB coinvolti siano consenzienti ed opportunamente configurati. -- Niccolo Rigacci Firenze - Italy ___ Talk-it mailing list Talk-it@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-it
Re: [Talk-it] Server OSM di Backup Nazionali
Niccolo Rigacci ha scritto: On Tue, Aug 25, 2009 at 09:35:27AM +0200, Elena of Valhalla wrote: se non ricordo male sulla lista internazionale il problema era stato affrontato e la risposta era stata sulle linee di se hai il tempo di lavorarci e i soldi per gestire il server di backup ben contenti, ma noi non abbiamo ne' l'uno ne' l'altro L'approccio se ti riesce, fai pure secondo me funziona solo se si vuole allestire ridondanza in sola lettura dai dati. Con un qualche ritardo rispetto al DB master. Temo che fornire ridondanza in lettura/scrittura delle API richieda uno sforzo coordinato, che probabilmente necessita di una revisione delle stesse API. Quindi in questo caso il fai pure non funziona. C'è da decidere se la ridondanza viene gestita dalle API oppure ad un livello più basso, ad esempio tramite meccanismi di replica del database. PostgreSQL offre diversi sistemi per la sincronizzazione dei DB su host diversi, ma nessuno di questi - che io sappia - funziona senza che i DB coinvolti siano consenzienti ed opportunamente configurati. Infatti, per quanto sia convinto che la parte più difficile sia trovare le risorse, ci deve essere una volontà comune di realizzare una struttura distribuita, perché metterla in piedi non può essere indolore per gli attuali server. ___ Talk-it mailing list Talk-it@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-it
Re: [Talk-it] Server OSM di Backup Nazionali
Roberto Navoni ha scritto: Buongiorno a tutti, sul talkf in questi giorni ho inviato un messaggio che ha scatenato un mezzo dibattito rispetto alla necessità in caso di down del server principale della fondation di server di backup in grado di fornire alla nostra community i servizi di base tra cui : Il servizio wiki , le api magari in modalità read only , il geocoding ed il tiling. Premetto che , come qualcuno di voi sicuramente saprà attualmente tutti i servizi di OSM per ad oggi circa 125'000 utenti registrati poggia su 7 server installati tutti nello stesso luogo. Ci pensavo proprio nei giorni scorsi: la protezione da down è un problema solo temporaneo (per quanto scocciante), ma se non abbiamo il backup ed il disco si rompe i problemi sono ben maggiori, perché dobbiamo ricominciare da capo. Si può organizzare un semi-backup distribuito semplicemente copiandosi il planet ogni settimana, ma questo, in caso di morte del database primario, ci permette di recuperare soltanto lo stato finale, non la storia del database o i dati degli utenti. Un backup più serio sarebbe molto consigliabile, grazie a Roberto per aver sollevato la questione. Voi al momento avete idea di quanto sia grosso un dump completo del database? A proposito, al momento i dati di OSM sono tenuti su MySQL o PostgreSQL? Se succede qualcosa a questi server noi che facciamo tutti al buoi per tempo indefinibile ? Giustamente sulla mailing list internazionale fanno notare che di per sé osm.org non ha come obiettivo principale l'offrire un servizio di tile serving, ma di costruire il database. Ovviamente non è un grosso problema se per due giorni il database non è disponibile, basta che i mappatori aspettino a fare i loro edit. Per questo la disponibilità 24/7/365 non è un grosso problema. Rimane il fatto che, invece, avere un backup (del database, non delle tile) è un grosso problema. Ciaociao, Gio. -- Giovanni Mascellani g.mascell...@gmail.com Pisa, Italy Web: http://poisson.phc.unipi.it/~mascellani Jabber: g.mascell...@jabber.org / giova...@elabor.homelinux.org GPG: 0x5F1FBF70 (FP: 1EB6 3D43 E201 4DDF 67BD 003F FCB0 BB5C 5F1F BF70) signature.asc Description: OpenPGP digital signature ___ Talk-it mailing list Talk-it@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-it
Re: [Talk-it] Server OSM di Backup Nazionali
Giovanni Mascellani ha scritto: Ci pensavo proprio nei giorni scorsi: la protezione da down è un problema solo temporaneo (per quanto scocciante), ma se non abbiamo il backup ed il disco si rompe i problemi sono ben maggiori, perché dobbiamo ricominciare da capo. Ci sono siti che già ora fanno il mirror pressoché giornaliero del planet, altro discorso è il wiki, mailing-list, tracce gpx (dati non meno importanti, a mio avviso). Si può organizzare un semi-backup distribuito semplicemente copiandosi il planet ogni settimana, ma questo, in caso di morte del database primario, ci permette di recuperare soltanto lo stato finale, non la storia del database o i dati degli utenti. Un backup più serio sarebbe molto consigliabile, grazie a Roberto per aver sollevato la questione. Non so se il file planet contiene lo stato finale o anche lo storico, questo sarebbe da verificare. Voi al momento avete idea di quanto sia grosso un dump completo del database? A proposito, al momento i dati di OSM sono tenuti su MySQL o PostgreSQL? Per quel che ne so io OSM usa PostgreSQL Il backup non dovrebbe essere poi così enorme, essendo testo compresso (almeno nel formato che uso io sul lavoro). Per darti un ordine di grandezza potrebbe essere comparabile con il file planet.osm.bz2 stesso (a meno delle tracce gpx). Se non sono del tutto idioti mi auguro che quelli della fondazione stiano già facendo un backup giornaliero del database. Diverso è fare un backup continuo, ovvero avere una piena ridondanza dei dati. Su questro non ho molta esperienza e non ho mai avuto l'esigenza di provarlo. Per evitare perdite di dati sul lavoro l'accorgimento che uso è quello di fare un backup ogni giorno quando lascio l'ufficio (tempo 1 minuto per un backup di 50MB). Rimane il fatto che, invece, avere un backup (del database, non delle tile) è un grosso problema. Un backup delle tile è semplicemente inutile, visto che derivano dai dati. IMHO in caso di perdita delle immagini conviene rigenerarle piuttosto che implementare un meccanismo per farne il backup. Ciao Stefano ___ Talk-it mailing list Talk-it@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-it
[Talk-it] Server OSM di Backup Nazionali
Buongiorno a tutti, sul talkf in questi giorni ho inviato un messaggio che ha scatenato un mezzo dibattito rispetto alla necessità in caso di down del server principale della fondation di server di backup in grado di fornire alla nostra community i servizi di base tra cui : Il servizio wiki , le api magari in modalità read only , il geocoding ed il tiling. Premetto che , come qualcuno di voi sicuramente saprà attualmente tutti i servizi di OSM per ad oggi circa 125'000 utenti registrati poggia su 7 server installati tutti nello stesso luogo. Se succede qualcosa a questi server noi che facciamo tutti al buoi per tempo indefinibile ? Tutta la mia piccola polemica è nata perchè per due giorni i server sono stati offline per manutenzione ... sembra che pero' il tema non preoccupi piu' di tanto anche se il dibattito è stato piuttosto animato ... Per chi fosse interessato a dare un'occhio alla discussione il link è questo : http://lists.openstreetmap.org/pipermail/osmf-talk/2009-August/thread.html Voi cosa ne pensate ? La mia idea è quella di proporre alla fondation di installare per ogni nazione .. o almeno quelle piu' attive un backup ufficiale gestito localmente ( Poi vedremo come da chi e con che soldi ) , magari tenteremo di dare una mossa alle decisioni sui local chapter ... Nel caso in cui ci siano problemi si fa' in modo che il dns dirotti automaticamente sul server di backup piu' libero. Un saluto Roberto ___ Talk-it mailing list Talk-it@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-it
Re: [Talk-it] Server OSM di Backup Nazionali
On Mon, Aug 24, 2009 at 06:48:43PM +0200, Roberto Navoni wrote: Buongiorno a tutti, sul talkf in questi giorni ho inviato un messaggio che ha scatenato un mezzo dibattito rispetto alla necessità in caso di down del server principale della fondation La faccenda è di sicuro interesse. A parte le rezioni tiepide di alcuni membri della OSMF, credo che nessuno possa essere contrario ad avere della ridondanza. Temo che la reazione tiepida sia dovuta soprattutto alla difficoltà tecnica di allestire e gestire una soluzione al problema. Secondo me conviene aprire un thread di discussione e magari definire un working group in seno alla fondazione che affronti il problema. Ci sono problemi tecnologici molto interessanti, per esempio si vuole solo ridondanza oppure anche un'architettura distribuita che permetta di scalare il carico? La ridondanza/distribuzione deve essere in sola lettura oppure gestire il read/write delle API? Bisogna vedere se riusciamo a catalizzare l'attenzione di bravi programmatori, sistemisti, persone con delle risorse hw da mettere a disposizione. Per quanto mi riguarda mettimi nell'elenco delle persone interessate, posso offrire qualche competenza sistemistica e forse delle risorse hardware prese a prestito da GFOSS.it. -- Niccolo Rigacci Firenze - Italy ___ Talk-it mailing list Talk-it@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-it
