Re: Filesystem con compressione
Il 19/10/2021 12:14, Alessadro Baggi ha scritto: Che problema ti ha dato con docker e come hai risolto? Mah, cercavo di fare una cosa strana, cioe' far girare docker (application container) con un orchestratore (compose o swarm) dentro container LXC (system container), che gia' di suo non e' supportato, ci vuole qualche trucchetto. Finche' si trattava di docker e basta sembrava anche funzionare, ma con un orchestratore, non c'era verso che container di uno stesso stack si parlassero. Ho imputato la cosa a ZFS, visto che ho trovato molte guide che parlavano di questo setup, ma dicevano che docker si "accorge" che sotto c'e' ZFS. Poi ripeto, magari (probabilmente) ho sbagliato qualcosa io. Hai mai avuto problemi con la ricompilazione con dkms con gli aggiornamenti del kernel? mai, ma e' anche vero che non riavvio spesso e comunque uso un kernel pve -- Marco Bertorello https://www.marcobertorello.it OpenPGP_0x5B7B17E82E9F51CE.asc Description: OpenPGP public key OpenPGP_signature Description: OpenPGP digital signature
Re: Filesystem con compressione
On Tue, Oct 19, 2021 at 12:08:05PM +0200, Alessadro Baggi wrote: > Ora vado un attimo off-topic: sulle distro rhel based ci sta anche il VDO e > i relativi tool. Ogni giorno se ne impara una nuova... ;-) > Praticamente aggiunge un layer per la compressione e deduplicazione. > La cosa che mi lascia un po perplesso è che un volume vdo > deve presentare una dimensione logica che il filesystem (xfs) va ad usare. > Quindi se un fs XFS risultasse usato al 100%, mentre sul volume magari siamo > al 30%, bisogna aumentare la logical size e fare un resize del filesystem > per fargli avere più spazio... Così funziona anche con LVM... > cosi bisogna monitorare sia il filesystem > classico sia il volume vdo. e anche LVM quindi sono tre... > Bo devo approfondire anche se ho visto che su > debian non c'è traccia di VDO. E quindi solo per curiosità... > Ovviamente VDO non è un fs con cow, con integrity, snapshot e varie. A me sembra cie VDO sia più una cosa per data-center... -- Saluton, Marco Ciampa
Re: Filesystem con compressione
Il 19/10/21 10:40, Bertorello, Marco ha scritto: Il 19/10/2021 10:32, Alessadro Baggi ha scritto: Il 19/10/21 10:27, Bertorello, Marco ha scritto: Il 19/10/2021 09:36, Alessadro Baggi ha scritto: Buongiorno a tutta la lista. Ho un piccolo server di backup con Debian 11 e 2 dischi da 3TB in raid1 con mdadm. Il backup lo faccio con uno script rsync. Stavo cercando dei filesystem che avessero la compressione trasparente e ho trovato btrfs e ZFS. Leggendo sui due, ho preso nota anche di tutte le altre caratteristiche come deduplicazione, checksumming e relativo recovery, snapshot, COW filesystem e varie. Leggendo su btrfs da qui [0] sono rimasto abbastanza sfiduciato dai molti problemi che presenta btrfs. ZFS d'altra parte (se non sbaglio si trova in contrib) è di tutt'altra pasta, funziona bene ma (al di fuori della licenza) il sistema deve compilare un modulo e ad ogni aggiornamento del kernel dkms .. Grazie a tutti in anticipo e per il tempo dedicato. [0] https://wiki.debian.org/Btrfs Non lo uso per macchine fisiche, ma so che sono supportate attraverso un agent, tuttavia mi sento di consigliarti questo: https://www.proxmox.com/en/proxmox-backup-server Puo' usare ZFS e, nel caso, farebbe sia compressione che deduplica. Io lo uso con molta soddisfazione fin dalle prime beta. Puo' anche essere usato per replicare i backup verso un altro PBS (io lo uso cosi' per il backup off-site via VPN e lo trovo davvero efficiente). Saluti, Ciao e grazie per la risposta. grazie per la risorsa. Tu hai avuto esperienze con ZFS? Si, lo uso sia su PBS che su PVE (soluzione di virtualizzazione di Proxmox) e non posso dirne che bene. Mi ha risolto diversi problemi con le sue feature: sostituisce il RAID, prevede l'utilizzo della cache (ad es. io lo uso con una partizione di un disco SSD come cache per 2 dischi meccanici nell'equivalente di un RAID0, la replica su altri host configurati in maniera identica mi mette al riparo dalla rottura di un disco e questo setup mi da le performance che mi servono), ha le repliche, gli snapshot ecc. L'unico caso in cui mi ha dato grattacapi e' quando sopra ho voluto metterci docker, ma magari (probabilmente) ho sbagliato qualcosa io :) Che problema ti ha dato con docker e come hai risolto? Hai mai avuto problemi con la ricompilazione con dkms con gli aggiornamenti del kernel? Su BTRFS purtroppo non ho mai avuto esperienze, ma mi sembra che sia una "bella promessa" da un po' troppo tempo ormai, senza mai essere adottato piu' di tanto. Ecco, hai centrato il punto, è tanto tempo che è in giro ma i principali problemi non sono ancora risolti...e andando avanti la cosa non migliora. Ciao, Grazie per la risposta.
Re: Filesystem con compressione
Il 19/10/21 10:46, Marco Ciampa ha scritto: On Tue, Oct 19, 2021 at 09:36:33AM +0200, Alessadro Baggi wrote: Buongiorno a tutta la lista. Ho un piccolo server di backup con Debian 11 e 2 dischi da 3TB in raid1 con mdadm. Il backup lo faccio con uno script rsync. Stavo cercando dei filesystem che avessero la compressione trasparente e ho trovato btrfs e ZFS. Leggendo sui due, ho preso nota anche di tutte le altre caratteristiche come deduplicazione, checksumming e relativo recovery, snapshot, COW filesystem e varie. Leggendo su btrfs da qui [0] sono rimasto abbastanza sfiduciato dai molti problemi che presenta btrfs. In particolare quale problema ti assilla? La perdita dei dati (anche se sono backup). Leggendo il wiki sembra non sia troppo affidabile, nel senso che ci sono talmente tante raccomandazioni che mi fa pensare di doverlo evitare. Ovviamente non l'ho mai usato come si deve ne per tempi prolungati quindi non posso giudicarlo realmente. ZFS d'altra parte (se non sbaglio si trova in contrib) è di tutt'altra pasta, funziona bene vedo che il marketing di Oracle funziona molto bene... sappi che btrfs è usato in ambito enterprise da aziende multinazionali. Se va bene per loro penso possa andare bene anche per te... Si, ho visto che btrfs è usato un bel po e si credo che vada bene per il mio utilizzo. Non credo che quelli di SUSE si siano bevuti il cervello usandolo come default. Sono in cerca di esperienze per non incappare in problemi catastrofici. In VM tutto va sempre bene poi quando lo si usa con dati veri iniziano le rogne. Leggendo su Reddit sembra che Oracle stia spingendo anche btrfs perche nella loro versione di EL hanno reintregrato il modulo e le util a differenza di rhel (e di centos, almalinux e rockylinux) che lo hanno completamente tagliato fuori (sia moduli che util). https://forum.armbian.com/topic/16285-why-i-prefer-zfs-over-btrfs/ il discorso che fa il tipo nella prima risposta, che non è un fan btrfs ma neanche zfs anche se usa il secondo, è molto onesto... grazie per la risorsa. ma (al di fuori della licenza) il sistema deve compilare un modulo e ad ogni aggiornamento del kernel dkms deve ricompilarlo e questo mi rende nervoso. Non vorrei che la compilazione con dkms fallisse e il filesystem non più accessibile. welcome to the reality... ZFS l'ho provato in macchina virtuale con volumi in raid1, e a primo sguardo sembra eccellente...l'unica cosa che mi lascia perplesso oltre a dkms è che durante l'installazione viene mostrato una specie di disclaimer dove si dice che si puo andare incontro a problemi legali per la licenza (sapete quali e in quali casi ci si va incontro?). Se non ricordo male Ubuntu lo utilizza e integra senza problemi. Ubuntu lo ha integrato non senza polemiche. Molti pensano che abbiano "interpretato" la licenza in modo "creativo". Ovvio(?) che Oracle non denuncerà mai Canonical ma non è questo il punto... qui siamo in Debian con una filosofia un "filino" diversa ... o no? Ora avendo poca esperienza con tutti e due, qualcuno ha avuto a che fare con questo tipo di filesystem? Avete incontrato particolari problemi? Ci sono alternative valide? Io uso da tempo btrfs sia direttamente con Debian che indirettamente (Synology). Ho letto di Synology e anche sul loro sito ne parlano. Ora vado un attimo off-topic: sulle distro rhel based ci sta anche il VDO e i relativi tool. Praticamente aggiunge un layer per la compressione e deduplicazione. La cosa che mi lascia un po perplesso è che un volume vdo deve presentare una dimensione logica che il filesystem (xfs) va ad usare. Quindi se un fs XFS risultasse usato al 100%, mentre sul volume magari siamo al 30%, bisogna aumentare la logical size e fare un resize del filesystem per fargli avere più spazio...cosi bisogna monitorare sia il filesystem classico sia il volume vdo. Bo devo approfondire anche se ho visto che su debian non c'è traccia di VDO. Ovviamente VDO non è un fs con cow, con integrity, snapshot e varie. Grazie per la risposta.
Re: Filesystem con compressione
On Tue, Oct 19, 2021 at 09:36:33AM +0200, Alessadro Baggi wrote: > Buongiorno a tutta la lista. > > Ho un piccolo server di backup con Debian 11 e 2 dischi da 3TB in raid1 con > mdadm. Il backup lo faccio con uno script rsync. Stavo cercando dei > filesystem che avessero la compressione trasparente e ho trovato btrfs e > ZFS. Leggendo sui due, ho preso nota anche di tutte le altre caratteristiche > come deduplicazione, checksumming e relativo recovery, snapshot, COW > filesystem e varie. > > Leggendo su btrfs da qui [0] sono rimasto abbastanza sfiduciato dai molti > problemi che presenta btrfs. In particolare quale problema ti assilla? > ZFS d'altra parte (se non sbaglio si trova in contrib) è di tutt'altra > pasta, funziona bene vedo che il marketing di Oracle funziona molto bene... sappi che btrfs è usato in ambito enterprise da aziende multinazionali. Se va bene per loro penso possa andare bene anche per te... https://forum.armbian.com/topic/16285-why-i-prefer-zfs-over-btrfs/ il discorso che fa il tipo nella prima risposta, che non è un fan btrfs ma neanche zfs anche se usa il secondo, è molto onesto... > ma (al di fuori della licenza) il sistema deve > compilare un modulo e ad ogni aggiornamento del kernel dkms deve > ricompilarlo e questo mi rende nervoso. Non vorrei che la compilazione con > dkms fallisse e il filesystem non più accessibile. welcome to the reality... > ZFS l'ho provato in > macchina virtuale con volumi in raid1, e a primo sguardo sembra > eccellente...l'unica cosa che mi lascia perplesso oltre a dkms è che durante > l'installazione viene mostrato una specie di disclaimer dove si dice che si > puo andare incontro a problemi legali per la licenza (sapete quali e in > quali casi ci si va incontro?). Se non ricordo male Ubuntu lo utilizza e > integra senza problemi. Ubuntu lo ha integrato non senza polemiche. Molti pensano che abbiano "interpretato" la licenza in modo "creativo". Ovvio(?) che Oracle non denuncerà mai Canonical ma non è questo il punto... qui siamo in Debian con una filosofia un "filino" diversa ... o no? > Ora avendo poca esperienza con tutti e due, qualcuno ha avuto a che fare con > questo tipo di filesystem? Avete incontrato particolari problemi? Ci sono > alternative valide? Io uso da tempo btrfs sia direttamente con Debian che indirettamente (Synology). -- Saluton, Marco Ciampa
Re: Filesystem con compressione
Il 19/10/2021 10:32, Alessadro Baggi ha scritto: Il 19/10/21 10:27, Bertorello, Marco ha scritto: Il 19/10/2021 09:36, Alessadro Baggi ha scritto: Buongiorno a tutta la lista. Ho un piccolo server di backup con Debian 11 e 2 dischi da 3TB in raid1 con mdadm. Il backup lo faccio con uno script rsync. Stavo cercando dei filesystem che avessero la compressione trasparente e ho trovato btrfs e ZFS. Leggendo sui due, ho preso nota anche di tutte le altre caratteristiche come deduplicazione, checksumming e relativo recovery, snapshot, COW filesystem e varie. Leggendo su btrfs da qui [0] sono rimasto abbastanza sfiduciato dai molti problemi che presenta btrfs. ZFS d'altra parte (se non sbaglio si trova in contrib) è di tutt'altra pasta, funziona bene ma (al di fuori della licenza) il sistema deve compilare un modulo e ad ogni aggiornamento del kernel dkms .. Grazie a tutti in anticipo e per il tempo dedicato. [0] https://wiki.debian.org/Btrfs Non lo uso per macchine fisiche, ma so che sono supportate attraverso un agent, tuttavia mi sento di consigliarti questo: https://www.proxmox.com/en/proxmox-backup-server Puo' usare ZFS e, nel caso, farebbe sia compressione che deduplica. Io lo uso con molta soddisfazione fin dalle prime beta. Puo' anche essere usato per replicare i backup verso un altro PBS (io lo uso cosi' per il backup off-site via VPN e lo trovo davvero efficiente). Saluti, Ciao e grazie per la risposta. grazie per la risorsa. Tu hai avuto esperienze con ZFS? Si, lo uso sia su PBS che su PVE (soluzione di virtualizzazione di Proxmox) e non posso dirne che bene. Mi ha risolto diversi problemi con le sue feature: sostituisce il RAID, prevede l'utilizzo della cache (ad es. io lo uso con una partizione di un disco SSD come cache per 2 dischi meccanici nell'equivalente di un RAID0, la replica su altri host configurati in maniera identica mi mette al riparo dalla rottura di un disco e questo setup mi da le performance che mi servono), ha le repliche, gli snapshot ecc. L'unico caso in cui mi ha dato grattacapi e' quando sopra ho voluto metterci docker, ma magari (probabilmente) ho sbagliato qualcosa io :) Su BTRFS purtroppo non ho mai avuto esperienze, ma mi sembra che sia una "bella promessa" da un po' troppo tempo ormai, senza mai essere adottato piu' di tanto. Ciao, -- Marco Bertorello https://www.marcobertorello.it OpenPGP_0x5B7B17E82E9F51CE.asc Description: OpenPGP public key OpenPGP_signature Description: OpenPGP digital signature
Re: Filesystem con compressione
Il 19/10/21 10:27, Bertorello, Marco ha scritto: Il 19/10/2021 09:36, Alessadro Baggi ha scritto: Buongiorno a tutta la lista. Ho un piccolo server di backup con Debian 11 e 2 dischi da 3TB in raid1 con mdadm. Il backup lo faccio con uno script rsync. Stavo cercando dei filesystem che avessero la compressione trasparente e ho trovato btrfs e ZFS. Leggendo sui due, ho preso nota anche di tutte le altre caratteristiche come deduplicazione, checksumming e relativo recovery, snapshot, COW filesystem e varie. Leggendo su btrfs da qui [0] sono rimasto abbastanza sfiduciato dai molti problemi che presenta btrfs. ZFS d'altra parte (se non sbaglio si trova in contrib) è di tutt'altra pasta, funziona bene ma (al di fuori della licenza) il sistema deve compilare un modulo e ad ogni aggiornamento del kernel dkms .. Grazie a tutti in anticipo e per il tempo dedicato. [0] https://wiki.debian.org/Btrfs Non lo uso per macchine fisiche, ma so che sono supportate attraverso un agent, tuttavia mi sento di consigliarti questo: https://www.proxmox.com/en/proxmox-backup-server Puo' usare ZFS e, nel caso, farebbe sia compressione che deduplica. Io lo uso con molta soddisfazione fin dalle prime beta. Puo' anche essere usato per replicare i backup verso un altro PBS (io lo uso cosi' per il backup off-site via VPN e lo trovo davvero efficiente). Saluti, Ciao e grazie per la risposta. grazie per la risorsa. Tu hai avuto esperienze con ZFS?
Re: Filesystem con compressione
Il 19/10/2021 09:36, Alessadro Baggi ha scritto: Buongiorno a tutta la lista. Ho un piccolo server di backup con Debian 11 e 2 dischi da 3TB in raid1 con mdadm. Il backup lo faccio con uno script rsync. Stavo cercando dei filesystem che avessero la compressione trasparente e ho trovato btrfs e ZFS. Leggendo sui due, ho preso nota anche di tutte le altre caratteristiche come deduplicazione, checksumming e relativo recovery, snapshot, COW filesystem e varie. Leggendo su btrfs da qui [0] sono rimasto abbastanza sfiduciato dai molti problemi che presenta btrfs. ZFS d'altra parte (se non sbaglio si trova in contrib) è di tutt'altra pasta, funziona bene ma (al di fuori della licenza) il sistema deve compilare un modulo e ad ogni aggiornamento del kernel dkms deve ricompilarlo e questo mi rende nervoso. Non vorrei che la compilazione con dkms fallisse e il filesystem non più accessibile. ZFS l'ho provato in macchina virtuale con volumi in raid1, e a primo sguardo sembra eccellente...l'unica cosa che mi lascia perplesso oltre a dkms è che durante l'installazione viene mostrato una specie di disclaimer dove si dice che si puo andare incontro a problemi legali per la licenza (sapete quali e in quali casi ci si va incontro?). Se non ricordo male Ubuntu lo utilizza e integra senza problemi. Ora avendo poca esperienza con tutti e due, qualcuno ha avuto a che fare con questo tipo di filesystem? Avete incontrato particolari problemi? Ci sono alternative valide? Grazie a tutti in anticipo e per il tempo dedicato. [0] https://wiki.debian.org/Btrfs Non lo uso per macchine fisiche, ma so che sono supportate attraverso un agent, tuttavia mi sento di consigliarti questo: https://www.proxmox.com/en/proxmox-backup-server Puo' usare ZFS e, nel caso, farebbe sia compressione che deduplica. Io lo uso con molta soddisfazione fin dalle prime beta. Puo' anche essere usato per replicare i backup verso un altro PBS (io lo uso cosi' per il backup off-site via VPN e lo trovo davvero efficiente). Saluti, -- Marco Bertorello https://www.marcobertorello.it OpenPGP_0x5B7B17E82E9F51CE.asc Description: OpenPGP public key OpenPGP_signature Description: OpenPGP digital signature
Filesystem con compressione
Buongiorno a tutta la lista. Ho un piccolo server di backup con Debian 11 e 2 dischi da 3TB in raid1 con mdadm. Il backup lo faccio con uno script rsync. Stavo cercando dei filesystem che avessero la compressione trasparente e ho trovato btrfs e ZFS. Leggendo sui due, ho preso nota anche di tutte le altre caratteristiche come deduplicazione, checksumming e relativo recovery, snapshot, COW filesystem e varie. Leggendo su btrfs da qui [0] sono rimasto abbastanza sfiduciato dai molti problemi che presenta btrfs. ZFS d'altra parte (se non sbaglio si trova in contrib) è di tutt'altra pasta, funziona bene ma (al di fuori della licenza) il sistema deve compilare un modulo e ad ogni aggiornamento del kernel dkms deve ricompilarlo e questo mi rende nervoso. Non vorrei che la compilazione con dkms fallisse e il filesystem non più accessibile. ZFS l'ho provato in macchina virtuale con volumi in raid1, e a primo sguardo sembra eccellente...l'unica cosa che mi lascia perplesso oltre a dkms è che durante l'installazione viene mostrato una specie di disclaimer dove si dice che si puo andare incontro a problemi legali per la licenza (sapete quali e in quali casi ci si va incontro?). Se non ricordo male Ubuntu lo utilizza e integra senza problemi. Ora avendo poca esperienza con tutti e due, qualcuno ha avuto a che fare con questo tipo di filesystem? Avete incontrato particolari problemi? Ci sono alternative valide? Grazie a tutti in anticipo e per il tempo dedicato. [0] https://wiki.debian.org/Btrfs
