Re: Empfehlung für RAID / Dateisystem gesucht

2019-03-31 Diskussionsfäden Carsten Weber
Hi,

> bitte fragt nicht nach dem Grund, aber ich habe Privat eine Menge
> Daten zu beherbergen. Derzeitige Größenordnung etwa 30TB.

Die wichtigste Fragen dabei sind: Wie katastrophal wäre Verlust, und
wie katastrophal wäre UNBEMERKTE Veränderung? Ist der Datenbestand
dahingehend homogen und anspruchslos, oder hast du mglw. einen kleinen
Teil Daten, der dir sehr viel wichtiger ist als der Rest?


Ich selbst habe nur knapp 10TB Daten, davon ist aber von einem Teil im
Zweifelsfall der Verlust verschmerzbar, von einem anderen Teil aber
nicht, und von dem Teil möchte ich auch gnz sicher sein, dass das
nicht einfach unbemerkt kaputtgeht. Unbemerkte Fehler gibts nicht? Aber
klar ;) Festplatten sind zwar vergleichsweise zuverlässig im Gegensatz
zu USB-Sticks oder SD-Karten, daher ist es "eher unwahrscheinlich",
gerade auch wegen der UBE-Raten, die meistens besser sind als angegeben
- aber ich habe zum Spaß ein RAIDZ3 aus sieben USB-Sticks gebaut, und
seither vertraue ich denen nichtmal so weit, wie ich sie werfen kann -
Markenprodukt hin oder her.



> Ich hatte zwischenzeitlich auch
> schon mit FreeNAS und zfs geliebäugelt, aber die Tatsache, dass man
> einen Pool durch hinzufügen weiterer Platten nicht vergrößern kann,
> schreckt mich nun ab.

Ich würde nicht die Luft anhalten bis zum Release, und es wird auch
noch viele Jahre dauern, bis es nachgewiesen stabil läuft, aber ein
nachträgliches Verändern von zpools wird irgendwann möglich werden.
Ersatzen von Festplatten durch größere ist dagegen leicht möglich
nutzbar, sobald ALLE Festplatten des zpools vergrößert wurden),
hinzufügen weiterer zpools auch.


> Ich hab jetzt BTRFS versucht, das sieht gar nicht so schlecht aus

Meine Meinung zu BTRFS halte ich in einer Linux-Liste besser etwas
zurück. Die Entwicklung stammt m.E. aus dem Lizenz-Foo, der entsteht,
wenn man ZFS und Linux verheiraten will, und ein bisschen
not-invented-here.

Lizenztechnisch ist das insofern gelöst, als dass heutzutage der
Quellcode einfach auf deinem System gebaut wird, das dauert etwas
länger und kostet Platz, ja - aber es ist z.B. in Debian völlig vom
Benutzer wegabstrahiert. Ob das vorkompiliert kommt oder lokal gebaut
wird, merkst du nicht wirklich.

Zu BTRFS zu sagen ist, dass die einzigen Systeme von zig hundert VMs,
mit denen wir auf Arbeit jemals großflächig Probleme hatten, waren
solche mit BTRFS. Und wer im Raid-Code Bugs hat, die zu Datenverlust
führen, kommt auch erstmal noch fünf Jahre auf die
Schau-ich-mir-vielleicht-später-nochmal-an-Liste.


> Als absolutes Bonbon wäre noch, dass man, wie bei ZFS (unter Freenas)
> durch den Austausch der Festplatten von derzeit 10TB auf sagen wir
> 20TB Platten) das RAID ebenfalls vergrößern kann.

Das kannst du vermutlich nicht nur mit ZFS. Und übrigens hat ZFS nix
mit FreeNAS zu tun. Zum einen gibt es da noch NAS4free, wenn es schon
eine Appliance sein muss anstatt z.B. einem nackten FreeBSD. Zum
anderen gibt es ZFSonLinux, schon seit vielen Jahren und mittlerweile
hinreichend stabil, und künftig möglicherweise der
Hauptentwicklungszweig von ZFS.


Ich habe mich oben zurückzuhalten versucht, meine Bevorzugung von ZFS
nicht zu laut werden zu lassen - ist vermutlich trotzdem jedem
aufgefallen :D
Das heißt nicht, dass es DAS Eierlegendewollmilchsaudateisystem wäre.
Genau genommen kann es ziemlich teuer werden, wenn man Wert auf seine
Daten legt und daher ZFS verwendet. Ich habe (trotz dass es rein
technisch nicht zwingend erforderlich wäre) ein System mit ECC-RAM
und SAS-Controller für den Tagesbetrieb - und ein weiteres mit ECC-RAM,
SAS-Controller, externem HDD-Shelf inkl. SAS-Expander, und
LTO4-Tabelibrary als Backup. Warum? Weil ich gern meine Daten
langfristig behalten möchte, und dabei sicher sein will, dass das, was
ich heute drauf schreibe, auch morgen noch zuverlässig gelesen werden
kann. Und ich kann in meinen Daten zurückspulen, da ich täglich einen
Snapshot aufhebe. "Luxux" - ja. Ist's mir wert.


Carsten


pgp8Pmn0doHh3.pgp
Description: Digitale Signatur von OpenPGP


Empfehlung für RAID / Dateisystem gesucht

2019-03-31 Diskussionsfäden Martin Schuchardt
Hallo Kollegen,

bitte fragt nicht nach dem Grund, aber ich habe Privat eine Menge Daten
zu beherbergen. Derzeitige Größenordnung etwa 30TB.

Ich hatte bisher durch ein Konglomerat von 2TB / 3TB und 4TB Platten ein
Software-RAID (raid 6) aufgebaut und darauf xfs. Früher hatte ich
reiserfs auf meinen Systemen, bin dann aber später auf xfs bzw. ext4
gewandert. Auf diesen Dateisystemen habe ich also eine gewisse Erfahrung.

Zielstellung:
ich habe derzeit 5 10TB Festplatten und möchte aus diesen einen Ersatz
für mein System bauen (bei 5 Platten komme ich mit RAID 5 noch klar,
kann aber auch RAID 6 nutzen). Nur suche und suche ich nach den besten
Möglichkeiten und brauche ein paar neue Anreize.

Probleme in der Vergangenheit:
Ich habe schnell merken müssen, dass wenn man die 16TB Grenze verlässt,
man gewissen Einschränkungen hat. Vergrößern ist beispielsweise seitens
ext4 meines Wissens nach nicht mehr möglich. Einmal eingerichtet steht
die Größe. Ich hatte zwischenzeitlich auch schon mit FreeNAS und zfs
geliebäugelt, aber die Tatsache, dass man einen Pool durch hinzufügen
weiterer Platten nicht vergrößern kann, schreckt mich nun ab. Daher
meine Frage an Euch: habt Ihr Ideen?

folgende Anforderungen:
* RAID Funktionalität (RAID 5 / RAID 6 ggf. auch konvertierbar)
* RAID Vergrößerung (hinzufügen einer weiteren Platte identischer Größe)
sollte machbar sein
* Dateisystem sollte online erweiterbar sein (hinzufügen einer Platte)
* optional: Snapshot funktionalität

Ich hab jetzt BTRFS versucht, das sieht gar nicht so schlecht aus, aber
ich habe die oben genannten Punkte noch nicht testen können. Aber die
Aussagen über BTRFS scheinen vielversprechend (mit Ausnahme, dass RHEL
btrfs aus seinem Repertoire genommen hat).

Jemand eine Idee?

Als absolutes Bonbon wäre noch, dass man, wie bei ZFS (unter Freenas)
durch den Austausch der Festplatten von derzeit 10TB auf sagen wir 20TB
Platten) das RAID ebenfalls vergrößern kann.

wie gesagt: nur Ideen.

mit freundlichen Grüßen
Martin



signature.asc
Description: OpenPGP digital signature