Hi!

TL;DR:
A) RAID6 + XFS + regelmäßige Prüfung.
B) ZFS.
Beides erfüllt all' Deine Anforderungen.



Ich setze auf XFS auf einem md-RAID6+wöchentlicher Konsistenzprüfung:
for i in /sys/block/md*/md/sync_action ; do echo repair > $i ; done

In das 16TB-"Loch" mit ext bin ich auch gerannt, es half nur das "Borgen" von 
Plattenplatz. Seitdem lasse ich die Finger von ext-Dateisystemen (außer 
"/boot": ext2 + sync-flag).

Vorteile von XFS:
* flott, intern parallel, stabil, 30 Jahre Erfahrung (Werbeartikel: 
"https://en.wikipedia.org/wiki/XFS";)
* liest beim mount die "striping"-Metadaten des md-Treibers und passt sich an
* Vergrößerung geschieht online (md-Platte dazu, xfs_growfs, fertig)

Nachteile:
* Reparaturmöglichkeiten eines Dateisystems mit mangelhafter interner 
Konsistenz sind _SEHR_ begrenzt (80% Schaden in den internen Datenstrukturen 
oder ein "guter" Treffer: Totalverlust. Bei ext ist da noch was zu retten, da 
die internen Datenstrukturen an berechenbaren Plätzen stehen.)
* XFS kann nur wachsen. Verkleinern des Dateisystems ist _NICHT_ möglich.

BTRFS (aka "betray-FS") habe ich nicht probiert, weil ich zu der Zeit, als die 
Möglichkeit dazu bestand, nur schlechtes gehört habe 
("https://lwn.net/Articles/393144/";). Das Original ist ZFS. Sogar Debian 
liefert Pakete.


Viele Grüße
Sebastian



>> Martin Schuchardt <kruemel...@gmx.de> writes:
>> 
>>> Zielstellung:
>>> ich habe derzeit 5 10TB Festplatten und möchte aus diesen einen Ersatz
>>> für mein System bauen (bei 5 Platten komme ich mit RAID 5 noch klar,
>>> kann aber auch RAID 6 nutzen). Nur suche und suche ich nach den besten
>>> Möglichkeiten und brauche ein paar neue Anreize.
>>> 
>>> Probleme in der Vergangenheit:
>>> Ich habe schnell merken müssen, dass wenn man die 16TB Grenze verlässt,
>>> man gewissen Einschränkungen hat. Vergrößern ist beispielsweise seitens
>>> ext4 meines Wissens nach nicht mehr möglich. Einmal eingerichtet steht
>>> die Größe.
>> Es gab Probleme, ein ext4-Dateisystem kleiner 16TB auf eine Größe größer
>> 16TB zu vergrößern. Inwiefern es diese Probleme noch gibt, weiß ich
>> nicht.
>> 
>> Aber: Es ist kein Problem, ein Dateisystem, daß mit mke2fs neu
>> eingerichtet bereits größer als 16 TB ist, anschließend weiter zu
>> vergrößern. Mach ich ab und zu.
>> 
>>> folgende Anforderungen:
>>> * RAID Funktionalität (RAID 5 / RAID 6 ggf. auch konvertierbar)
>>> * RAID Vergrößerung (hinzufügen einer weiteren Platte identischer Größe)
>>> sollte machbar sein
>>> * Dateisystem sollte online erweiterbar sein (hinzufügen einer Platte)
>> Bis hierher würde ich tatsächlich ext4 nehmen; mit XFS habe ich keine
>> Erfahrung.
>> 
>>> * optional: Snapshot funktionalität
>> Wenn das auch COW (Copy-on-Write) heißt, würde ich btrfs nehmen. Aber
>> nicht BTRFS das RAID machen lassen, sondern darunter Linux-MD und
>> wahlweise noch LVM. Habe ich auch so im Einsatz.
>> 
>>> Als absolutes Bonbon wäre noch, dass man, wie bei ZFS (unter Freenas)
>>> durch den Austausch der Festplatten von derzeit 10TB auf sagen wir 20TB
>>> Platten) das RAID ebenfalls vergrößern kann.
>> Kann man doch mit Linux-MD-RAID auch (mdadm --grow --size max). Oder ich
>> hab deine Anforderung falsch verstanden.
>> 
>>      Sven

Antwort per Email an