Добрый день,

fsck в случае чего может спокойно длиться много часов в случае крэша на UFS: на 
ext4 и прочих журналируемых под линуксом - аналогично, за исключением btrfs, но 
с ним плотно (пока) еще не работали. А еще в процессе fsck можно поймать 
какой-то паник или oom. Необязательно это будет питание (я про некондиционный 
shutdown), это может быть какая-то ядерная протечка и паник, паник при замене 
(отключении, выпадении) диска (бэкплейна) от контроллера, паник от 
некорректируемой ошибки в ECC, сетевухи тоже паничат :)

Проведенные исследования инхаус показали:
* у линукса самая быстрая и автотюнерная файловая система (ext4, btrfs), но ->
* у freebsd есть отличный zfs, но он драматически медленнее линуксов (на 
количестве файловых операций, там пока всё очень не ок, но в целом дле веба 
очень ок) но и настолько же надежнее их, хотя мы пока боремся с утечкой в L2ARC 
и компрессией: течет. сильно.
* zfs драматически тяжело "убить" + оно поднимается даже из самых жестоких 
крэшей как ни в чем не бывало. если не поднимается, zdb в руки.
* ufs - анахронизм, отказались от него

Подчеркну: получить некондиционный крэш - проще простого на любой системе 
(железо несовершенно, софт тоже), fsck может длиться бесконечно долго на ufs и 
в итоге можно получить в процессе fsck (хорошо еще если не в процессе repair'а) 
еще один крэш и потерять еще стопицот часов на downtime, копируя файлы со 
смонтированной RO FS. А еще во время fsck может вылететь диск и конрроллер 
может начать восстановление :-)

PS: raid - зло, от него больше проблем, чем пользы. Во время восстановления 
(инхаус) raid5 в половине случаев отказывает второй диск. 

> Господа, а кто держит большие файлохранилища на фре? Досталось тут одно 
> хозяйство, веб-хайлоад, более 1.2Т картинок (>4М файлов), порядка 80qps 
> (все нормально разнесено по каталогам <1000 файлов), пробую перевести 
> сервер статики под топик - безбожные тормоза, gstat показывает задержки 
> порядка 40-60мс, на линупсе неправославном все работает нормально при 
> сравнимых дисках и их конфигурации. Что посоветуете покрутить?
> 

Ответить