On 01/19/14 01:09, Anton Sayetsky wrote:
Размер хранилища - 100+ ТиБ, средний размер файлов - от 1 до 10 ГиБ,
трафик - 4-5 Гбит/с, ~400 сессий, до 3-х коннектов на каждую.
Требуемый протокол отдачи - HTTP.
В плане софта выбор пал на FreeBSD 9.2-RELEASE amd64, ZFS, nginx. В
связи с вышеизложенным возникли некоторые вопросы:
1. Правильно ли я понимаю, что для данных параметров о UFS можно
забыть? (Боюсь даже представить, сколько времени на устройстве такого
размера может выполняться fsck, например.)

В данной постановке задачи - хранить 100+ ТиБ в _одной_ файловой системе ZFS пожалуй подойдет лучше.

Но если задача ставится более обще - хранить и быстро раздавать 100+ Tb файлов, я бы вместо одного хранилища сделал много маленьких.

Например поставил бы несколько серверов по 12 HDD по 4 Tb в каждом. С учётом зеркалирования (повышает и скорость отдачи и надёжность) это будет 5 серверов. Если 100+Тиб это не сейчас а в перспективе то сервера можно добавлять по одному.

Внутри одного сервера так же делать не одну большую файловую систему, а несколько независимых.

Управление контентом конечно усложнится, придётся написать немного софта или допилить существующий, но зато надёжность и производительность такого решения будет выше.

Да и UFS можно будет использовать даже без SUJ - когда все диски проверяются параллельно времени на это уходит заметно меньше, чем в случае одной большой FS из всех дисков.

Ответить