Re: [freebsd] ZFS: 2Gb оперативки
03.10.2011 12:43, Denis Zaika пишет: On 03.10.2011 12:29, Denis Zaika wrote: 30.09.2011 22:29, Alexander Panyushkin пишет: On 30.09.2011 18:16, Mykola Dzham wrote: On Fri, 30 Sep 2011 16:25:48 +0300, Alexander Panyushkin wrote: 3 диска добавлены опосля, работает уже пол-года, но добавилось именно такой ступенькой (со смещением 3-х дисков при листинге) Да, кстати говоря, пока что raidz не поддерживает расширение (и неясно будет ли поддерживать в будущем), расширять пулы можно, добавляя новые пулы. Т.е. в вашем случае можно было бы сделать raidz1 из первых трех провайдеров, а потом добавить к нему (zpool add) еще один raidz1 из остальных трех. Вот отличная статья в тему: http://blogs.oracle.com/roch/entry/when_to_and_not_to да я понял что-то типа страйп с 2-х raidz, но так меня не устраивает. вообщем с кеша можно выдернуть 2 винта и на них все слить...
Re: [freebsd] ZFS: 2Gb оперативки
03.10.2011 12:29, Denis Zaika пишет: 30.09.2011 22:29, Alexander Panyushkin пишет: On 30.09.2011 18:16, Mykola Dzham wrote: On Fri, 30 Sep 2011 16:25:48 +0300, Alexander Panyushkin wrote: 3 диска добавлены опосля, работает уже пол-года, но добавилось именно такой ступенькой (со смещением 3-х дисков при листинге) zpool status pool: zua state: ONLINE scan: scrub repaired 0 in 0h5m with 0 errors on Mon Aug 1 09:46:26 2011 config: NAMESTATE READ WRITE CKSUM zuainfo ONLINE 0 0 0 raidz2-0 ONLINE 0 0 0 gpt/disk00 ONLINE 0 0 0 gpt/disk01 ONLINE 0 0 0 gpt/disk02 ONLINE 0 0 0 gpt/disk03ONLINE 0 0 0 gpt/disk04ONLINE 0 0 0 gpt/disk05ONLINE 0 0 0 cache amrd7 ONLINE 0 0 0 amrd6 ONLINE 0 0 0 errors: No known data errors Я надеюсь Вы понимаете что при смерти _одного_ _любого_ диска из disk03-disk05 Вы потеряете весь zuainfo ? И в чем тут опасность ? raidz2 допускает вылет 2-х дисков. Или я что-то не так понимаю, или Вы чего-то не договорили... Договариваю. Диски 00-02 - часть raidz2 (общая емкость пула, подозреваю, равна емкости наименьшего из них, т.е. по надежности/емкости это то же, что и зеркало из трех дисков), а вот с остальными уже хуже - в zuainfo сделан конкат из пула raidz2-0 и трех провайдеров disk03-05. Это конечно не RAID0, но все равно выход из строя любого из них приведет к разрушению пула. угу понял, буду перестраивать...
Re: [freebsd] ZFS: 2Gb оперативки
On 03.10.2011 12:29, Denis Zaika wrote: > 30.09.2011 22:29, Alexander Panyushkin пишет: >> On 30.09.2011 18:16, Mykola Dzham wrote: >>> On Fri, 30 Sep 2011 16:25:48 +0300, Alexander Panyushkin wrote: 3 диска добавлены опосля, работает уже пол-года, но добавилось именно такой ступенькой (со смещением 3-х дисков при листинге) Да, кстати говоря, пока что raidz не поддерживает расширение (и неясно будет ли поддерживать в будущем), расширять пулы можно, добавляя новые пулы. Т.е. в вашем случае можно было бы сделать raidz1 из первых трех провайдеров, а потом добавить к нему (zpool add) еще один raidz1 из остальных трех. Вот отличная статья в тему: http://blogs.oracle.com/roch/entry/when_to_and_not_to zpool status pool: zua state: ONLINE scan: scrub repaired 0 in 0h5m with 0 errors on Mon Aug 1 09:46:26 2011 config: NAMESTATE READ WRITE CKSUM zuainfo ONLINE 0 0 0 raidz2-0 ONLINE 0 0 0 gpt/disk00 ONLINE 0 0 0 gpt/disk01 ONLINE 0 0 0 gpt/disk02 ONLINE 0 0 0 gpt/disk03ONLINE 0 0 0 gpt/disk04ONLINE 0 0 0 gpt/disk05ONLINE 0 0 0 cache amrd7 ONLINE 0 0 0 amrd6 ONLINE 0 0 0 errors: No known data errors >>> >>> Я надеюсь Вы понимаете что при смерти _одного_ _любого_ диска >>> из disk03-disk05 Вы потеряете весь zuainfo ? >>> >> И в чем тут опасность ? raidz2 допускает вылет 2-х дисков. >> Или я что-то не так понимаю, или Вы чего-то не договорили... > > Договариваю. Диски 00-02 - часть raidz2 (общая емкость пула, подозреваю, > равна емкости наименьшего из них, т.е. по надежности/емкости это то же, > что и зеркало из трех дисков), а вот с остальными уже хуже - в zuainfo > сделан конкат из пула raidz2-0 и трех провайдеров disk03-05. Это конечно > не RAID0, но все равно выход из строя любого из них приведет к > разрушению пула. > -- Cheers, Denis Zaika,ZDS-RIPE "Soniko-svyaz" NOC engineer,ZDS-UANIC Donetsk, UkraineZDS-EUNIC +380933407844, +380623323232
Re: [freebsd] ZFS: 2Gb оперативки
30.09.2011 22:29, Alexander Panyushkin пишет: > On 30.09.2011 18:16, Mykola Dzham wrote: >> On Fri, 30 Sep 2011 16:25:48 +0300, Alexander Panyushkin wrote: >>> 3 диска добавлены опосля, работает уже пол-года, >>> но добавилось именно такой ступенькой (со смещением 3-х дисков при >>> листинге) >>> >>> zpool status >>> pool: zua >>> state: ONLINE >>> scan: scrub repaired 0 in 0h5m with 0 errors on Mon Aug 1 09:46:26 >>> 2011 >>> config: >>> >>> NAMESTATE READ WRITE CKSUM >>> zuainfo ONLINE 0 0 0 >>> raidz2-0 ONLINE 0 0 0 >>> gpt/disk00 ONLINE 0 0 0 >>> gpt/disk01 ONLINE 0 0 0 >>> gpt/disk02 ONLINE 0 0 0 >>> gpt/disk03ONLINE 0 0 0 >>> gpt/disk04ONLINE 0 0 0 >>> gpt/disk05ONLINE 0 0 0 >>> cache >>> amrd7 ONLINE 0 0 0 >>> amrd6 ONLINE 0 0 0 >>> >>> errors: No known data errors >> >> Я надеюсь Вы понимаете что при смерти _одного_ _любого_ диска >> из disk03-disk05 Вы потеряете весь zuainfo ? >> > И в чем тут опасность ? raidz2 допускает вылет 2-х дисков. > Или я что-то не так понимаю, или Вы чего-то не договорили... Договариваю. Диски 00-02 - часть raidz2 (общая емкость пула, подозреваю, равна емкости наименьшего из них, т.е. по надежности/емкости это то же, что и зеркало из трех дисков), а вот с остальными уже хуже - в zuainfo сделан конкат из пула raidz2-0 и трех провайдеров disk03-05. Это конечно не RAID0, но все равно выход из строя любого из них приведет к разрушению пула. -- Cheers, Denis Zaika,ZDS-RIPE "Soniko-svyaz" NOC engineer,ZDS-UANIC Donetsk, UkraineZDS-EUNIC +380933407844, +380623323232
Re: [freebsd] ZFS: 2Gb оперативки
28.09.2011 15:39, Владимир Друзенко пишет:
Огромное спасибо всем за ответы!
Немного резюмирую сказанное всеми + то, что сам нагуглил:
1. ZFS на 2Gb памяти вполне себе жизнеспособен даже при нагрузке;
2. amd64 для ZFS лучше чем i386, не смотря на то, что памяти всего 2Gb;
3. dedup на таком конфиге и при желании увеличить скорость обмена с
дисками совсем не жилец - и памяти ему подавай и скорость в итоге
только падает ("в среднем по больнице");
4. compression=gzip (любой уровень) тоже не жилец - даже на
существенно более производительных процессорах наблюдается падение
скорости записи в разы, но на сервере бэкапов может вполне пригодиться;
5. compression=lzjb при хранении хорошо-сжимаемого контента (например
документы офисных приложений) может не только сэкономить место, но и
скорость увеличить, но здесь без тестов не обойтись и я это
обязательно проделаю как появится возможность;
6. Процессора на всё это добро хватит, надеюсь даже на compression=lzjb;
7. Аппаратный RAID не панацея и действительно может оказаться хуже по
ключевым для файл-сервера показателям (таким как скорость обмена с
дисками - линейная и IOPS), чем софтварный на zfs (тоже проведу ещё
ряд тестирований, в том числе с ChunkSize 64Kb - хотя бы для
успокоения души);
Установил 9.0-BETA3.
Вот какая железка:
# pciconf -lv | grep -A4 twa
twa0@pci0:5:2:0:class=0x010400 card=0x100313c1 chip=0x100313c1
rev=0x00 hdr=0x00
vendor = '3ware Inc'
device = '9550SX SATA-II RAID PCI-X'
class = mass storage
subclass = RAID
Создал RAID5 с ChunkSize 64Kb. Всё стало еще более уныло: dd (с bs=1M,
16M) выдаёт около 60, но как-то не стабильно - то 55, а то 67Mb/s.
diskinfo -t /dev/da0 тоже не блещет постоянством (при этом на машинке
вообще ничего не делается):
Transfer rates:
outside: 102400 kbytes in 1.470584 sec =69632
kbytes/sec
middle:102400 kbytes in 1.510843 sec =6
kbytes/sec
inside:102400 kbytes in 1.229457 sec =83289
kbytes/sec
Transfer rates:
outside: 102400 kbytes in 1.496176 sec =68441
kbytes/sec
middle:102400 kbytes in 1.223109 sec =83721
kbytes/sec
inside:102400 kbytes in 1.221118 sec =83858
kbytes/sec
Transfer rates:
outside: 102400 kbytes in 1.435923 sec =71313
kbytes/sec
middle:102400 kbytes in 1.467965 sec =69756
kbytes/sec
inside:102400 kbytes in 1.322657 sec =77420
kbytes/sec
Думал, что может он ещё строит RAID5 и поэтому такие не ровные результаты.
Установил sysutils/tw_cli:
# /usr/local/sbin/tw_cli /c0 show
Unit UnitType Status %RCmpl %V/I/M Stripe Size(GB) Cache
AVrfy
--
u0RAID-5OK - - 64K 1396.95 ON OFF
Port Status Unit SizeBlocksSerial
---
p0 OK u0 465.76 GB 976773168 S0MUJ1DQ112329
p1 OK u0 465.76 GB 976773168 S0MUJ1DQ112330
p2 OK u0 465.76 GB 976773168 S0MUJ1DQ112327
p3 OK u0 465.76 GB 976773168 S0MUJ1DQ112326
Судя по "Status OK" RAID5 уже построился, да и времени уже прошло
~полтора суток.
Тогда в чём причины такой низкой скорости - тормозной контроллер?
Сейчас ещё пересоберу ядро - выкину всякие INVARIANTS, WITNESS и т.д.,
но не думаю, что это поможет...
Вот ещё нагуглил интересую переписку:
http://freebsd.1045724.n5.nabble.com/twa-driver-and-3ware-9690SA-issues-td4074766.html
"I had a 16 disk 3ware SATA RAID6, with UFS, and battery-backed cache.
I converted to a 14 disk ZFS software RAIDZ2 with a smaller 3ware
mirrored boot disk.
Quick benchmarked using dd as follows:
Creating a 6GB file: UFS+3ware=308mb/s ZFS=357mb/s
Reading a 6GB file: UFS+3ware=113mb/s ZFS=424mb/s"
Так что всё идёт к тому, что будет raidz вместо аппаратного RAID5.
Кто-то спрашивал какая пропускная способность сети.
Отвечаю: на маме две гигабитныесетевухи, сеть везде гигабит и все
сервера, а так же большая часть рабочих станций с гигабитными
сетевухами подключены к 48 портовому гигабитному свитчу "GSM7248 L2
Managed Gigabit Switch".
Реальную скорость между двумя машинками по NFS я видел и 117Mbytes/s!
Так что дисковая подсистема имеет шанс стать узким местом.
По поводу 9.0 вместо 8.1: для тестов думаю можно BETA2 (просто тогда я
ставил не было даже BETA1), но в продакшн точно BETA2 не вариант. Да и
текущий RELENG_8 не очень хочется - это значит, что через пол годика
надо будет всё равно обновляться до 9.0 (ну может до 9.1 через годик).
Всяко лишняя работа. (Просьба не разводитьв этом топикефлейм на тему
"старое проверенное временем и стабильное ПО лучший выбор для продакшн".)
Встречный вопрос - может кто знает в чём причина задержки и когда
[freebsd] Re: [freebsd] ZFS: 2Gb оперативки
zpool status pool: zua state: ONLINE scan: scrub repaired 0 in 0h5m with 0 errors on Mon Aug 1 09:46:26 2011 config: NAMESTATE READ WRITE CKSUM zuainfo ONLINE 0 0 0 raidz2-0 ONLINE 0 0 0 gpt/disk00 ONLINE 0 0 0 gpt/disk01 ONLINE 0 0 0 gpt/disk02 ONLINE 0 0 0 gpt/disk03ONLINE 0 0 0 gpt/disk04ONLINE 0 0 0 gpt/disk05ONLINE 0 0 0 cache amrd7 ONLINE 0 0 0 amrd6 ONLINE 0 0 0 errors: No known data errors Я надеюсь Вы понимаете что при смерти _одного_ _любого_ диска из disk03-disk05 Вы потеряете весь zuainfo ? И в чем тут опасность ? raidz2 допускает вылет 2-х дисков. Или я что-то не так понимаю, или Вы чего-то не договорили... Вам намекают, что в raidz2 у вас только диски 00-02, а диски 03-05 входят в пул напрямую. Соответственно, если один этих дисков сдохнет, вместе с ним сдохнет и весь пул. -- С уважением, Алексей Марков.
Re: [freebsd] ZFS: 2Gb оперативки
30.09.2011 23:29, Alexander Panyushkin пишет: On 30.09.2011 18:16, Mykola Dzham wrote: On Fri, 30 Sep 2011 16:25:48 +0300, Alexander Panyushkin wrote: 3 диска добавлены опосля, работает уже пол-года, но добавилось именно такой ступенькой (со смещением 3-х дисков при листинге) zpool status pool: zua state: ONLINE scan: scrub repaired 0 in 0h5m with 0 errors on Mon Aug 1 09:46:26 2011 config: NAMESTATE READ WRITE CKSUM zuainfo ONLINE 0 0 0 raidz2-0 ONLINE 0 0 0 gpt/disk00 ONLINE 0 0 0 gpt/disk01 ONLINE 0 0 0 gpt/disk02 ONLINE 0 0 0 gpt/disk03ONLINE 0 0 0 gpt/disk04ONLINE 0 0 0 gpt/disk05ONLINE 0 0 0 cache amrd7 ONLINE 0 0 0 amrd6 ONLINE 0 0 0 errors: No known data errors Я надеюсь Вы понимаете что при смерти _одного_ _любого_ диска из disk03-disk05 Вы потеряете весь zuainfo ? И в чем тут опасность ? raidz2 допускает вылет 2-х дисков. Или я что-то не так понимаю, или Вы чего-то не договорили... А разве disk03-disk05 внутри raidz2?
Re: [freebsd] ZFS: 2Gb оперативки
On 30.09.2011 18:16, Mykola Dzham wrote: On Fri, 30 Sep 2011 16:25:48 +0300, Alexander Panyushkin wrote: 3 диска добавлены опосля, работает уже пол-года, но добавилось именно такой ступенькой (со смещением 3-х дисков при листинге) zpool status pool: zua state: ONLINE scan: scrub repaired 0 in 0h5m with 0 errors on Mon Aug 1 09:46:26 2011 config: NAMESTATE READ WRITE CKSUM zuainfo ONLINE 0 0 0 raidz2-0 ONLINE 0 0 0 gpt/disk00 ONLINE 0 0 0 gpt/disk01 ONLINE 0 0 0 gpt/disk02 ONLINE 0 0 0 gpt/disk03ONLINE 0 0 0 gpt/disk04ONLINE 0 0 0 gpt/disk05ONLINE 0 0 0 cache amrd7 ONLINE 0 0 0 amrd6 ONLINE 0 0 0 errors: No known data errors Я надеюсь Вы понимаете что при смерти _одного_ _любого_ диска из disk03-disk05 Вы потеряете весь zuainfo ? И в чем тут опасность ? raidz2 допускает вылет 2-х дисков. Или я что-то не так понимаю, или Вы чего-то не договорили...
Re: [freebsd] ZFS: 2Gb оперативки
30.09.2011 16:25, Alexander Panyushkin пишет: > 3 диска добавлены опосля, работает уже пол-года, > но добавилось именно такой ступенькой (со смещением 3-х дисков при > листинге) > > zpool status > pool: zua > state: ONLINE > scan: scrub repaired 0 in 0h5m with 0 errors on Mon Aug 1 09:46:26 2011 > config: > > NAMESTATE READ WRITE CKSUM > zuainfo ONLINE 0 0 0 > raidz2-0 ONLINE 0 0 0 > gpt/disk00 ONLINE 0 0 0 > gpt/disk01 ONLINE 0 0 0 > gpt/disk02 ONLINE 0 0 0 > gpt/disk03ONLINE 0 0 0 > gpt/disk04ONLINE 0 0 0 > gpt/disk05ONLINE 0 0 0 > cache > amrd7 ONLINE 0 0 0 > amrd6 ONLINE 0 0 0 > > errors: No known data errors Это вы опасно сделали. Лучше перестройте.
Re: [freebsd] ZFS: 2Gb оперативки
On Fri, 30 Sep 2011 15:31:01 +0300, Artyom Viklenko wrote: 29.09.2011 12:23, Mykola Dzham пишет: On Thu, 29 Sep 2011 11:14:42 +0400, Slawa Olhovchenkov wrote: Ну должны ж быть какие и плюсы у софтовый решений - не только минусы. >>> >>> Они есть, да, у zraid так вообще - огромные, труднее отыскать минусы. >> >> нельзя добавить только один диск, например. > > Словно в аппаратный RAID5 можно запихнуть один диск. > > В ZFS кстати это вполне возможно - диск режется на X партиций и из них > собирается RAIDZ. Работать будет, хотя и с дикими тормозами. > Речь видимо шла о том, что нельзя добавить один или несколько дисков к уже существующему массиву. Т.е. если у меня 4 диска в RAIDZ1 и я хочу увеличить его емкость, мне нужно взять еще как минимум 3 и создать еще один RAIDZ1. И тогда его емкость "приплюсуется" к существующему. не как минимум 3, а именно тоже ровно 4. Это что за страшилки такие? Нету никаких "ровно 4" RAIDZ расширять нельзя. Можно расширять пул, в который входит этот RAIDZ (или что угодно другое: одиночный диск, ZMIRROR). Расширять тоже можно чем угодно: хоть RAIDZ123 (состоящим из любого количества дисков), хоть ZMIRROR, хоть вообще одиночным диском. Понятно что степень отказоустойчисовти всей системы будет определяться степенью отказоустойчивости наименее отказоустойчивой части. Но требования "ровно столько же" нету artem@rainbow$ sudo zpool create zfs raidz1 /dev/md0 /dev/md1 /dev/md2 /dev/md3 artem@rainbow$ zpool status pool: zfs state: ONLINE scrub: none requested config: NAMESTATE READ WRITE CKSUM zfs ONLINE 0 0 0 raidz1ONLINE 0 0 0 md0 ONLINE 0 0 0 md1 ONLINE 0 0 0 md2 ONLINE 0 0 0 md3 ONLINE 0 0 0 errors: No known data errors artem@rainbow$ sudo zpool add zfs raidz1 /dev/md4 /dev/md5 /dev/md6 invalid vdev specification use '-f' to override the following errors: mismatched replication level: pool uses 4-way raidz and new vdev uses 3-way raidz artem@rainbow$ sudo zpool add -f zfs raidz1 /dev/md4 /dev/md5 /dev/md6 artem@rainbow$ zpool status pool: zfs state: ONLINE scrub: none requested config: NAMESTATE READ WRITE CKSUM zfs ONLINE 0 0 0 raidz1ONLINE 0 0 0 md0 ONLINE 0 0 0 md1 ONLINE 0 0 0 md2 ONLINE 0 0 0 md3 ONLINE 0 0 0 raidz1ONLINE 0 0 0 md4 ONLINE 0 0 0 md5 ONLINE 0 0 0 md6 ONLINE 0 0 0 errors: No known data errors т.е. без 'force' оно не горит желанием, считает, что это ошибка. понятно, что с -f проходит и создает. но чем это может в дальшейшем вылезти?.. Вылезти может ровно тем, о чем пишет: надежность всего пула определяется самым слабым компонентом, а из-за разного уровня репликации мы можем снизить общий уровень надежности. -- LEFT-(UANIC|RIPE) JID: lev...@jabber.net.ua PGP fingerprint: 1BCD 7C80 2E04 7282 C944 B0E0 7E67 619E 4E72 9280
Re: [freebsd] ZFS: 2Gb оперативки
On Fri, 30 Sep 2011 16:25:48 +0300, Alexander Panyushkin wrote: 3 диска добавлены опосля, работает уже пол-года, но добавилось именно такой ступенькой (со смещением 3-х дисков при листинге) zpool status pool: zua state: ONLINE scan: scrub repaired 0 in 0h5m with 0 errors on Mon Aug 1 09:46:26 2011 config: NAMESTATE READ WRITE CKSUM zuainfo ONLINE 0 0 0 raidz2-0 ONLINE 0 0 0 gpt/disk00 ONLINE 0 0 0 gpt/disk01 ONLINE 0 0 0 gpt/disk02 ONLINE 0 0 0 gpt/disk03ONLINE 0 0 0 gpt/disk04ONLINE 0 0 0 gpt/disk05ONLINE 0 0 0 cache amrd7 ONLINE 0 0 0 amrd6 ONLINE 0 0 0 errors: No known data errors Я надеюсь Вы понимаете что при смерти _одного_ _любого_ диска из disk03-disk05 Вы потеряете весь zuainfo ? -- LEFT-(UANIC|RIPE) JID: lev...@jabber.net.ua PGP fingerprint: 1BCD 7C80 2E04 7282 C944 B0E0 7E67 619E 4E72 9280
Re: [freebsd] ZFS: 2Gb оперативки
30.09.2011 15:31, Artyom Viklenko пишет: 29.09.2011 12:23, Mykola Dzham пишет: On Thu, 29 Sep 2011 11:14:42 +0400, Slawa Olhovchenkov wrote: Ну должны ж быть какие и плюсы у софтовый решений - не только минусы. >>> >>> Они есть, да, у zraid так вообще - огромные, труднее отыскать минусы. >> >> нельзя добавить только один диск, например. > > Словно в аппаратный RAID5 можно запихнуть один диск. > > В ZFS кстати это вполне возможно - диск режется на X партиций и из них > собирается RAIDZ. Работать будет, хотя и с дикими тормозами. > Речь видимо шла о том, что нельзя добавить один или несколько дисков к уже существующему массиву. Т.е. если у меня 4 диска в RAIDZ1 и я хочу увеличить его емкость, мне нужно взять еще как минимум 3 и создать еще один RAIDZ1. И тогда его емкость "приплюсуется" к существующему. не как минимум 3, а именно тоже ровно 4. Это что за страшилки такие? Нету никаких "ровно 4" RAIDZ расширять нельзя. Можно расширять пул, в который входит этот RAIDZ (или что угодно другое: одиночный диск, ZMIRROR). Расширять тоже можно чем угодно: хоть RAIDZ123 (состоящим из любого количества дисков), хоть ZMIRROR, хоть вообще одиночным диском. Понятно что степень отказоустойчисовти всей системы будет определяться степенью отказоустойчивости наименее отказоустойчивой части. Но требования "ровно столько же" нету artem@rainbow$ sudo zpool create zfs raidz1 /dev/md0 /dev/md1 /dev/md2 /dev/md3 artem@rainbow$ zpool status pool: zfs state: ONLINE scrub: none requested config: NAMESTATE READ WRITE CKSUM zfs ONLINE 0 0 0 raidz1ONLINE 0 0 0 md0 ONLINE 0 0 0 md1 ONLINE 0 0 0 md2 ONLINE 0 0 0 md3 ONLINE 0 0 0 errors: No known data errors artem@rainbow$ sudo zpool add zfs raidz1 /dev/md4 /dev/md5 /dev/md6 invalid vdev specification use '-f' to override the following errors: mismatched replication level: pool uses 4-way raidz and new vdev uses 3-way raidz artem@rainbow$ sudo zpool add -f zfs raidz1 /dev/md4 /dev/md5 /dev/md6 artem@rainbow$ zpool status pool: zfs state: ONLINE scrub: none requested config: NAMESTATE READ WRITE CKSUM zfs ONLINE 0 0 0 raidz1ONLINE 0 0 0 md0 ONLINE 0 0 0 md1 ONLINE 0 0 0 md2 ONLINE 0 0 0 md3 ONLINE 0 0 0 raidz1ONLINE 0 0 0 md4 ONLINE 0 0 0 md5 ONLINE 0 0 0 md6 ONLINE 0 0 0 errors: No known data errors т.е. без 'force' оно не горит желанием, считает, что это ошибка. понятно, что с -f проходит и создает. но чем это может в дальшейшем вылезти?.. 3 диска добавлены опосля, работает уже пол-года, но добавилось именно такой ступенькой (со смещением 3-х дисков при листинге) zpool status pool: zua state: ONLINE scan: scrub repaired 0 in 0h5m with 0 errors on Mon Aug 1 09:46:26 2011 config: NAMESTATE READ WRITE CKSUM zuainfo ONLINE 0 0 0 raidz2-0 ONLINE 0 0 0 gpt/disk00 ONLINE 0 0 0 gpt/disk01 ONLINE 0 0 0 gpt/disk02 ONLINE 0 0 0 gpt/disk03ONLINE 0 0 0 gpt/disk04ONLINE 0 0 0 gpt/disk05ONLINE 0 0 0 cache amrd7 ONLINE 0 0 0 amrd6 ONLINE 0 0 0 errors: No known data errors
Re: [freebsd] ZFS: 2Gb оперативки
29.09.2011 12:23, Mykola Dzham пишет: On Thu, 29 Sep 2011 11:14:42 +0400, Slawa Olhovchenkov wrote: Ну должны ж быть какие и плюсы у софтовый решений - не только минусы. >>> >>> Они есть, да, у zraid так вообще - огромные, труднее отыскать минусы. >> >> нельзя добавить только один диск, например. > > Словно в аппаратный RAID5 можно запихнуть один диск. > > В ZFS кстати это вполне возможно - диск режется на X партиций и из них > собирается RAIDZ. Работать будет, хотя и с дикими тормозами. > Речь видимо шла о том, что нельзя добавить один или несколько дисков к уже существующему массиву. Т.е. если у меня 4 диска в RAIDZ1 и я хочу увеличить его емкость, мне нужно взять еще как минимум 3 и создать еще один RAIDZ1. И тогда его емкость "приплюсуется" к существующему. не как минимум 3, а именно тоже ровно 4. Это что за страшилки такие? Нету никаких "ровно 4" RAIDZ расширять нельзя. Можно расширять пул, в который входит этот RAIDZ (или что угодно другое: одиночный диск, ZMIRROR). Расширять тоже можно чем угодно: хоть RAIDZ123 (состоящим из любого количества дисков), хоть ZMIRROR, хоть вообще одиночным диском. Понятно что степень отказоустойчисовти всей системы будет определяться степенью отказоустойчивости наименее отказоустойчивой части. Но требования "ровно столько же" нету artem@rainbow$ sudo zpool create zfs raidz1 /dev/md0 /dev/md1 /dev/md2 /dev/md3 artem@rainbow$ zpool status pool: zfs state: ONLINE scrub: none requested config: NAMESTATE READ WRITE CKSUM zfs ONLINE 0 0 0 raidz1ONLINE 0 0 0 md0 ONLINE 0 0 0 md1 ONLINE 0 0 0 md2 ONLINE 0 0 0 md3 ONLINE 0 0 0 errors: No known data errors artem@rainbow$ sudo zpool add zfs raidz1 /dev/md4 /dev/md5 /dev/md6 invalid vdev specification use '-f' to override the following errors: mismatched replication level: pool uses 4-way raidz and new vdev uses 3-way raidz artem@rainbow$ sudo zpool add -f zfs raidz1 /dev/md4 /dev/md5 /dev/md6 artem@rainbow$ zpool status pool: zfs state: ONLINE scrub: none requested config: NAMESTATE READ WRITE CKSUM zfs ONLINE 0 0 0 raidz1ONLINE 0 0 0 md0 ONLINE 0 0 0 md1 ONLINE 0 0 0 md2 ONLINE 0 0 0 md3 ONLINE 0 0 0 raidz1ONLINE 0 0 0 md4 ONLINE 0 0 0 md5 ONLINE 0 0 0 md6 ONLINE 0 0 0 errors: No known data errors т.е. без 'force' оно не горит желанием, считает, что это ошибка. понятно, что с -f проходит и создает. но чем это может в дальшейшем вылезти?.. -- Sincerely yours, Artyom Viklenko. --- ar...@aws-net.org.ua | http://www.aws-net.org.ua/~artem ar...@viklenko.net | JID: ar...@jabber.aws-net.org.ua FreeBSD: The Power to Serve - http://www.freebsd.org
Re: [freebsd] ZFS: 2Gb оперативки
On Thu, 29 Sep 2011 11:14:42 +0400, Slawa Olhovchenkov wrote: Ну должны ж быть какие и плюсы у софтовый решений - не только минусы. >>> >>> Они есть, да, у zraid так вообще - огромные, труднее отыскать минусы. >> >> нельзя добавить только один диск, например. > > Словно в аппаратный RAID5 можно запихнуть один диск. > > В ZFS кстати это вполне возможно - диск режется на X партиций и из них > собирается RAIDZ. Работать будет, хотя и с дикими тормозами. > Речь видимо шла о том, что нельзя добавить один или несколько дисков к уже существующему массиву. Т.е. если у меня 4 диска в RAIDZ1 и я хочу увеличить его емкость, мне нужно взять еще как минимум 3 и создать еще один RAIDZ1. И тогда его емкость "приплюсуется" к существующему. не как минимум 3, а именно тоже ровно 4. Это что за страшилки такие? Нету никаких "ровно 4" RAIDZ расширять нельзя. Можно расширять пул, в который входит этот RAIDZ (или что угодно другое: одиночный диск, ZMIRROR). Расширять тоже можно чем угодно: хоть RAIDZ123 (состоящим из любого количества дисков), хоть ZMIRROR, хоть вообще одиночным диском. Понятно что степень отказоустойчисовти всей системы будет определяться степенью отказоустойчивости наименее отказоустойчивой части. Но требования "ровно столько же" нету -- LEFT-(UANIC|RIPE) JID: lev...@jabber.net.ua PGP fingerprint: 1BCD 7C80 2E04 7282 C944 B0E0 7E67 619E 4E72 9280
Re: [freebsd] ZFS: 2Gb оперативки
On 28.09.2011 16:34, Владимир Друзенко wrote: >> Ас зун ас итс рэди :) > Это всё понятно, но вопрос был скорее что такое серьёзное нашли, что > задерживают уже 2ой месяц. Некоторые разработчики не успели внести изменения, которые влияют на ABI, для них задерживали выпуски бета-версий, чтобы обеспечить в будущем большую совместимость с текущим head/ (чтобы была возможность переносить серьёзные изменения из head/ в stable/9 не ломая ABI). Ну и различные мелкие проблемы, в основном с тестированием нового инсталлятора. Это, в общем-то, моё IMHO :) -- WBR, Andrey V. Elsukov
Re: [freebsd] ZFS: 2Gb оперативки
29.09.2011 10:14, Slawa Olhovchenkov пишет: On Thu, Sep 29, 2011 at 07:11:43AM +0300, Artyom Viklenko wrote: Речь видимо шла о том, что нельзя добавить один или несколько дисков к уже существующему массиву. Т.е. если у меня 4 диска в RAIDZ1 и я хочу увеличить его емкость, мне нужно взять еще как минимум 3 и создать еще один RAIDZ1. И тогда его емкость "приплюсуется" к существующему. не как минимум 3, а именно тоже ровно 4. как минимум у линуксового софтверного raid5 расширять можно по одному диску. ну да, обшибся. :) -- Sincerely yours, Artyom Viklenko. --- ar...@aws-net.org.ua | http://www.aws-net.org.ua/~artem ar...@viklenko.net | JID: ar...@jabber.aws-net.org.ua FreeBSD: The Power to Serve - http://www.freebsd.org
Re: [freebsd] ZFS: 2Gb оперативки
29.09.2011 10:21, Andrey V. Elsukov пишет: On 29.09.2011 11:06, Artyom Viklenko wrote: Я всего лишь обратил внимание на распределение нагрузки и задач. Самый наглядный пример: IBM и ее мэинфреймы от s/360 до современны Enterprise Server Z-Series. Там было и есть такое понятие как процессор ввода-вывода. А еще есть внешние дисковые подсисемы. Я был сильно впечатлен, когда живьем познакомился, например, с тем же RAMAC1. А там "уровней абстракции" куда больше... и соотв. фирмаврей отдельных. Да уж, а потом сидишь и часами беседуешь с их инженерами высылая им логи DSA. А оказывается, что всего-то нужно обновить все фирмваре до вчера вышедших. ну а что делать. у всех в среднем все одинаково. :) -- Sincerely yours, Artyom Viklenko. --- ar...@aws-net.org.ua | http://www.aws-net.org.ua/~artem ar...@viklenko.net | JID: ar...@jabber.aws-net.org.ua FreeBSD: The Power to Serve - http://www.freebsd.org
Re: [freebsd] ZFS: 2Gb оперативки
On 29.09.2011 11:06, Artyom Viklenko wrote: > Я всего лишь обратил внимание на распределение нагрузки и задач. > Самый наглядный пример: IBM и ее мэинфреймы от s/360 до современны > Enterprise Server Z-Series. Там было и есть такое понятие как процессор > ввода-вывода. А еще есть внешние дисковые подсисемы. Я был сильно > впечатлен, когда живьем познакомился, например, с тем же RAMAC1. > А там "уровней абстракции" куда больше... и соотв. фирмаврей отдельных. Да уж, а потом сидишь и часами беседуешь с их инженерами высылая им логи DSA. А оказывается, что всего-то нужно обновить все фирмваре до вчера вышедших. -- WBR, Andrey V. Elsukov
Re: [freebsd] ZFS: 2Gb оперативки
On Thu, Sep 29, 2011 at 07:11:43AM +0300, Artyom Viklenko wrote: > 29.09.2011 06:01, Volodymyr Kostyrko пишет: > > 28.09.2011 16:57, Slawa Olhovchenkov написав(ла): > ну вот не надо делать вид, что вы не поняли чего я хотел сказать :) > >>> > >>> Да все я прекрасно понимаю, но периферия (назовем это так для простоты) > >>> продолжает отмирать, медленно, но верно, все началось с контроллеров > >>> ввода-вывода и АС97, а может даже и раньше. Отмирает в пользу > >>> универсальных процессоров, становясь из аппаратного програмным. Сейчас > >>> дошло до интеграции в CPU контроллеров памяти и серъезных видеоядер > >>> (это, кстати, для Sayetsky Anton, он ниже про видеокарты писал). Про > >>> преимущества программистов ZFS перед индусами писать не буду. ZFS - > >>> открытое ПО со всеми вытекающими. Количество тестеров, успешных > >>> внедрений, возможность получения адекватной подержки - сильно разное. > >>> > >>> ZFS и zraid во многом уникальны и никакие аппаратные контроллеры за > >>> вменяемые деньги и рядом не валялись. > >>> > Ну должны ж быть какие и плюсы у софтовый решений - не только минусы. > >>> > >>> Они есть, да, у zraid так вообще - огромные, труднее отыскать минусы. > >> > >> нельзя добавить только один диск, например. > > > > Словно в аппаратный RAID5 можно запихнуть один диск. > > > > В ZFS кстати это вполне возможно - диск режется на X партиций и из них > > собирается RAIDZ. Работать будет, хотя и с дикими тормозами. > > > > Речь видимо шла о том, что нельзя добавить один или несколько дисков к > уже существующему массиву. Т.е. если у меня 4 диска в RAIDZ1 и я хочу > увеличить его емкость, мне нужно взять еще как минимум 3 и создать еще > один RAIDZ1. И тогда его емкость "приплюсуется" к существующему. не как минимум 3, а именно тоже ровно 4. как минимум у линуксового софтверного raid5 расширять можно по одному диску.
Re: [freebsd] ZFS: 2Gb оперативки
On Thu, Sep 29, 2011 at 06:01:37AM +0300, Volodymyr Kostyrko wrote: > 28.09.2011 16:57, Slawa Olhovchenkov написав(ла): > >>> ну вот не надо делать вид, что вы не поняли чего я хотел сказать :) > >> > >> Да все я прекрасно понимаю, но периферия (назовем это так для простоты) > >> продолжает отмирать, медленно, но верно, все началось с контроллеров > >> ввода-вывода и АС97, а может даже и раньше. Отмирает в пользу > >> универсальных процессоров, становясь из аппаратного програмным. Сейчас > >> дошло до интеграции в CPU контроллеров памяти и серъезных видеоядер > >> (это, кстати, для Sayetsky Anton, он ниже про видеокарты писал). Про > >> преимущества программистов ZFS перед индусами писать не буду. ZFS - > >> открытое ПО со всеми вытекающими. Количество тестеров, успешных > >> внедрений, возможность получения адекватной подержки - сильно разное. > >> > >> ZFS и zraid во многом уникальны и никакие аппаратные контроллеры за > >> вменяемые деньги и рядом не валялись. > >> > >>> Ну должны ж быть какие и плюсы у софтовый решений - не только минусы. > >> > >> Они есть, да, у zraid так вообще - огромные, труднее отыскать минусы. > > > > нельзя добавить только один диск, например. > > Словно в аппаратный RAID5 можно запихнуть один диск. в софтверные можно, наверное есть и аппаратные куда можно > В ZFS кстати это вполне возможно - диск режется на X партиций и из них > собирается RAIDZ. Работать будет, хотя и с дикими тормозами. > > -- > Sphinx of black quartz judge my vow.
Re: [freebsd] ZFS: 2Gb оперативки
29.09.2011 10:01, Artyom Viklenko пишет: 29.09.2011 09:59, Andrey V. Elsukov пишет: On 28.09.2011 18:02, Artyom Viklenko wrote: Это еще один уровень резервирования. И, хоть и много есть нареканий на некоторые контроллеры и их вендоров, может в определенном случае спасти при сбоях в ОС, ели глюк станется в самом коде файловой системы. Вы же не думаете, что вся логика работы RAID контроллера сделана аппаратно "на транзисторах"? Да возьмите любой контроллер, при инициализации там загружается тот же самый софт, и не надо заблуждаться, что он свободен от ошибок. А я что, где-то написал, что фирмварь контроллеров свободна от ошибок?.. Я всего лишь обратил внимание на распределение нагрузки и задач. Самый наглядный пример: IBM и ее мэинфреймы от s/360 до современны Enterprise Server Z-Series. Там было и есть такое понятие как процессор ввода-вывода. А еще есть внешние дисковые подсисемы. Я был сильно впечатлен, когда живьем познакомился, например, с тем же RAMAC1. А там "уровней абстракции" куда больше... и соотв. фирмаврей отдельных. -- Sincerely yours, Artyom Viklenko. --- ar...@aws-net.org.ua | http://www.aws-net.org.ua/~artem ar...@viklenko.net | JID: ar...@jabber.aws-net.org.ua FreeBSD: The Power to Serve - http://www.freebsd.org
Re: [freebsd] ZFS: 2Gb оперативки
29.09.2011 09:59, Andrey V. Elsukov пишет: On 28.09.2011 18:02, Artyom Viklenko wrote: Это еще один уровень резервирования. И, хоть и много есть нареканий на некоторые контроллеры и их вендоров, может в определенном случае спасти при сбоях в ОС, ели глюк станется в самом коде файловой системы. Вы же не думаете, что вся логика работы RAID контроллера сделана аппаратно "на транзисторах"? Да возьмите любой контроллер, при инициализации там загружается тот же самый софт, и не надо заблуждаться, что он свободен от ошибок. А я что, где-то написал, что фирмварь контроллеров свободна от ошибок?.. -- Sincerely yours, Artyom Viklenko. --- ar...@aws-net.org.ua | http://www.aws-net.org.ua/~artem ar...@viklenko.net | JID: ar...@jabber.aws-net.org.ua FreeBSD: The Power to Serve - http://www.freebsd.org
Re: [freebsd] ZFS: 2Gb оперативки
On 28.09.2011 18:02, Artyom Viklenko wrote: > Это еще один уровень резервирования. И, хоть и много есть нареканий > на некоторые контроллеры и их вендоров, может в определенном случае > спасти при сбоях в ОС, ели глюк станется в самом коде файловой системы. Вы же не думаете, что вся логика работы RAID контроллера сделана аппаратно "на транзисторах"? Да возьмите любой контроллер, при инициализации там загружается тот же самый софт, и не надо заблуждаться, что он свободен от ошибок. -- WBR, Andrey V. Elsukov
Re: [freebsd] ZFS: 2Gb оперативки
29.09.2011 06:01, Volodymyr Kostyrko пишет: 28.09.2011 16:57, Slawa Olhovchenkov написав(ла): ну вот не надо делать вид, что вы не поняли чего я хотел сказать :) Да все я прекрасно понимаю, но периферия (назовем это так для простоты) продолжает отмирать, медленно, но верно, все началось с контроллеров ввода-вывода и АС97, а может даже и раньше. Отмирает в пользу универсальных процессоров, становясь из аппаратного програмным. Сейчас дошло до интеграции в CPU контроллеров памяти и серъезных видеоядер (это, кстати, для Sayetsky Anton, он ниже про видеокарты писал). Про преимущества программистов ZFS перед индусами писать не буду. ZFS - открытое ПО со всеми вытекающими. Количество тестеров, успешных внедрений, возможность получения адекватной подержки - сильно разное. ZFS и zraid во многом уникальны и никакие аппаратные контроллеры за вменяемые деньги и рядом не валялись. Ну должны ж быть какие и плюсы у софтовый решений - не только минусы. Они есть, да, у zraid так вообще - огромные, труднее отыскать минусы. нельзя добавить только один диск, например. Словно в аппаратный RAID5 можно запихнуть один диск. В ZFS кстати это вполне возможно - диск режется на X партиций и из них собирается RAIDZ. Работать будет, хотя и с дикими тормозами. Речь видимо шла о том, что нельзя добавить один или несколько дисков к уже существующему массиву. Т.е. если у меня 4 диска в RAIDZ1 и я хочу увеличить его емкость, мне нужно взять еще как минимум 3 и создать еще один RAIDZ1. И тогда его емкость "приплюсуется" к существующему. -- Sincerely yours, Artyom Viklenko. --- ar...@aws-net.org.ua | http://www.aws-net.org.ua/~artem ar...@viklenko.net | FreeBSD: The Power to Serve - http://www.freebsd.org
Re: [freebsd] ZFS: 2Gb оперативки
28.09.2011 16:57, Slawa Olhovchenkov написав(ла): ну вот не надо делать вид, что вы не поняли чего я хотел сказать :) Да все я прекрасно понимаю, но периферия (назовем это так для простоты) продолжает отмирать, медленно, но верно, все началось с контроллеров ввода-вывода и АС97, а может даже и раньше. Отмирает в пользу универсальных процессоров, становясь из аппаратного програмным. Сейчас дошло до интеграции в CPU контроллеров памяти и серъезных видеоядер (это, кстати, для Sayetsky Anton, он ниже про видеокарты писал). Про преимущества программистов ZFS перед индусами писать не буду. ZFS - открытое ПО со всеми вытекающими. Количество тестеров, успешных внедрений, возможность получения адекватной подержки - сильно разное. ZFS и zraid во многом уникальны и никакие аппаратные контроллеры за вменяемые деньги и рядом не валялись. Ну должны ж быть какие и плюсы у софтовый решений - не только минусы. Они есть, да, у zraid так вообще - огромные, труднее отыскать минусы. нельзя добавить только один диск, например. Словно в аппаратный RAID5 можно запихнуть один диск. В ZFS кстати это вполне возможно - диск режется на X партиций и из них собирается RAIDZ. Работать будет, хотя и с дикими тормозами. -- Sphinx of black quartz judge my vow.
Re: [freebsd] ZFS: 2Gb оперативки
28.09.2011 16:38, Denis Zaika пишет: On 27.09.2011 16:40, Vasiliy P. Melnik wrote: ну вот не надо делать вид, что вы не поняли чего я хотел сказать :) Да все я прекрасно понимаю, но периферия (назовем это так для простоты) продолжает отмирать, медленно, но верно, все началось с контроллеров ввода-вывода и АС97, а может даже и раньше. Отмирает в пользу Честно говоря, я не уверен, что это хорошо. В смысле хорошо для всех. Для массовых десктопов - скорее да. ZFS и zraid во многом уникальны и никакие аппаратные контроллеры за вменяемые деньги и рядом не валялись. [...] Вот копипаста подзаголовков статьи из википедии: 2 Features 2.1 Data Integrity 2.2 Storage pools 2.3 Capacity 2.4 Copy-on-write transactional model 2.5 Snapshots and clones 2.6 Dynamic striping 2.7 Variable block sizes 2.8 Lightweight filesystem creation 2.9 Cache management 2.10 Adaptive endianness 2.11 Deduplication Это все с высокой интеграцией одной фичи в другую. Меня, тупого гуманитария, впечатляет. Найдите мне такой аппаратный рейд. Или сразу два, чтобы у меня проблем не было, когда один накроется. Давайте отделим мух от котлет. ZFS - это в первую очередь файловая система. И уже во вторую содержит программную реализацию RAID. Аппаратный же RAID контроллер - всего лишь RAID контроллер - ему фиолетово, что вы в него совать будете. Это лишь грубо говря набор логических блоков. Можно же и ZFS поверх аппаратного рейда поднять. За счет функциональной заточенности, аппаратный RAID быстрее вычислит XOR не загружая этим CPU машины и соотв. оставляя больше ресурсов для собственно вычислений, например. Очень утрированно, но где-то так. Это еще один уровень резервирования. И, хоть и много есть нареканий на некоторые контроллеры и их вендоров, может в определенном случае спасти при сбоях в ОС, ели глюк станется в самом коде файловой системы. Так что говорить о том, что аппаратные raid-контроллеры отмирают или ненужны или бесполезны - рановато. :) -- Sincerely yours, Artyom Viklenko. --- ar...@aws-net.org.ua | http://www.aws-net.org.ua/~artem ar...@viklenko.net | JID: ar...@jabber.aws-net.org.ua FreeBSD: The Power to Serve - http://www.freebsd.org
Re: [freebsd] ZFS: 2Gb оперативки
On Wed, Sep 28, 2011 at 04:38:42PM +0300, Denis Zaika wrote: > On 27.09.2011 16:40, Vasiliy P. Melnik wrote: > > ну вот не надо делать вид, что вы не поняли чего я хотел сказать :) > > Да все я прекрасно понимаю, но периферия (назовем это так для простоты) > продолжает отмирать, медленно, но верно, все началось с контроллеров > ввода-вывода и АС97, а может даже и раньше. Отмирает в пользу > универсальных процессоров, становясь из аппаратного програмным. Сейчас > дошло до интеграции в CPU контроллеров памяти и серъезных видеоядер > (это, кстати, для Sayetsky Anton, он ниже про видеокарты писал). Про > преимущества программистов ZFS перед индусами писать не буду. ZFS - > открытое ПО со всеми вытекающими. Количество тестеров, успешных > внедрений, возможность получения адекватной подержки - сильно разное. > > ZFS и zraid во многом уникальны и никакие аппаратные контроллеры за > вменяемые деньги и рядом не валялись. > > > Ну должны ж быть какие и плюсы у софтовый решений - не только минусы. > > Они есть, да, у zraid так вообще - огромные, труднее отыскать минусы. нельзя добавить только один диск, например.
Re: [freebsd] ZFS: 2Gb оперативки
On 27.09.2011 16:40, Vasiliy P. Melnik wrote: > ну вот не надо делать вид, что вы не поняли чего я хотел сказать :) Да все я прекрасно понимаю, но периферия (назовем это так для простоты) продолжает отмирать, медленно, но верно, все началось с контроллеров ввода-вывода и АС97, а может даже и раньше. Отмирает в пользу универсальных процессоров, становясь из аппаратного програмным. Сейчас дошло до интеграции в CPU контроллеров памяти и серъезных видеоядер (это, кстати, для Sayetsky Anton, он ниже про видеокарты писал). Про преимущества программистов ZFS перед индусами писать не буду. ZFS - открытое ПО со всеми вытекающими. Количество тестеров, успешных внедрений, возможность получения адекватной подержки - сильно разное. ZFS и zraid во многом уникальны и никакие аппаратные контроллеры за вменяемые деньги и рядом не валялись. > Ну должны ж быть какие и плюсы у софтовый решений - не только минусы. Они есть, да, у zraid так вообще - огромные, труднее отыскать минусы. > Я например на текущий момент не понимаю, нафига сейчас на проксе > кеширование включать - но народ то пользуется. Пользуется по привычке - > никто не изучал насколько там выигрыш получается. Причем тут сквид? Тут психологическая инерция скорее толкает вас на недоверие к zraid. А он рулит. > В данном случае сжатие на лету будет на пользу только текстовым файлам - > а в случае с пожаты контентом, типа фильмы, мр3-шки будет делать только > хуже. И какой-то общей рекомендации Вы нигде не увидите, ибо сегодня > ситуация одна - а завтра диаметрально другая. Это все легко проверить. В случае с железными рейдами придется полагаться на гарантии производителя/продавца и на собственный/чужой опыт, которого очень мало и дальше особенно больше не будет - внедрений мало, как ни крути. Опыт пользователей ZFS и, соответственно, возможность найти рекомендацию будет только расти. Вот копипаста подзаголовков статьи из википедии: 2 Features 2.1 Data Integrity 2.2 Storage pools 2.3 Capacity 2.4 Copy-on-write transactional model 2.5 Snapshots and clones 2.6 Dynamic striping 2.7 Variable block sizes 2.8 Lightweight filesystem creation 2.9 Cache management 2.10 Adaptive endianness 2.11 Deduplication Это все с высокой интеграцией одной фичи в другую. Меня, тупого гуманитария, впечатляет. Найдите мне такой аппаратный рейд. Или сразу два, чтобы у меня проблем не было, когда один накроется. > > Я вот собирался строить зеркало на gmirror и думал ставить в машину 2 > гига оперативки - даже этого было много, но вспомнил про zfs и все > изменилось теперь жалею что 8 гигов не купил Одно ядро загрузите максимум на 20% на современном проце и памяти надо на 50 баксов для работы, сравните с нормальным аппаратным рейдом. Это все на стандартных АТА/SCSI портах с вылизанными драйверами, нормальным смартом и т.д. -- Cheers, Denis Zaika,ZDS-RIPE "Soniko-svyaz" NOC engineer,ZDS-UANIC Donetsk, UkraineZDS-EUNIC +380933407844, +380623323232
Re: [freebsd] Re: [freebsd] ZFS: 2Gb оперативки
28.09.2011 16:45, Sayetsky Anton пишет: 2011/9/28 Владимир Друзенко: 28.09.2011 15:53, Eugene Grosbein пишет: 28.09.2011 18:39, Владимир Друзенко пишет: Встречный вопрос - может кто знает в чём причина задержки В бережно хранимых традициях. В смысле, задержка это всегда так. Но не всегда она более 2х месяцев. и когда примерно можно ожидать релиза? В течение недели-двух, думаю, ибо 9.0 уже отбранчена. RELENG_9 появилась? Недельку назад ещё не было. Спасибо. http://svn.freebsd.org/base/releng/ .. 2.0.5/ 4.10/ 4.11/ 4.3/ 4.4/ 4.5/ 4.6/ 4.7/ 4.8/ 4.9/ 5.0/ 5.1/ 5.2/ 5.3/ 5.4/ 5.5/ 6.0/ 6.1/ 6.2/ 6.3/ 6.4/ 7.0/ 7.1/ 7.2/ 7.3/ 7.4/ 8.0/ 8.1/ 8.2/ ALPHA_2_0/ BETA_2_0/ ??? http://svn.freebsd.org/base/stable/ base - Revision 225829: /stable * .. * 2.0.5/ * 2.1/ * 2.2/ * 3/ * 4/ * 5/ * 6/ * 7/ * 8/ * 9/ К тому же csup RELENG_9 находит.
[freebsd] Re: [freebsd] Re: [freebsd] ZFS: 2Gb оперативки
28 сентября 2011 г. 15:52 пользователь Slawa Olhovchenkov написал: > http://svn.freebsd.org/changeset/base/225736 Ага, вижу. Но, всё же это не releng.
Re: [freebsd] Re: [freebsd] ZFS: 2Gb оперативки
On Wed, Sep 28, 2011 at 03:45:10PM +0300, Sayetsky Anton wrote: > 2011/9/28 Владимир Друзенко : > > 28.09.2011 15:53, Eugene Grosbein пишет: > >> > >> 28.09.2011 18:39, Владимир Друзенко пишет: > >> > >>> Встречный вопрос - может кто знает в чём причина задержки > >> > >> В бережно хранимых традициях. В смысле, задержка это всегда так. > > > > Но не всегда она более 2х месяцев. > >>> > >>> и когда примерно можно ожидать релиза? > >> > >> В течение недели-двух, думаю, ибо 9.0 уже отбранчена. > >> > > RELENG_9 появилась? > > Недельку назад ещё не было. Спасибо. > > http://svn.freebsd.org/base/releng/ http://svn.freebsd.org/changeset/base/225736 > .. > 2.0.5/ > 4.10/ > 4.11/ > 4.3/ > 4.4/ > 4.5/ > 4.6/ > 4.7/ > 4.8/ > 4.9/ > 5.0/ > 5.1/ > 5.2/ > 5.3/ > 5.4/ > 5.5/ > 6.0/ > 6.1/ > 6.2/ > 6.3/ > 6.4/ > 7.0/ > 7.1/ > 7.2/ > 7.3/ > 7.4/ > 8.0/ > 8.1/ > 8.2/ > ALPHA_2_0/ > BETA_2_0/ > > ???
[freebsd] Re: [freebsd] ZFS: 2Gb оперативки
2011/9/28 Владимир Друзенко : > 28.09.2011 15:53, Eugene Grosbein пишет: >> >> 28.09.2011 18:39, Владимир Друзенко пишет: >> >>> Встречный вопрос - может кто знает в чём причина задержки >> >> В бережно хранимых традициях. В смысле, задержка это всегда так. > > Но не всегда она более 2х месяцев. >>> >>> и когда примерно можно ожидать релиза? >> >> В течение недели-двух, думаю, ибо 9.0 уже отбранчена. >> > RELENG_9 появилась? > Недельку назад ещё не было. Спасибо. http://svn.freebsd.org/base/releng/ .. 2.0.5/ 4.10/ 4.11/ 4.3/ 4.4/ 4.5/ 4.6/ 4.7/ 4.8/ 4.9/ 5.0/ 5.1/ 5.2/ 5.3/ 5.4/ 5.5/ 6.0/ 6.1/ 6.2/ 6.3/ 6.4/ 7.0/ 7.1/ 7.2/ 7.3/ 7.4/ 8.0/ 8.1/ 8.2/ ALPHA_2_0/ BETA_2_0/ ???
Re: [freebsd] ZFS: 2Gb оперативки
28.09.2011 15:53, Eugene Grosbein пишет: 28.09.2011 18:39, Владимир Друзенко пишет: Встречный вопрос - может кто знает в чём причина задержки В бережно хранимых традициях. В смысле, задержка это всегда так. Но не всегда она более 2х месяцев. и когда примерно можно ожидать релиза? В течение недели-двух, думаю, ибо 9.0 уже отбранчена. RELENG_9 появилась? Недельку назад ещё не было. Спасибо.
Re: [freebsd] ZFS: 2Gb оперативки
28.09.2011 15:44, Alexander Yerenkow пишет:
2011/9/28 Владимир Друзенко mailto:v...@unislabs.com>>
Огромное спасибо всем за ответы!
Немного резюмирую сказанное всеми + то, что сам нагуглил:
1. ZFS на 2Gb памяти вполне себе жизнеспособен даже при нагрузке;
2. amd64 для ZFS лучше чем i386, не смотря на то, что памяти всего
2Gb;
3. dedup на таком конфиге и при желании увеличить скорость обмена
с дисками совсем не жилец - и памяти ему подавай и скорость в
итоге только падает ("в среднем по больнице");
4. compression=gzip (любой уровень) тоже не жилец - даже на
существенно более производительных процессорах наблюдается падение
скорости записи в разы, но на сервере бэкапов может вполне
пригодиться;
5. compression=lzjb при хранении хорошо-сжимаемого контента
(например документы офисных приложений) может не только сэкономить
место, но и скорость увеличить, но здесь без тестов не обойтись и
я это обязательно проделаю как появится возможность;
6. Процессора на всё это добро хватит, надеюсь даже на
compression=lzjb;
7. Аппаратный RAID не панацея и действительно может оказаться хуже
по ключевым для файл-сервера показателям (таким как скорость
обмена с дисками - линейная и IOPS), чем софтварный на zfs (тоже
проведу ещё ряд тестирований, в том числе с ChunkSize 64Kb - хотя
бы для успокоения души);
Кто-то спрашивал какая пропускная способность сети.
Отвечаю: на маме две гигабитныесетевухи, сеть везде гигабит и все
сервера, а так же большая часть рабочих станций с гигабитными
сетевухами подключены к 48 портовому гигабитному свитчу "GSM7248
L2 Managed Gigabit Switch".
Реальную скорость между двумя машинками по NFS я видел и
117Mbytes/s! Так что дисковая подсистема имеет шанс стать узким
местом.
По поводу 9.0 вместо 8.1: для тестов думаю можно BETA2 (просто
тогда я ставил не было даже BETA1), но в продакшн точно BETA2 не
вариант. Да и текущий RELENG_8 не очень хочется - это значит, что
через пол годика надо будет всё равно обновляться до 9.0 (ну может
до 9.1 через годик). Всяко лишняя работа. (Просьба не разводитьв
этом топикефлейм на тему "старое проверенное временем и стабильное
ПО лучший выбор для продакшн".)
BETA3 уже испеклась, вроде как запускается даже, попробуйтё её тоже.
Спасибо. Появилась только в воскресенье, поэтому ещё не видел. А так
регулярно это проверяю.
Встречный вопрос - может кто знает в чём причина задержки и когда
примерно можно ожидать релиза?
Беглое листание англоязычных рассылок и shcedule.html/TODO не
просветлило.
Ас зун ас итс рэди :)
Это всё понятно, но вопрос был скорее что такое серьёзное нашли, что
задерживают уже 2ой месяц.
--
Regards,
Alexander Yerenkow
Re: [freebsd] ZFS: 2Gb оперативки
28.09.2011 18:39, Владимир Друзенко пишет: > Встречный вопрос - может кто знает в чём причина задержки В бережно хранимых традициях. В смысле, задержка это всегда так. > и когда примерно можно ожидать релиза? В течение недели-двух, думаю, ибо 9.0 уже отбранчена.
Re: [freebsd] ZFS: 2Gb оперативки
Огромное спасибо всем за ответы!
Немного резюмирую сказанное всеми + то, что сам нагуглил:
1. ZFS на 2Gb памяти вполне себе жизнеспособен даже при нагрузке;
2. amd64 для ZFS лучше чем i386, не смотря на то, что памяти всего 2Gb;
3. dedup на таком конфиге и при желании увеличить скорость обмена с
дисками совсем не жилец - и памяти ему подавай и скорость в итоге только
падает ("в среднем по больнице");
4. compression=gzip (любой уровень) тоже не жилец - даже на существенно
более производительных процессорах наблюдается падение скорости записи в
разы, но на сервере бэкапов может вполне пригодиться;
5. compression=lzjb при хранении хорошо-сжимаемого контента (например
документы офисных приложений) может не только сэкономить место, но и
скорость увеличить, но здесь без тестов не обойтись и я это обязательно
проделаю как появится возможность;
6. Процессора на всё это добро хватит, надеюсь даже на compression=lzjb;
7. Аппаратный RAID не панацея и действительно может оказаться хуже по
ключевым для файл-сервера показателям (таким как скорость обмена с
дисками - линейная и IOPS), чем софтварный на zfs (тоже проведу ещё ряд
тестирований, в том числе с ChunkSize 64Kb - хотя бы для успокоения души);
Кто-то спрашивал какая пропускная способность сети.
Отвечаю: на маме две гигабитныесетевухи, сеть везде гигабит и все
сервера, а так же большая часть рабочих станций с гигабитными сетевухами
подключены к 48 портовому гигабитному свитчу "GSM7248 L2 Managed Gigabit
Switch".
Реальную скорость между двумя машинками по NFS я видел и 117Mbytes/s!
Так что дисковая подсистема имеет шанс стать узким местом.
По поводу 9.0 вместо 8.1: для тестов думаю можно BETA2 (просто тогда я
ставил не было даже BETA1), но в продакшн точно BETA2 не вариант. Да и
текущий RELENG_8 не очень хочется - это значит, что через пол годика
надо будет всё равно обновляться до 9.0 (ну может до 9.1 через годик).
Всяко лишняя работа. (Просьба не разводитьв этом топикефлейм на тему
"старое проверенное временем и стабильное ПО лучший выбор для продакшн".)
Встречный вопрос - может кто знает в чём причина задержки и когда
примерно можно ожидать релиза?
Беглое листание англоязычных рассылок и shcedule.html/TODO не просветлило.
Re: [freebsd] Re: [freebsd] ZFS: 2Gb оперативки
27.09.2011 16:40, Vasiliy P. Melnik написав(ла): Я например на текущий момент не понимаю, нафига сейчас на проксе кеширование включать - но народ то пользуется. Пользуется по привычке - никто не изучал насколько там выигрыш получается. Когда я пару лет назад смотрел на сквид без ECAP'а у меня по логам получалось что кеш мне экономит не более 10% траффика, при этом запрещая сжатие и сильно замедляя работу с динамическими сайтами. Т.е. если убрать сквид потребление траффика снизится. И это при том что самые большие траффикоотдающие сайты сквид как-раз кеширует хреново: обновления антивирусов обычно отдаются из облака, но часто в это облако антивирус ходит уже по адресу чтобы избежать dns-спуфинга, WinUpdate меняет ETag раз в шесть часов, GoogleMaps вообще динамика, а частичные загрузки которыми пестрит ютуб сквид вообще не хавает нормально - он может хранить только целый файл. Считалось на школьной сетке, несколько классов и штук около 70 компов. Сейчас там сквид стоит исключительно с точки зрения фильтрации траффика. -- Sphinx of black quartz judge my vow.
Re: [freebsd] ZFS: 2Gb оперативки
У меня стоит 2 роутера FreeBSD 8.2-STABLE #0: Tue Sep 27 13:00:25 EEST 2011 r...@router1.informalians.org:/usr/obj/usr/src/sys/Kernel amd64 Timecounter "i8254" frequency 1193182 Hz quality 0 CPU: Intel(R) Xeon(R) CPU 3050 @ 2.13GHz (2128.01-MHz K8-class CPU) Origin = "GenuineIntel" Id = 0x6f6 Family = 6 Model = f Stepping = 6 Features=0xbfebfbff Features2=0xe3bd AMD Features=0x20100800 AMD Features2=0x1 TSC: P-state invariant real memory = 2147483648 (2048 MB) avail memory = 2053545984 (1958 MB) ACPI APIC Table: FreeBSD/SMP: Multiprocessor System Detected: 2 CPUs FreeBSD/SMP: 1 package(s) x 2 core(s) cpu0 (BSP): APIC ID: 0 cpu1 (AP): APIC ID: 1 26.09.2011 23:31, Владимир Друзенко пишет: Доброго времени суток, коллеги! По мотивам активно обсуждаемой в данный момент темы "zfs" возникло несколько вопросов. Занимаюсь сейчас в фоновом режиме поднятием файл сервера (высоконагруженным он не будет, но несколько десятков одновременных пользователей с не большими файлами по SMB/NFS на нём точно будут + в среднем не более одного качающего/заливающего что-то тяжёлое типа дистрибутивов или образов CD/DVD). Железо следующее (куплено было относительно давно и сейчас дополнительный бюджет очень ограничен - читай 0$, и только при крайней необходимости): мама: Intel® Server Board S5000PSLSATAR (2xLGA771) http://ark.intel.com/products/46546/Intel-Server-Board-S5000PSLSATAR; проц (один): Intel® Xeon® Processor 5030 (4M Cache, 2.66 GHz, 667 MHz FSB) http://ark.intel.com/products/27208/Intel-Xeon-Processor-5030-%284M-Cache-2_66-GHz-667-MHz-FSB%29 - последняя линейка нетбёрстов (видимо аналог P4 CedarMill 65нм) 2 ядра + гипертрединг; память: 2x1Gb DDR2 FB-DIMM 667MHz; 3Ware PCI-X SATA RAID (модель не вспомню, но если будет критично, то обязательно напишу) 4xSATA; 4x500Gb SATA Samsung + ещё несколько различных SATA дисков разных объёмов, которые буду подключать к маме напрямую. Для тестов поставил лежавшую под рукой 8.1. Тестировал dd иdiskinfo -t (цель не повторить реальную нагрузку, а хотя бы примерно оценить на что можно рассчитывать). Аппаратный RAID10 (на контроллере 3Ware)из 4x500Gb Sumsungдаёт свыше 150Mb/s на чтение! Но это несколько расточительно в плане объёма при ограниченном бюджете. Сделал аппаратный RAID5 (на контроллере 3Ware) - скорость чтения примерно равно скорости чтения одиночного винта - ~80-90Mb/s. Все RAID с Chunk Size 256Kb. Постараюсь в ближайшее время провести повторные измерения, но с Chunk Size 64Kb (128Kb контроллер выставить не позволяет). Начал смотреть в сторону ZFS, а именно raid-z. Литературы перечитал прилично, но просветление так полностью и не пришло. :-] Вот мы и добрались до вопросов: 1. 2Gb памяти для zfs: работать будет, только не забыть выключить - в loader.conf vfs.zfs.prefetch_disable="1" 1.1. Совсем мало или жить можно? FBDIMM не дешёвая, поэтому с запасом покупать не получится - 2Gb планка ~50$ (это дороже чем 4Gb DDR3 Reg ECC). 1.2. Будет ли толк для ZFS, если установить amd64 (проц и мама поддерживают), но памяти оставить 2Gb? Или для amd64 тем более надо памяти 4+Gb? Что на счёт 6Gb? толк будет, однозначно ставить amd64 2. Посмотрел на compression и deduplication, но сразу возникли вопросы: compression по желанию а вот dedup не советую - скорость дисковых операций очень падает, рекомендовано для хранилищ и где не критична скорость записи 2.1. Хватит ли проца для этого? хватит 2.2. Не окажется ли, что RAID10 (zfs или 3Ware) + compress + dedup медленней, чем RAID5 (3Ware), а raid-z + compress + dedup так и подавно? Нагуглил много упоминаний, что современные процы вполне себе быстро справляются с подобными задачами и не являются узким местом, но в моём случае процессор не такой и современный. Покупать такой же второй за 200$, IMHO, деньги на ветер. Более современные на замену этому тоже уже устаревшие - серия Xeon E5400 (цены на них от 200-300$). Да и вообще экономическую целесообразность имеет смысл обсуждать, когда известно, на сколько это поможет. если мамка позволяет SATA +NCQ - викинуть рейд и собрать с новым ATA_CAM драйвером, если нет - оставить, но рейд сделать на ZFS, на 3Ware диски jbod режим. чем больше параллелизм - тем быстрее скорость вот примерная статистика при закачке файла по ftp (скорость 10 Mb/sec) zpool iostat 1 capacity operations bandwidth pool alloc free read write read write -- - - - - - - zrouter 18,9G 271G 0 39 6,37K 245K zrouter 18,9G 271G 0 0 0 0 zrouter 18,9G 271G 0 218 0 20,2M zrouter 19,0G 271G 0 440 0 33,6M zrouter 19,0G 271G 0 0 0 0 zrouter 19,0G 271G 0 0 0 0 zrouter 19,0G 271G 0 0 0 0 zrouter 19,0G 271G 0 149 0 17,3M zrouter 19,0G 271G 0 429 0 37,3M zrouter 19,0G 271G 0 0 0 0 zrouter 19,0G 271G 0 223 0 27,9M zrouter 19,0G 271G 0 0 0 0 zrouter 19,0G 271G 0 255 0 23,4M zrouter 19,1G 271G 0 427 0 30,1M zrouter 19,1G 271G 0 0 0 0 zrouter 19,1G 271G 0 0 0 0 zrouter 19,1G 271G 0 0 0 0 zpool status pool: zrouter state: ONLINE scan: none requested config: NAME
Re: [freebsd] Re: [freebsd] ZFS: 2Gb оперативки
On Tue, Sep 27, 2011 at 04:40:46PM +0300, Vasiliy P. Melnik wrote: > ну вот не надо делать вид, что вы не поняли чего я хотел сказать :) > > Ну должны ж быть какие и плюсы у софтовый решений - не только минусы. > Я например на текущий момент не понимаю, нафига сейчас на проксе кеширование > включать - но народ то пользуется. Пользуется по привычке - никто не изучал > насколько там выигрыш получается. чего там изучать, вон в отчете -- Hit 13.77%
[freebsd] Re: [freebsd] ZFS: 2Gb оперативки
ну вот не надо делать вид, что вы не поняли чего я хотел сказать :) Ну должны ж быть какие и плюсы у софтовый решений - не только минусы. Я например на текущий момент не понимаю, нафига сейчас на проксе кеширование включать - но народ то пользуется. Пользуется по привычке - никто не изучал насколько там выигрыш получается. В данном случае сжатие на лету будет на пользу только текстовым файлам - а в случае с пожаты контентом, типа фильмы, мр3-шки будет делать только хуже. И какой-то общей рекомендации Вы нигде не увидите, ибо сегодня ситуация одна - а завтра диаметрально другая. Я вот собирался строить зеркало на gmirror и думал ставить в машину 2 гига оперативки - даже этого было много, но вспомнил про zfs и все изменилось теперь жалею что 8 гигов не купил 2011/9/27 Denis Zaika > On 27.09.2011 10:18, Vasiliy P. Melnik wrote: > > Вот как-то хамить и мыслей не было. > > > > Хотелось лишь сказать, что софтовый рейд сделан, чтобы не покупать > > нормальный контроллер, когда на него нет бюджета. > > RAIDZ - нет, он во многом уникальное явление, как и ZFS. > > > > > Поэтому уходить в програмное решение, когда есть железяка как-то > нелогично - > > двигаться в сторону того, от чего все пытаются уйти. > > Нет, аппаратных рейдов с возможностями RAIDZ я не встречал. > > > > > Т.е. как по мне адаптек 2405 гораздо лучше всяких там raidz и gmrirror c > > прочими lvm-ами. > > В общем случае - нет. В каких-нибудь конкретных, допускаю, может быть. > > > > > Что касается конкретного вопроса - я бы даже не смотрел, ибо > > > > http://www.freebsd.org/doc/ru/books/handbook/filesystems-zfs.html > > 19.2.1.1. Память > > Общий размер ОЗУ должен быть как минимум равен одному гигабайту, хотя > > Я первые эксперименты проводил на машине с 512 МБ на 7.0, после > подкручивания крутилок работало вполне нормально. > > > А если все же хочется, то ставить однозначно amd64 и потом всю жизнь > думать > > - хватит ли 2 гига, если везде написано про 4, хотя вроде как написано > > минимум 1 гиг. > > Хватит и 2, если все правильно сделать. > > > > > З.Ы. а если вспомнить про виндовые игрушки и как они работали на > минимальных > > заявленных требованиях, то мне даже как-то совсем не весело бы жилось. > > Прекрасный пример! Это все объясняет! > > -- > Cheers, Denis Zaika,ZDS-RIPE > "Soniko-svyaz" NOC engineer,ZDS-UANIC > Donetsk, UkraineZDS-EUNIC > +380933407844, +380623323232 >
Re: [freebsd] ZFS: 2Gb оперативки
27.09.2011 00:31, Владимир Друзенко пишет: По мотивам активно обсуждаемой в данный момент темы "zfs" возникло несколько вопросов. Занимаюсь сейчас в фоновом режиме поднятием файл сервера (высоконагруженным он не будет, но несколько десятков одновременных пользователей с не большими файлами по SMB/NFS на нём точно будут + в среднем не более одного качающего/заливающего что-то тяжёлое типа дистрибутивов или образов CD/DVD). А какова пропускная способность сети, по которой файлы на сервер и с него качаться будут? -- Yuri V. Kurenkov [YVK9-RIPN,YVK11-RIPE] Home: +7-8634-361711 Mobile: +7-928-1725845 ICQ UIN:21666578 Skype: yuri.kurenkov
Re: [freebsd] ZFS: 2Gb оперативки
On 27.09.2011 10:18, Vasiliy P. Melnik wrote: > Вот как-то хамить и мыслей не было. > > Хотелось лишь сказать, что софтовый рейд сделан, чтобы не покупать > нормальный контроллер, когда на него нет бюджета. RAIDZ - нет, он во многом уникальное явление, как и ZFS. > > Поэтому уходить в програмное решение, когда есть железяка как-то нелогично - > двигаться в сторону того, от чего все пытаются уйти. Нет, аппаратных рейдов с возможностями RAIDZ я не встречал. > > Т.е. как по мне адаптек 2405 гораздо лучше всяких там raidz и gmrirror c > прочими lvm-ами. В общем случае - нет. В каких-нибудь конкретных, допускаю, может быть. > > Что касается конкретного вопроса - я бы даже не смотрел, ибо > > http://www.freebsd.org/doc/ru/books/handbook/filesystems-zfs.html > 19.2.1.1. Память > Общий размер ОЗУ должен быть как минимум равен одному гигабайту, хотя Я первые эксперименты проводил на машине с 512 МБ на 7.0, после подкручивания крутилок работало вполне нормально. > А если все же хочется, то ставить однозначно amd64 и потом всю жизнь думать > - хватит ли 2 гига, если везде написано про 4, хотя вроде как написано > минимум 1 гиг. Хватит и 2, если все правильно сделать. > > З.Ы. а если вспомнить про виндовые игрушки и как они работали на минимальных > заявленных требованиях, то мне даже как-то совсем не весело бы жилось. Прекрасный пример! Это все объясняет! -- Cheers, Denis Zaika,ZDS-RIPE "Soniko-svyaz" NOC engineer,ZDS-UANIC Donetsk, UkraineZDS-EUNIC +380933407844, +380623323232
Re: [freebsd] ZFS: 2Gb оперативки
26.09.2011 23:31, Владимир Друзенко написав(ла): Для тестов поставил лежавшую под рукой 8.1. Тестировал dd иdiskinfo -t (цель не повторить реальную нагрузку, а хотя бы примерно оценить на что можно рассчитывать). Уже можно смотреть на 9.0, оно скоро выйдет и крупных потрясением в исходниках уже не будет. Из того что может помочь - переход на ata_cam, последняя реализация ZFS, UFS+SUJ. Начал смотреть в сторону ZFS, а именно raid-z. Литературы перечитал прилично, но просветление так полностью и не пришло. :-] Вот мы и добрались до вопросов: 1. 2Gb памяти для zfs: 1.1. Совсем мало или жить можно? FBDIMM не дешёвая, поэтому с запасом покупать не получится - 2Gb планка ~50$ (это дороже чем 4Gb DDR3 Reg ECC). Жить можно, если осторожно, у меня домашняя машина на 1,75 вполне нормально себя чувствует для своих лет. 1.2. Будет ли толк для ZFS, если установить amd64 (проц и мама поддерживают), но памяти оставить 2Gb? Или для amd64 тем более надо памяти 4+Gb? Что на счёт 6Gb? У меня сервак с RAIDZ2 спокойно кушает 8G. Там только самба. Я бы сказал иначе, если не хотите проблем ставьте amd64. На i386 оно работает, но баги вылазят... странные. 2. Посмотрел на compression и deduplication, но сразу возникли вопросы: Вопрос по dedup не задан, но отвечу: на 1Tb данных нужно +1Gb оперативы. Если памяти не будет хватать для помещения таблицы хешей в память скорость будет падать в разы. Можно смотреть на избирательное включение dedup для редкоиспользуемых/небольших разделов для которых скорость не важна. 2.1. Хватит ли проца для этого? Да. Возможно почитать статью по тюнингу и уменьшить размер транзакции чтобы не подлагивало при заливке больших объёмов данных. 2.2. Не окажется ли, что RAID10 (zfs или 3Ware) + compress + dedup медленней, чем RAID5 (3Ware), а raid-z + compress + dedup так и подавно? Нагуглил много упоминаний, что современные процы вполне себе быстро справляются с подобными задачами и не являются узким местом, но в моём случае процессор не такой и современный. Покупать такой же второй за 200$, IMHO, деньги на ветер. Более современные на замену этому тоже уже устаревшие - серия Xeon E5400 (цены на них от 200-300$). Да и вообще экономическую целесообразность имеет смысл обсуждать, когда известно, на сколько это поможет. 2.3. Если сильно не хватит текущего проца, то на сколько поможет докупка второго или замена на Xeon E54xx? Хватит. Если есть какие реальные тесты - с удовольствием почитаю. Личный опыт - ещё лучше. RAIDZ2 4x500Gb, E5506, 8Gb, compression=yes, dedup=off > dd if=4gb_file of=/dev/null bs=4m 953+1 records in 953+1 records out 4000382976 bytes transferred in 16.928191 secs (236314854 bytes/sec) > dd if=4gb_file of=some_other_file bs=4m 953+1 records in 953+1 records out 4000382976 bytes transferred in 62.377238 secs (64132095 bytes/sec) > time dd if=/dev/zero of=some_other_file bs=4m count=4096 4096+0 records in 4096+0 records out 17179869184 bytes transferred in 18.011684 secs (953818034 bytes/sec) 0.007u 17.225s 0:18.01 95.6%26+1511k 0+0io 0pf+0w Возможно в вашем случае стоит посмотреть на UFS+SUJ, больно памяти мало... -- Sphinx of black quartz judge my vow.
Re: [freebsd] Re: [freebsd] ZFS: 2Gb оперативки
amd64+deduplication паников нет память и IOps кушается заметно больше deduplication - удел использования на разделах с архивами бэкапов, т.е. с редким доступом. CPU по идее кушается чуть больше, но сервера не сильно нагруженные, и нагрузка на CPU не критична. --- Исходное сообщение --- От кого: " Serge Negodyuck" Кому: " Artyom Viklenko" Дата: 27 сентября 2011, 11:06:40 Тема: [freebsd] Re: [freebsd] ZFS: 2Gb оперативки > 2011/9/27 Artyom Viklenko < ar...@aws-net.org.ua >: > 26.09.2011 23:31, Владимир Друзенко пишет: >> >> 1. 2Gb памяти для zfs: >> 1.1. Совсем мало или жить можно? FBDIMM не дешёвая, поэтому с запасом >> покупать не получится - 2Gb планка ~50$ (это дороже чем 4Gb DDR3 Reg ECC). > > У мну на двух серверах 2 гига и zfs. В одном zfs only. > Там почта крутится. Проблем не заечал пока. На втором > тормоза из-за "желания сэкономить" - WD20EARS. Все никак > руки не дойдут пересобрать массив с размером блока в 4к. > > У знакомого zfs тормозит на amd64 и 16гигах... Был у меня сервер на i386 с 4GB RAM (так исторически сложилось). Внезапно понадобилось на нем сделать RAID0 4x500GB. Именно RAID0. Задача стояла сделать как можно больший раздел самым дешевым способом. ZFS напрашивалась сама собой. И чтобы сэкономить место я еще захотел дедупликацию. Я обновился до 8.2-STABLE с zfs v28. Вроде первое время все работало... Но - ZFS deduplication памяти кушает заметно больше, чем без нее. Думаю, без dedup взлететь можно и на 2GB. С dedup все нужно умножать на два, наверное. - на i386 zfs заметно тормозила - начались паники, видимо какие-то ресурсы ядра упирались в какие-то лимиты архитектуры i386.
[freebsd] Re: [freebsd] ZFS: 2Gb оперативки
2011/9/27 Artyom Viklenko : > 26.09.2011 23:31, Владимир Друзенко пишет: >> >> 1. 2Gb памяти для zfs: >> 1.1. Совсем мало или жить можно? FBDIMM не дешёвая, поэтому с запасом >> покупать не получится - 2Gb планка ~50$ (это дороже чем 4Gb DDR3 Reg ECC). > > У мну на двух серверах 2 гига и zfs. В одном zfs only. > Там почта крутится. Проблем не заечал пока. На втором > тормоза из-за "желания сэкономить" - WD20EARS. Все никак > руки не дойдут пересобрать массив с размером блока в 4к. > > У знакомого zfs тормозит на amd64 и 16гигах... Был у меня сервер на i386 с 4GB RAM (так исторически сложилось). Внезапно понадобилось на нем сделать RAID0 4x500GB. Именно RAID0. Задача стояла сделать как можно больший раздел самым дешевым способом. ZFS напрашивалась сама собой. И чтобы сэкономить место я еще захотел дедупликацию. Я обновился до 8.2-STABLE с zfs v28. Вроде первое время все работало... Но - ZFS deduplication памяти кушает заметно больше, чем без нее. Думаю, без dedup взлететь можно и на 2GB. С dedup все нужно умножать на два, наверное. - на i386 zfs заметно тормозила - начались паники, видимо какие-то ресурсы ядра упирались в какие-то лимиты архитектуры i386. Кручение KVA_PAGES, arc_size, иногда давало некоторый успех, но ненадолго. Было решено перейти на amd64 (отдельная песня, по ходу пришлось еще root on zfs делать, другого свободного раздела небыло) В итоге с дефолтными настройками на amd64 все летает и вот уже два месяца ничего не падает. P.S. По поводу gzip. Игрался, на другой машине. ( Core(TM)2 Duo CPU E7500 @ 2.93GHz ) Запись с ним заметно медленнее, чем без него. (20MB/s против 80Mb/s ) А вот чтение иногда дает заметный плюс при хорошо жмущихся файлах.
Re: [freebsd] ZFS: 2Gb оперативки
Hello, Владимир Друзенко! On Tue, Sep 27, 2011 at 12:31:26AM +0400 v...@unislabs.com wrote about "[freebsd] ZFS: 2Gb оперативки": > > Доброго времени суток, коллеги! > > По мотивам активно обсуждаемой в данный момент темы "zfs" возникло > несколько вопросов. Я так понимаю, что есть возможность потестировать, сервер еще не в продакшене ведь. 2гб мало, ладно бы на небольшую нагрузку, но у вас несколько десятков пользователей будут массив мучать. Не уверен, что 2гб хватит. Советую почитать полезный пост от Jeremy Chadwick: http://lists.freebsd.org/pipermail/freebsd-stable/2011-February/061642.html тут много полезного, я часто к этому посту сам обращаюсь. У меня лично aio_load=yes дало значительный прирост скоростей как чтения, так и записи. Мне лично не доводилось работать с крутыми контроллерами, но часто встречал, что для zfs лучше отдать диски в сыром виде, чем рэйд на не дорогом контроллере. Если у вас машинка еще в тест-лабе, то можете попробовать сделать что-то типа dd if=/dev/random of=file bs=4096 count=30 dd if=file of=/dev/null bs=4096 на разных вариантах -- аппаратный рэйд, и пул на рэйде, аппаратный рэйд и ufs, программный рэйд из сырых дисков и тд. И поделится с остальными вашими результатами. Для zfs толк будет поставить amd64, памяти если есть 2гб, то пусть и останется пока столько, но это мало. Потестируйте. В вопросе ничего не было о релизе, так вот лучше ставить снапшот от августа-сентября, там уже zfs-v28 в ядре, а в релизе v15 еще. Надеюсь, хоть чем-то помог. :) -- Lystopad Olexandr
Re: [freebsd] ZFS: 2Gb оперативки
Вот как-то хамить и мыслей не было. Хотелось лишь сказать, что софтовый рейд сделан, чтобы не покупать нормальный контроллер, когда на него нет бюджета. Поэтому уходить в програмное решение, когда есть железяка как-то нелогично - двигаться в сторону того, от чего все пытаются уйти. Т.е. как по мне адаптек 2405 гораздо лучше всяких там raidz и gmrirror c прочими lvm-ами. Что касается конкретного вопроса - я бы даже не смотрел, ибо http://www.freebsd.org/doc/ru/books/handbook/filesystems-zfs.html 19.2.1.1. Память Общий размер ОЗУ должен быть как минимум равен одному гигабайту, хотя рекомендуется два гигабайта или более. Во всех нижеследующих примерах используется система с 1ГБ памяти совместно с другими специальными настройками. Известно, что некоторые пользователи преуспели в использовании ZFS на системах, имеющих менее одного гигабайта памяти, но с таким ограниченным объемом ОЗУ и при серьезной загрузке машины очень вероятны паники FreeBSD из-за нехватки памяти. А если все же хочется, то ставить однозначно amd64 и потом всю жизнь думать - хватит ли 2 гига, если везде написано про 4, хотя вроде как написано минимум 1 гиг. З.Ы. а если вспомнить про виндовые игрушки и как они работали на минимальных заявленных требованиях, то мне даже как-то совсем не весело бы жилось. On Tue, Sep 27, 2011 at 04:18:58AM +0400, Владимир Друзенко wrote: > 27.09.2011 03:13, Vasiliy P. Melnik пишет: > >так а причем тут zfs ? > > > >купите винты новые и сделайте из них миррор, нет денег - сделайте на > >текущщих первый рейд. > > > >а то вам и рыбку съесть, и .. дальше знаете вобщем. > > > > > >Т.е. как по мне - то железный контроллер очень полезная штука, просто есть > >одна небольшая проблема - он денег стоит. > > > >>Спасибо за ответ, но видимо вы не так меня поняли или я не так выразился. > >>Поясняю: из-за низкой скорости работы аппаратного RAID5 рассматриваю > >>вариант с RAID-Z, не используя функции аппаратного RAID контроллера. > >>80Mb/s смотрятся уныло при такой же скорости единичного диска. > >>Вот и задался вопросом о zfs. > >> > > > Многоуважаемый, давайте будем более уважительно относиться к собеседникам. > Я вам не мальчик младший помощник сисадмина в вашем подчинении, > чтобы со мной говорить таким поучающим тоном. > > Если бы можно было купить новое железо, то я бы не стал писать > вопрос в рассылку, а просто заказал бы необходимое. > > Вопрос вполне конкретный - реально ли с помощью zfs получить > скорость выше, чем на аппаратном RAID5 на текущем железе? > При этом я привёл несколько видимых мной способов это сделать и > обозначил потенциальные проблемы. Вопрос на сколько эти проблемы > реальны? > А такая подробность описания условий призвана избавить читающих эту > рассылку и потенциально могущих подсказать что-то дельное от лишних > наводящих вопросов мне. > > > P.S. Привык всё решать сам и сильно удивлялся большинству задаваемых > здесь вопросов - неужели самим нельзя такое сделать, не спрашивая > других. А как задал сам - так сразу в ответ получил хамство. > -- --- Vasiliy P. MelnikVPM-UANIC
Re: [freebsd] ZFS: 2Gb оперативки
26.09.2011 23:31, Владимир Друзенко пишет: 1. 2Gb памяти для zfs: 1.1. Совсем мало или жить можно? FBDIMM не дешёвая, поэтому с запасом покупать не получится - 2Gb планка ~50$ (это дороже чем 4Gb DDR3 Reg ECC). У мну на двух серверах 2 гига и zfs. В одном zfs only. Там почта крутится. Проблем не заечал пока. На втором тормоза из-за "желания сэкономить" - WD20EARS. Все никак руки не дойдут пересобрать массив с размером блока в 4к. У знакомого zfs тормозит на amd64 и 16гигах... -- Sincerely yours, Artyom Viklenko. --- ar...@aws-net.org.ua | http://www.aws-net.org.ua/~artem ar...@viklenko.net | JID: ar...@jabber.aws-net.org.ua FreeBSD: The Power to Serve - http://www.freebsd.org
Re: [freebsd] ZFS: 2Gb оперативки
27.09.2011 03:13, Vasiliy P. Melnik пишет: так а причем тут zfs ? купите винты новые и сделайте из них миррор, нет денег - сделайте на текущщих первый рейд. а то вам и рыбку съесть, и .. дальше знаете вобщем. Т.е. как по мне - то железный контроллер очень полезная штука, просто есть одна небольшая проблема - он денег стоит. Спасибо за ответ, но видимо вы не так меня поняли или я не так выразился. Поясняю: из-за низкой скорости работы аппаратного RAID5 рассматриваю вариант с RAID-Z, не используя функции аппаратного RAID контроллера. 80Mb/s смотрятся уныло при такой же скорости единичного диска. Вот и задался вопросом о zfs. Многоуважаемый, давайте будем более уважительно относиться к собеседникам. Я вам не мальчик младший помощник сисадмина в вашем подчинении, чтобы со мной говорить таким поучающим тоном. Если бы можно было купить новое железо, то я бы не стал писать вопрос в рассылку, а просто заказал бы необходимое. Вопрос вполне конкретный - реально ли с помощью zfs получить скорость выше, чем на аппаратном RAID5 на текущем железе? При этом я привёл несколько видимых мной способов это сделать и обозначил потенциальные проблемы. Вопрос на сколько эти проблемы реальны? А такая подробность описания условий призвана избавить читающих эту рассылку и потенциально могущих подсказать что-то дельное от лишних наводящих вопросов мне. P.S. Привык всё решать сам и сильно удивлялся большинству задаваемых здесь вопросов - неужели самим нельзя такое сделать, не спрашивая других. А как задал сам - так сразу в ответ получил хамство.
[freebsd] Re: [freebsd] ZFS: 2Gb оперативки
Today Sep 27, 2011 at 00:47 Vasiliy P. Melnik wrote: > если Вы не поняли, то все обсуждаемые здесь вопросы касаются постройки > софтового рейда - а у Вас рейд хардварный. Вот пусть этот вот самый рейд и > занимается обсчетами-подсчетами. Он спрашивает возможно-ли с помощью ZFS на том железе получить скорость больше RAID5 и объём больше чем у RAID10. Будь-то raid-z поверх винтов или compress + dedup поверх RAID10. > > 2. Посмотрел на compression и deduplication, но сразу возникли вопросы: > > 2.1. Хватит ли проца для этого? > > 2.2. Не окажется ли, что RAID10 (zfs или 3Ware) + compress + dedup > > медленней, чем RAID5 (3Ware), а raid-z + compress + dedup так и > > подавно? > > Идеальным будет вариант оставить 2Gb, получить 1500Gb из 4x500Gb (с > > возможностью вылета одного из дисков), неважно i386 или amd64, и это > > всё даёт на чтение не ниже 150Mb/s и что-то в том же духе на запись. -- WNGS-RIPE
Re: [freebsd] ZFS: 2Gb оперативки
так а причем тут zfs ? купите винты новые и сделайте из них миррор, нет денег - сделайте на текущщих первый рейд. а то вам и рыбку съесть, и .. дальше знаете вобщем. Т.е. как по мне - то железный контроллер очень полезная штука, просто есть одна небольшая проблема - он денег стоит. > Спасибо за ответ, но видимо вы не так меня поняли или я не так выразился. > Поясняю: из-за низкой скорости работы аппаратного RAID5 рассматриваю > вариант с RAID-Z, не используя функции аппаратного RAID контроллера. > 80Mb/s смотрятся уныло при такой же скорости единичного диска. > Вот и задался вопросом о zfs. > -- --- Vasiliy P. MelnikVPM-UANIC
Re: [freebsd] ZFS: 2Gb оперативки
27.09.2011 01:47, Vasiliy P. Melnik пишет: почитал. если Вы не поняли, то все обсуждаемые здесь вопросы касаются постройки софтового рейда - а у Вас рейд хардварный. Вот пусть этот вот самый рейд и занимается обсчетами-подсчетами. только не понятно зачем здесь zfs - ufs-а с головой как-бы и не надо на продакшин ставить бурно развивающуюся вещь On Tue, Sep 27, 2011 at 12:31:26AM +0400, Владимир Друзенко wrote: Доброго времени суток, коллеги! По мотивам активно обсуждаемой в данный момент темы "zfs" возникло несколько вопросов. Занимаюсь сейчас в фоновом режиме поднятием файл сервера (высоконагруженным он не будет, но несколько десятков одновременных пользователей с не большими файлами по SMB/NFS на нём точно будут + в среднем не более одного качающего/заливающего что-то тяжёлое типа дистрибутивов или образов CD/DVD). Железо следующее (куплено было относительно давно и сейчас дополнительный бюджет очень ограничен - читай 0$, и только при крайней необходимости): мама: Intel® Server Board S5000PSLSATAR (2xLGA771) http://ark.intel.com/products/46546/Intel-Server-Board-S5000PSLSATAR; проц (один): Intel® Xeon® Processor 5030 (4M Cache, 2.66 GHz, 667 MHz FSB) http://ark.intel.com/products/27208/Intel-Xeon-Processor-5030-%284M-Cache-2_66-GHz-667-MHz-FSB%29 - последняя линейка нетбёрстов (видимо аналог P4 CedarMill 65нм) 2 ядра + гипертрединг; память: 2x1Gb DDR2 FB-DIMM 667MHz; 3Ware PCI-X SATA RAID (модель не вспомню, но если будет критично, то обязательно напишу) 4xSATA; 4x500Gb SATA Samsung + ещё несколько различных SATA дисков разных объёмов, которые буду подключать к маме напрямую. Для тестов поставил лежавшую под рукой 8.1. Тестировал dd иdiskinfo -t (цель не повторить реальную нагрузку, а хотя бы примерно оценить на что можно рассчитывать). Аппаратный RAID10 (на контроллере 3Ware)из 4x500Gb Sumsungдаёт свыше 150Mb/s на чтение! Но это несколько расточительно в плане объёма при ограниченном бюджете. Сделал аппаратный RAID5 (на контроллере 3Ware) - скорость чтения примерно равно скорости чтения одиночного винта - ~80-90Mb/s. Все RAID с Chunk Size 256Kb. Постараюсь в ближайшее время провести повторные измерения, но с Chunk Size 64Kb (128Kb контроллер выставить не позволяет). Начал смотреть в сторону ZFS, а именно raid-z. Литературы перечитал прилично, но просветление так полностью и не пришло. :-] Вот мы и добрались до вопросов: 1. 2Gb памяти для zfs: 1.1. Совсем мало или жить можно? FBDIMM не дешёвая, поэтому с запасом покупать не получится - 2Gb планка ~50$ (это дороже чем 4Gb DDR3 Reg ECC). 1.2. Будет ли толк для ZFS, если установить amd64 (проц и мама поддерживают), но памяти оставить 2Gb? Или для amd64 тем более надо памяти 4+Gb? Что на счёт 6Gb? 2. Посмотрел на compression и deduplication, но сразу возникли вопросы: 2.1. Хватит ли проца для этого? 2.2. Не окажется ли, что RAID10 (zfs или 3Ware) + compress + dedup медленней, чем RAID5 (3Ware), а raid-z + compress + dedup так и подавно? Нагуглил много упоминаний, что современные процы вполне себе быстро справляются с подобными задачами и не являются узким местом, но в моём случае процессор не такой и современный. Покупать такой же второй за 200$, IMHO, деньги на ветер. Более современные на замену этому тоже уже устаревшие - серия Xeon E5400 (цены на них от 200-300$). Да и вообще экономическую целесообразность имеет смысл обсуждать, когда известно, на сколько это поможет. 2.3. Если сильно не хватит текущего проца, то на сколько поможет докупка второго или замена на Xeon E54xx? Идеальным будет вариант оставить 2Gb, получить 1500Gb из 4x500Gb (с возможностью вылета одного из дисков), неважно i386 или amd64, и это всё даёт на чтение не ниже 150Mb/s и что-то в том же духе на запись. Если есть какие реальные тесты - с удовольствием почитаю. Личный опыт - ещё лучше. За ранее спасибо за любую помощь! И прошу прощения за простыню. [-: Спасибо за ответ, но видимо вы не так меня поняли или я не так выразился. Поясняю: из-за низкой скорости работы аппаратного RAID5 рассматриваю вариант с RAID-Z, не используя функции аппаратного RAID контроллера. 80Mb/s смотрятся уныло при такой же скорости единичного диска. Вот и задался вопросом о zfs.
Re: [freebsd] ZFS: 2Gb оперативки
почитал. если Вы не поняли, то все обсуждаемые здесь вопросы касаются постройки софтового рейда - а у Вас рейд хардварный. Вот пусть этот вот самый рейд и занимается обсчетами-подсчетами. только не понятно зачем здесь zfs - ufs-а с головой как-бы и не надо на продакшин ставить бурно развивающуюся вещь On Tue, Sep 27, 2011 at 12:31:26AM +0400, Владимир Друзенко wrote: > > Доброго времени суток, коллеги! > > По мотивам активно обсуждаемой в данный момент темы "zfs" возникло > несколько вопросов. > Занимаюсь сейчас в фоновом режиме поднятием файл сервера > (высоконагруженным он не будет, но несколько десятков одновременных > пользователей с не большими файлами по SMB/NFS на нём точно будут + > в среднем не более одного качающего/заливающего что-то тяжёлое типа > дистрибутивов или образов CD/DVD). > > Железо следующее (куплено было относительно давно и сейчас > дополнительный бюджет очень ограничен - читай 0$, и только при > крайней необходимости): > мама: Intel® Server Board S5000PSLSATAR (2xLGA771) > http://ark.intel.com/products/46546/Intel-Server-Board-S5000PSLSATAR; > проц (один): Intel® Xeon® Processor 5030 (4M Cache, 2.66 GHz, 667 > MHz FSB) > http://ark.intel.com/products/27208/Intel-Xeon-Processor-5030-%284M-Cache-2_66-GHz-667-MHz-FSB%29 > - последняя линейка нетбёрстов (видимо аналог P4 CedarMill 65нм) 2 > ядра + гипертрединг; > память: 2x1Gb DDR2 FB-DIMM 667MHz; > 3Ware PCI-X SATA RAID (модель не вспомню, но если будет критично, то > обязательно напишу) 4xSATA; > 4x500Gb SATA Samsung + ещё несколько различных SATA дисков разных > объёмов, которые буду подключать к маме напрямую. > > Для тестов поставил лежавшую под рукой 8.1. Тестировал dd иdiskinfo > -t (цель не повторить реальную нагрузку, а хотя бы примерно оценить > на что можно рассчитывать). > Аппаратный RAID10 (на контроллере 3Ware)из 4x500Gb Sumsungдаёт свыше > 150Mb/s на чтение! Но это несколько расточительно в плане объёма при > ограниченном бюджете. > Сделал аппаратный RAID5 (на контроллере 3Ware) - скорость чтения > примерно равно скорости чтения одиночного винта - ~80-90Mb/s. > Все RAID с Chunk Size 256Kb. Постараюсь в ближайшее время провести > повторные измерения, но с Chunk Size 64Kb (128Kb контроллер > выставить не позволяет). > > > Начал смотреть в сторону ZFS, а именно raid-z. Литературы перечитал > прилично, но просветление так полностью и не пришло. :-] > > Вот мы и добрались до вопросов: > 1. 2Gb памяти для zfs: > 1.1. Совсем мало или жить можно? FBDIMM не дешёвая, поэтому с > запасом покупать не получится - 2Gb планка ~50$ (это дороже чем 4Gb > DDR3 Reg ECC). > 1.2. Будет ли толк для ZFS, если установить amd64 (проц и мама > поддерживают), но памяти оставить 2Gb? Или для amd64 тем более надо > памяти 4+Gb? Что на счёт 6Gb? > 2. Посмотрел на compression и deduplication, но сразу возникли вопросы: > 2.1. Хватит ли проца для этого? > 2.2. Не окажется ли, что RAID10 (zfs или 3Ware) + compress + dedup > медленней, чем RAID5 (3Ware), а raid-z + compress + dedup так и > подавно? > Нагуглил много упоминаний, что современные процы вполне себе быстро > справляются с подобными задачами и не являются узким местом, но в > моём случае процессор не такой и современный. Покупать такой же > второй за 200$, IMHO, деньги на ветер. Более современные на замену > этому тоже уже устаревшие - серия Xeon E5400 (цены на них от > 200-300$). Да и вообще экономическую целесообразность имеет смысл > обсуждать, когда известно, на сколько это поможет. > 2.3. Если сильно не хватит текущего проца, то на сколько поможет > докупка второго или замена на Xeon E54xx? > > > Идеальным будет вариант оставить 2Gb, получить 1500Gb из 4x500Gb (с > возможностью вылета одного из дисков), неважно i386 или amd64, и это > всё даёт на чтение не ниже 150Mb/s и что-то в том же духе на запись. > > > Если есть какие реальные тесты - с удовольствием почитаю. Личный > опыт - ещё лучше. > > > За ранее спасибо за любую помощь! > И прошу прощения за простыню. [-: > -- --- Vasiliy P. MelnikVPM-UANIC
