глупый вопрос про RAID
Добрый день, All. Насколько я понимаю - объединение дисков в RAID1 должно увеличить скорость чтения с получившегося блочного устройства или я ошибаюсь ? Может чего подкрутить надо ? # hdparm -tT --direct /dev/sda /dev/sdb /dev/md0 /dev/sda: Timing O_DIRECT cached reads: 524 MB in 2.00 seconds = 261.65 MB/sec Timing O_DIRECT disk reads: 176 MB in 3.03 seconds = 58.15 MB/sec /dev/sdb: Timing O_DIRECT cached reads: 528 MB in 2.01 seconds = 262.20 MB/sec Timing O_DIRECT disk reads: 176 MB in 3.02 seconds = 58.21 MB/sec /dev/md0: Timing O_DIRECT cached reads: 508 MB in 2.01 seconds = 252.40 MB/sec Timing O_DIRECT disk reads: 170 MB in 3.00 seconds = 56.58 MB/sec /dev/md0: Number Major Minor RaidDevice State 0 810 active sync /dev/sda1 1 8 171 active sync /dev/sdb1 -- To UNSUBSCRIBE, email to [EMAIL PROTECTED] with a subject of "unsubscribe". Trouble? Contact [EMAIL PROTECTED]
Re: глупый вопрос про RAID
2007/12/6, Oleg Frolkov <[EMAIL PROTECTED]>: > > > А может все упирается в PCI шину которая максимум может прокачать > порядка 100Mb со всех девайсов сразу? 33 MHz x 4 байта = 132 MB/sec и если сата интерфейсы стоят на отдельной плате PCI 32 бита 33 MHz... Где вы нашли такую древность?
Re: глупый вопрос про RAID
Dmitry Fedorov wrote: > 2007/12/6, Oleg Frolkov <[EMAIL PROTECTED]>: > >> А может все упирается в PCI шину которая максимум может прокачать >> порядка 100Mb со всех девайсов сразу? >> > > 33 MHz x 4 байта = 132 MB/sec и если сата интерфейсы стоят на отдельной плате > PCI 32 бита 33 MHz... Где вы нашли такую древность? > Материнка на интеловском 865G чипсете. На неё как ставили дополнительный отдельный (как оказалось софтовый) SATA райд (Silicon Image, Inc. SiI 3114 [SATALink/SATARaid] Serial ATA Controller (rev 02) ). Но насколько я вижу из dmesg - винты подключены к набортному PIIX контроллеру ( Intel Corporation 82801EB (ICH5) SATA Controller). Винтов всего два, машина работает, останавливать её нельзя. Разве что по очень большому авралу. Да по любому - на примерно такой же машине с похожей конфигурацией скорость каждого винта - порядка 60 MB/sec. На моей домашней машине - винт купленый два года назад дает порядка 70ти. купленый вчера - порядка 80ти. Проблемные винты тоже где то двухлетней давности. Я всё таки думаю что проблема в настройках BIOS. Если есть другие идеи буду признателен. -- To UNSUBSCRIBE, email to [EMAIL PROTECTED] with a subject of "unsubscribe". Trouble? Contact [EMAIL PROTECTED]
Re: глупый вопрос про RAID
Timur S. Sattarov wrote:
> Добрый день, All.
>
>
> Насколько я понимаю - объединение дисков в RAID1 должно увеличить
> скорость чтения с получившегося блочного устройства или я ошибаюсь ?
> Может чего подкрутить надо ?
Прошу прощения, спутал RAID1(redundancy) и RAID0. Вопрос снимается
вопрос собственно возник из проблем с одним из таких рейдов.
Точнее проблемы с винтами его составляющими - два сата винта, не такие
старые но скорость чтения на них слишком мала.
hdparm -i /dev/sda
/dev/sda:
Model=ST3120026AS , FwRev=8.05,
SerialNo=3JT3RP2B
Config={ HardSect NotMFM HdSw>15uSec Fixed DTR>10Mbs RotSpdTol>.5% }
RawCHS=16383/16/63, TrkSize=0, SectSize=0, ECCbytes=4
BuffType=unknown, BuffSize=8192kB, MaxMultSect=16, MultSect=?16?
CurCHS=16383/16/63, CurSects=16514064, LBA=yes, LBAsects=234375000
IORDY=on/off, tPIO={min:240,w/IORDY:120}, tDMA={min:120,rec:120}
PIO modes: pio0 pio1 pio2 pio3 pio4
DMA modes: mdma0 mdma1 mdma2
UDMA modes: udma0 udma1 udma2 udma3 udma4 udma5
AdvancedPM=no WriteCache=enabled
Drive conforms to: ATA/ATAPI-6 T13 1410D revision 2: ATA/ATAPI-1
ATA/ATAPI-2 ATA/ATAPI-3 ATA/ATAPI-4 ATA/ATAPI-5 ATA/ATAPI-6
смущает отсутствие звездочки напротив какого либо udma режима.
/dev/sda:
Timing O_DIRECT cached reads:88 MB in 2.03 seconds = 43.39 MB/sec
Timing O_DIRECT disk reads: 142 MB in 3.01 seconds = 47.12 MB/sec
Скорость чтения из кэша ниже чем с самого винта.
При этом информацию от SMART я получить не могу:
# smartctl --all /dev/sda
smartctl version 5.36 [i686-pc-linux-gnu] Copyright (C) 2002-6 Bruce Allen
Home page is http://smartmontools.sourceforge.net/
Device: ATA ST3120026AS Version: 8.05
Serial number: 3JT3RP2B
Device type: disk
Device does not support SMART
Подозрение на BIOS, но доступа в него я не имею - машина стоит на коло.
может у вас есть какие то идеи ?
--
To UNSUBSCRIBE, email to [EMAIL PROTECTED]
with a subject of "unsubscribe". Trouble? Contact [EMAIL PROTECTED]
Re: глупый вопрос про RAID
2007/12/5, Timur S. Sattarov <[EMAIL PROTECTED]>: > Насколько я понимаю - объединение дисков в RAID1 должно увеличить > скорость чтения с получившегося блочного устройства или я ошибаюсь ? > Может чего подкрутить надо ? Попробуйте собрать raid-0 из тех же дисков и померяйте - ничего не изменится?
Re: глупый вопрос про RAID
Timur S. Sattarov пишет:
Timur S. Sattarov wrote:
Добрый день, All.
Насколько я понимаю - объединение дисков в RAID1 должно увеличить
скорость чтения с получившегося блочного устройства или я ошибаюсь ?
Может чего подкрутить надо ?
Прошу прощения, спутал RAID1(redundancy) и RAID0. Вопрос снимается
вопрос собственно возник из проблем с одним из таких рейдов.
Точнее проблемы с винтами его составляющими - два сата винта, не такие
старые но скорость чтения на них слишком мала.
hdparm -i /dev/sda
/dev/sda:
Model=ST3120026AS , FwRev=8.05,
SerialNo=3JT3RP2B
Config={ HardSect NotMFM HdSw>15uSec Fixed DTR>10Mbs RotSpdTol>.5% }
RawCHS=16383/16/63, TrkSize=0, SectSize=0, ECCbytes=4
BuffType=unknown, BuffSize=8192kB, MaxMultSect=16, MultSect=?16?
CurCHS=16383/16/63, CurSects=16514064, LBA=yes, LBAsects=234375000
IORDY=on/off, tPIO={min:240,w/IORDY:120}, tDMA={min:120,rec:120}
PIO modes: pio0 pio1 pio2 pio3 pio4
DMA modes: mdma0 mdma1 mdma2
UDMA modes: udma0 udma1 udma2 udma3 udma4 udma5
AdvancedPM=no WriteCache=enabled
Drive conforms to: ATA/ATAPI-6 T13 1410D revision 2: ATA/ATAPI-1
ATA/ATAPI-2 ATA/ATAPI-3 ATA/ATAPI-4 ATA/ATAPI-5 ATA/ATAPI-6
смущает отсутствие звездочки напротив какого либо udma режима.
/dev/sda:
Timing O_DIRECT cached reads:88 MB in 2.03 seconds = 43.39 MB/sec
Timing O_DIRECT disk reads: 142 MB in 3.01 seconds = 47.12 MB/sec
Скорость чтения из кэша ниже чем с самого винта.
При этом информацию от SMART я получить не могу:
# smartctl --all /dev/sda
smartctl version 5.36 [i686-pc-linux-gnu] Copyright (C) 2002-6 Bruce Allen
Home page is http://smartmontools.sourceforge.net/
Device: ATA ST3120026AS Version: 8.05
Serial number: 3JT3RP2B
Device type: disk
Device does not support SMART
Подозрение на BIOS, но доступа в него я не имею - машина стоит на коло.
может у вас есть какие то идеи ?
А может все упирается в PCI шину которая максимум может прокачать
порядка 100Mb со всех девайсов сразу?
Oleg.
--
To UNSUBSCRIBE, email to [EMAIL PROTECTED]
with a subject of "unsubscribe". Trouble? Contact [EMAIL PROTECTED]
Re: глупый вопрос про RAID
06.12.07, Timur S. Sattarov<[EMAIL PROTECTED]> написал(а): > 3114 [SATALink/SATARaid] Serial ATA Controller (rev 02) ). Но насколько > я вижу из dmesg - винты подключены к набортному PIIX контроллеру ( Intel > Corporation 82801EB (ICH5) SATA Controller). Винтов всего два, машина > работает, останавливать её нельзя. Разве что по очень большому авралу. > двухлетней давности. Я всё таки думаю что проблема в настройках BIOS. > Если есть другие идеи буду признателен. Запустите два hdparm параллельно: hdparm -tT /dev/sda & hdparm -tT /dev/sbb & покажут ли они приблизительно такую же скорость для каждого винта?
Re: глупый вопрос про RAID
On Thu, 6 Dec 2007, Dmitry Fedorov wrote: 06.12.07, Timur S. Sattarov<[EMAIL PROTECTED]> написал(а): 3114 [SATALink/SATARaid] Serial ATA Controller (rev 02) ). Но насколько я вижу из dmesg - винты подключены к набортному PIIX контроллеру ( Intel Corporation 82801EB (ICH5) SATA Controller). Винтов всего два, машина работает, останавливать её нельзя. Разве что по очень большому авралу. двухлетней давности. Я всё таки думаю что проблема в настройках BIOS. Если есть другие идеи буду признателен. Запустите два hdparm параллельно: hdparm -tT /dev/sda & hdparm -tT /dev/sbb & покажут ли они приблизительно такую же скорость для каждого винта? - Что-то у меня такие воспоминания, что в "Software-RAID HOWTO" упоминается, что hdparm не применим. На вскидку google выдал только ссылку: http://gentoo-wiki.com/HOWTO_Use_hdparm_to_improve_IDE_device_performance цитирую: HDParm is the root of all evil with Software/BIOS-RAID. Most disks do _not_ sync evenly with DMA enabled, the more drives you have the less speed you should set. Успехов. Ю. p.s. А вот нашел и в HOWTO: To check out speed and performance of your RAID systems, do NOT use hdparm. It won't do real benchmarking of the arrays.
Re: глупый вопрос про RAID
06.12.07, [EMAIL PROTECTED]<[EMAIL PROTECTED]> написал(а): > > Что-то у меня такие воспоминания, что в "Software-RAID HOWTO" > упоминается, что hdparm не применим. > HDParm is the root of all evil with Software/BIOS-RAID. > p.s. А вот нашел и в HOWTO: > To check out speed and performance of your RAID systems, do NOT use > hdparm. It won't do real benchmarking of the arrays. Как ни странно, у меня работает. 2 SATA Sil 3112 встроены в маму, на каждом нарезаны разделы, пара для raid-0 и пара для raid-5 (с еще двумя на других винтах). Рейд, разумеется софтовый - в ядре линукса. Так вот, два hdparm параллельно, насколько я помню, почти не уменьшают скорости чтения кадого диска. Только одна тонкость - два настоящих процессора, а не их эмуляция. Но это не должно сильно влиять на результаты - ведь оба сата контроллера обязаны уметь передавать данные одновременно и независимо. Я бы с удовольствием использовал для измерений что-нибудь другое, но под рукой ничего кроме hdparm'а нет. Если дисковая подсистема умеет читать диски параллельно (должна уметь! за что боролись?), то даже злобный hdparm должен показать это. Приду домой - померяю и вышлю сюда.
Re: глупый вопрос про RAID
Dmitry Fedorov wrote: > 06.12.07, Timur S. Sattarov<[EMAIL PROTECTED]> написал(а): > > Запустите два hdparm параллельно: > hdparm -tT /dev/sda & > hdparm -tT /dev/sbb & > > покажут ли они приблизительно такую же скорость для каждого винта? > Да, одновременный тест показал такие же параметры. все колеблется в пределах 45-46 мегабайт/сек -- To UNSUBSCRIBE, email to [EMAIL PROTECTED] with a subject of "unsubscribe". Trouble? Contact [EMAIL PROTECTED]
Re: глупый вопрос про RAID
2007/12/5, Timur S. Sattarov <[EMAIL PROTECTED]>: > При этом информацию от SMART я получить не могу: > > # smartctl --all /dev/sda > smartctl version 5.36 [i686-pc-linux-gnu] Copyright (C) 2002-6 Bruce Allen > Home page is http://smartmontools.sourceforge.net/ > > Device: ATA ST3120026AS Version: 8.05 > Serial number: 3JT3RP2B > Device type: disk > Device does not support SMART запусти как smartctl -d ata --all /dev/sda Кстати у меня похожий винт и raid1. Model=ST3120026AS , FwRev=3.18 Model=ST3120813AS , FwRev=3.AAH Дают $ sudo hdparm -tT --direct /dev/sda /dev/sdb /dev/md0 /dev/sda: Timing O_DIRECT cached reads:96 MB in 2.00 seconds = 47.99 MB/sec Timing O_DIRECT disk reads: 166 MB in 3.03 seconds = 54.83 MB/sec /dev/sdb: Timing O_DIRECT cached reads: 260 MB in 2.01 seconds = 129.65 MB/sec Timing O_DIRECT disk reads: 166 MB in 3.01 seconds = 55.07 MB/sec /dev/md0: Timing O_DIRECT cached reads:80 MB in 2.00 seconds = 40.00 MB/sec Timing O_DIRECT disk reads: 172 MB in 3.02 seconds = 56.87 MB/sec То есть в рейде чуть быстрее. -- Regards, Yuri Kozlov
Re: глупый вопрос про RAID
В Чтв, 06/12/2007 в 21:36 +0300, Yuri Kozlov пишет: > 2007/12/5, Timur S. Sattarov <[EMAIL PROTECTED]>: > > При этом информацию от SMART я получить не могу: > > > > # smartctl --all /dev/sda > > smartctl version 5.36 [i686-pc-linux-gnu] Copyright (C) 2002-6 Bruce Allen > > Home page is http://smartmontools.sourceforge.net/ > > > > Device: ATA ST3120026AS Version: 8.05 > > Serial number: 3JT3RP2B > > Device type: disk > > Device does not support SMART > > запусти как > smartctl -d ata --all /dev/sda > > Кстати у меня похожий винт и raid1. > Model=ST3120026AS , FwRev=3.18 > Model=ST3120813AS , FwRev=3.AAH > Дают > $ sudo hdparm -tT --direct /dev/sda /dev/sdb /dev/md0 > > /dev/sda: > Timing O_DIRECT cached reads:96 MB in 2.00 seconds = 47.99 MB/sec > Timing O_DIRECT disk reads: 166 MB in 3.03 seconds = 54.83 MB/sec > > /dev/sdb: > Timing O_DIRECT cached reads: 260 MB in 2.01 seconds = 129.65 MB/sec > Timing O_DIRECT disk reads: 166 MB in 3.01 seconds = 55.07 MB/sec > > /dev/md0: > Timing O_DIRECT cached reads:80 MB in 2.00 seconds = 40.00 MB/sec > Timing O_DIRECT disk reads: 172 MB in 3.02 seconds = 56.87 MB/sec > > То есть в рейде чуть быстрее. У меня в рейд 10 так: --- # hdparm -Tt /dev/sdb /dev/sdc /dev/sdd /dev/sde /dev/md0 /dev/sdb: Timing cached reads: 2516 MB in 2.00 seconds = 1258.57 MB/sec Timing buffered disk reads: 182 MB in 3.03 seconds = 60.07 MB/sec /dev/sdc: Timing cached reads: 2402 MB in 2.00 seconds = 1201.08 MB/sec Timing buffered disk reads: 182 MB in 3.01 seconds = 60.40 MB/sec /dev/sdd: Timing cached reads: 2394 MB in 2.00 seconds = 1196.85 MB/sec Timing buffered disk reads: 184 MB in 3.01 seconds = 61.12 MB/sec /dev/sde: Timing cached reads: 2424 MB in 2.00 seconds = 1212.54 MB/sec Timing buffered disk reads: 176 MB in 3.03 seconds = 58.10 MB/sec /dev/md0: Timing cached reads: 2366 MB in 2.00 seconds = 1182.71 MB/sec Timing buffered disk reads: 294 MB in 3.00 seconds = 97.92 MB/sec --- --- # hdparm -Tt /dev/sdb >a & hdparm -Tt /dev/sdc >b [1] 8414 [1]+ Donehdparm -Tt /dev/sdb >a # cat a /dev/sdb: Timing cached reads: 1258 MB in 2.00 seconds = 628.90 MB/sec Timing buffered disk reads: 174 MB in 3.03 seconds = 57.51 MB/sec # cat b /dev/sdc: Timing cached reads: 1260 MB in 2.00 seconds = 630.04 MB/sec Timing buffered disk reads: 170 MB in 3.00 seconds = 56.60 MB/sec --- --- # hdparm -Tt /dev/sdb >a & hdparm -Tt /dev/sdc >b & hdparm -Tt /dev/sdd >c & hdparm -Tt /dev/sde >d [1] 8838 [2] 8839 [3] 8840 [1] Donehdparm -Tt /dev/sdb >a [2]- Donehdparm -Tt /dev/sdc >b [3]+ Donehdparm -Tt /dev/sdd >c # cat a b c d /dev/sdb: Timing cached reads: 602 MB in 2.01 seconds = 300.03 MB/sec Timing buffered disk reads: 170 MB in 3.00 seconds = 56.60 MB/sec /dev/sdc: Timing cached reads: 666 MB in 2.00 seconds = 333.02 MB/sec Timing buffered disk reads: 172 MB in 3.01 seconds = 57.08 MB/sec /dev/sdd: Timing cached reads: 618 MB in 2.00 seconds = 308.67 MB/sec Timing buffered disk reads: 160 MB in 3.09 seconds = 51.78 MB/sec /dev/sde: Timing cached reads: 628 MB in 2.00 seconds = 313.94 MB/sec Timing buffered disk reads: 158 MB in 3.07 seconds = 51.45 MB/sec --- Так что винты почти друг другу не мешают, а рейд 10 почти в 2 раза быстрее одного винта. А вот шина делится, и это логично, но её на ~20 винтов хватит. Кстати, что интересно, во время теста 4-х винтов одновременно по показаниям atop 2-х ядерный Xeon максимум был занят на 100% из 200%, при этом 40% system и 60% iowait. -- Покотиленко Костик <[EMAIL PROTECTED]> -- To UNSUBSCRIBE, email to [EMAIL PROTECTED] with a subject of "unsubscribe". Trouble? Contact [EMAIL PROTECTED]
Re: глупый вопрос про RAID
07.12.07, Sergey Spiridonov<[EMAIL PROTECTED]> написал(а): > Dmitry Fedorov wrote: > > Я бы с удовольствием использовал для измерений что-нибудь другое, > > но под рукой ничего кроме hdparm'а нет. > > bonnie++ Слишком долго. А hdparm выдает результат в несколько десятков секунд.
Re: глупый вопрос про RAID
Dmitry Fedorov wrote: Я бы с удовольствием использовал для измерений что-нибудь другое, но под рукой ничего кроме hdparm'а нет. bonnie++
[Fwd: Re: глупый вопрос про RAID]
Сорри, отправил напрямую Yuri Kozlov wrote: > запусти как > smartctl -d ata --all /dev/sda > > О, запустилась ! :) спасибо > Кстати у меня похожий винт и raid1. > Model=ST3120026AS , FwRev=3.18 > Model=ST3120813AS , FwRev=3.AAH > Дают > $ sudo hdparm -tT --direct /dev/sda /dev/sdb /dev/md0 > > /dev/sda: > Timing O_DIRECT cached reads:96 MB in 2.00 seconds = 47.99 MB/sec > Timing O_DIRECT disk reads: 166 MB in 3.03 seconds = 54.83 MB/sec > > /dev/sdb: > Timing O_DIRECT cached reads: 260 MB in 2.01 seconds = 129.65 MB/sec > Timing O_DIRECT disk reads: 166 MB in 3.01 seconds = 55.07 MB/sec > > /dev/md0: > Timing O_DIRECT cached reads:80 MB in 2.00 seconds = 40.00 MB/sec > Timing O_DIRECT disk reads: 172 MB in 3.02 seconds = 56.87 MB/sec > > То есть в рейде чуть быстрее. > > У меня в рейде тоже чуть быстрее - но не на много. Мне кажется неправильной та ситуация, когда кэш работает медленнее чем винт. у тебя есть доступ к биосу ? какой чипсет ? или тут уже полностью проблема винта ? -- To UNSUBSCRIBE, email to [EMAIL PROTECTED] with a subject of "unsubscribe". Trouble? Contact [EMAIL PROTECTED]
Re: [Fwd: Re: глупый вопрос про RAID]
2007/12/7, Timur S. Sattarov <[EMAIL PROTECTED]>: > У меня в рейде тоже чуть быстрее - но не на много. > Мне кажется неправильной та ситуация, когда кэш работает медленнее чем винт. > у тебя есть доступ к биосу ? > какой чипсет ? > или тут уже полностью проблема винта ? 00:0d.0 IDE interface: nVidia Corporation MCP51 IDE (rev a1) 00:0e.0 IDE interface: nVidia Corporation MCP51 Serial ATA Controller (rev a1) 00:0f.0 IDE interface: nVidia Corporation MCP51 Serial ATA Controller (rev a1) Один винт старый и вообще SATA-I Второй поновее SATA-II Может ещё с этим как-то связано? Но машина домашняя - со скоростью не заморачиваюсь. -- Regards, Yuri Kozlov
Re: [Fwd: Re: глупый вопрос про RAID]
07.12.07, Timur S. Sattarov<[EMAIL PROTECTED]> написал(а): > > А что дает > sdparm /dev/sda > ? $ sudo sdparm -v /dev/sda /dev/sda: ATA ST3120026AS 3.18 Request Sense cmd: 03 00 00 00 40 00 request sense: Fixed format, current; Sense key: Illegal Request Additional sense: Invalid command operation code REQUEST SENSE failed Второй тоже самое. -- Regards, Yuri Kozlov
