subject:"RAID"

Igor Savlook <igorsavl...@gmail.com> wrote:
> Извините что вклиниваюсь, но тут такая бодрая тема по рейдам. Вопрос а
> LSI уже померли и не производят или они стали адово дорогими?
Нет, LSI (сожравшее сначало Symbios, потом MegaRaid, Mylex, 3ware) было
пожранно avago а потом укрупнилось до broadcom. История напоминает печально
известную судьбу US Robotics котороую тоже перепродавали раз так с
несколько. В результате всех этих поглощений - найти хоть что-то от старых
плат стало почти невозможно. Пожранный 3ware сильно помог увеличению
пропускной способности (до того LSI было +- из общей кучи).

А так - LSI даже и дешевле. Если кончно разобраться в куче HBA гордо
названных RAID/JBOD. 
И утили управления за последние 10 лет как были шлаком, так и остались.
В старом megactl приходилось плясать пляски святого Витта чтоб создать
raid 10/50 (ибо делалось там это весьма альтернативным методом),
megacli - еще куда не шло. Новый аваго-броадкомовский CtrlR интерфейс
вызывает сопли умиления по давно-забытому В-ТрубуВижу фирмы Борланд.
В каком виде показывает storcli show smart - можно посмотреть тут
http://pyatilistnik.org/wp-content/uploads/2015/07/smart-diskov-lsi.jpg

Овчинка то на овчинку похожа, но выглядит плоховато.

> On Wed, 2018-05-09 at 14:37 +, Леонид Кальмаев wrote:
> > Вам шашечки или ехать? Я написал про бюджет. Основной функционал там
> > работает. Если вам нужен чтоб и смарт и рэйд и за дёшево то вам
> > дорога к mdadm. Те-же адаптеки не популярные нужно ещё сготовить чтоб
> > в системе нормально определились и и работали. 
> > 
> > ср, 9 мая 2018 г., 21:08 Andrey Jr. Melnikov <temnota...@gmail.com>:
> > > Леонид Кальмаев <kalmae...@gmail.com> wrote:
> > > > [-- text/plain, кодировка base64, кодировка: UTF-8, 44 строк --]
> > > 
> > > > Не вводите людей в заблуждение. Нормально работают контролеры hp
> > > в плане
> > > > жёстких дисков. Если вы суете им какую нибудь тошибу которая
> > > быстро сыпится
> > > > и выходит из строя, контролер не виноват. В плане батареек у вас
> > > в телефоне
> > > Да ты что? Весь интернет завален вопросами "а будет-ли работать HP
> > > raid с
> > > не-HP дисками" и "закойхрен платить 3 цены за гнилую барракуду с
> > > HPшной
> > > фирмварью"? И это - новые, а старые так сразу при втыкании не
> > > COMPAQ SCSI
> > > везде пестрели желтыми треугольникам, воплями про warranty и
> > > прочими
> > > светодиодными пугалками.
> > > 
> > > > они дольше живут? Утилита по контролю и настройке да  на
> > > любителя. Тем не
> > > > менее она выполняет все нужные функции. По производительности да
> > > 410 уже
> > > Да, температуру с дисков тоже можно увидеть ? ERC покрутить? SMART
> > > логи ?
> > > 
> > > > уступает как именно рэйд контролер. Можно использовать как hba
> > > контроллер
> > > > как писал выше другой участник дискуссии. Вообщем по бюджету и
> > > расходы...
> > > По факту - HP делает вендор-локед шлак. Со всеми вытекающими из
> > > этого
> > > плюшками для своего кармана - то батарейки по $100, то ключи для
> > > RAID5 (не,
> > > ну мы конечно продали рэйд, но 0/1/10). Это хорошо для больших
> > > дядей с
> > > контрактом на охреннилион баксов - поддержка, гарантия, все понты.
> > > А по
> > > остатку - могут и диск не найти для горячей замены по контракту.
> > > 
> > > Для дома/для семьи - контроллеры HP смысла не имеют от слова
> > > совсем. Не для
> > > дома - только за откат/бумагу что виноват платный саппорт HP.
> > > 
> > > > ср, 9 мая 2018 г., 18:33 Andrey Jr. Melnikov <temnota...@gmail.co
> > > m>:
> > > 
> > > > > Н. Артём <artio...@yandex.ru> wrote:
> > > > > > Тут как-то вставал вопрос о RAID контроллерах vs ZFS vs
> > > программный RAID.
> > > > > > Найденные RAID контроллеры стоили порядка $1000-$1500.
> > > > > > Предложили как вариант, контроллеры HP p222 или p420, которые
> > > с кэшем и
> > > > > батарейкой стоят на ebay в районе $80-100 (на самом деле $130-
> > > $250).
> > > > > > Что это и какие у них достоинства/недостатки? Почему стоят
> > > столько?
> > > > > HP не брать ни при каком раскладе. Только если будут
> > > доплачивать.
> > > > > Контроллеры - говно, фирмварь обижается на любые диски не
> > > брендированные
> > > > > HP,
> > > > > батарейки - дохнут через 3 года эксплуатации, новые хрен
> > > купишь, китайские
> > > > > -
> > > > > не всегда работают. Тул для управления - отдельная песТня.
> > > > > Dellовские perc'и - такое-же изделие.
> > > > >
> > > > > Авито в помошь - там и LSI попадаются и Adaptec. Иногда даже с
> > > батарейками
> > > > > и
> > > > > кэшами.
> > > > >
> > > > > Больше производителей рейдов увы не осталось.
> > > > >
> > > > >
> > >

Re: RAID контроллеры

2018-05-09 Пенетрантность Леонид Кальмаев

Леонид Кальмаев <kalmae...@gmail.com> wrote:
> [-- text/plain, кодировка base64, кодировка: UTF-8, 86 строк --]

> Вам шашечки или ехать? Я написал про бюджет. Основной функционал там

За 8000 можно найти ASR6805 с кабелями. Это что - дорого? LSI SAS 9240-4i
вообще за 5 можно купить. Или LSI MegaRAID SAS9240-8I SGL за те-же 5 штук.
И это заметь - не в москве. 

> работает. Если вам нужен чтоб и смарт и рэйд и за дёшево то вам дорога к
> mdadm. Те-же адаптеки не популярные нужно ещё сготовить чтоб в системе
Нет уж, в mdadm можно играться от полной нищеты. Один только момент, что
формат версии > 0.90 задрочит полностью начало дисков (там же у нас область
решейпа живет и прочие счетчики эвентов) + еще там-же где-то рядом будет 
журнал от FS - прощай производительность. И что-то никто из "проповедников
mdadm" не вспоминает про write amplification из-за рейда помноженное на
кривость подключения SATA портов к мосту. А то купят супер-ультра-нитра
материнку к 6 сата портами, нафаришируют по самое немогу PCI-E железками и
оппа, 20 HSIO lane все заняты, и все 6 портов по Up to 6Gb/s* висят на 2х
нитках по 3Gb/s. 

> нормально определились и и работали.
Да-да-да. Я вот с месяц назад mdadm выкинул в топку. Ибо в данной
конфигурации попытка пустить background check на raid10 far-layout приводила
к деадлоку унутре. I/O wait с констатных 10% упал до 0.15%, а скорость
дисковых операций выросла настолько немного, что одно и то-же действие с
кучей таблиц mysql на mdadm занимало 5 минут, а на железном рейде как-то за
две минуты справляется. 

> ср, 9 мая 2018 г., 21:08 Andrey Jr. Melnikov <temnota...@gmail.com>:

> > Леонид Кальмаев <kalmae...@gmail.com> wrote:
> > > [-- text/plain, кодировка base64, кодировка: UTF-8, 44 строк --]^M
> >
> > > Не вводите людей в заблуждение. Нормально работают контролеры hp в плане
> > > жёстких дисков. Если вы суете им какую нибудь тошибу которая быстро
> > сыпится
> > > и выходит из строя, контролер не виноват. В плане батареек у вас в
> > телефоне
> > Да ты что? Весь интернет завален вопросами "а будет-ли работать HP raid с
> > не-HP дисками" и "закойхрен платить 3 цены за гнилую барракуду с HPшной
> > фирмварью"? И это - новые, а старые так сразу при втыкании не COMPAQ SCSI
> > везде пестрели желтыми треугольникам, воплями про warranty и прочими
> > светодиодными пугалками.
> >
> > > они дольше живут? Утилита по контролю и настройке да  на любителя. Тем не
> > > менее она выполняет все нужные функции. По производительности да 410 уже
> > Да, температуру с дисков тоже можно увидеть ? ERC покрутить? SMART логи ?
> >
> > > уступает как именно рэйд контролер. Можно использовать как hba контроллер
> > > как писал выше другой участник дискуссии. Вообщем по бюджету и расходы...
> > По факту - HP делает вендор-локед шлак. Со всеми вытекающими из этого
> > плюшками для своего кармана - то батарейки по $100, то ключи для RAID5 (не,
> > ну мы конечно продали рэйд, но 0/1/10). Это хорошо для больших дядей с
> > контрактом на охреннилион баксов - поддержка, гарантия, все понты. А по
> > остатку - могут и диск не найти для горячей замены по контракту.
> >
> > Для дома/для семьи - контроллеры HP смысла не имеют от слова совсем. Не для
> > дома - только за откат/бумагу что виноват платный саппорт HP.
> >
> > > ср, 9 мая 2018 г., 18:33 Andrey Jr. Melnikov <temnota...@gmail.com>:
> >
> > > > Н. Артём <artio...@yandex.ru> wrote:
> > > > > Тут как-то вставал вопрос о RAID контроллерах vs ZFS vs программный
> > RAID.
> > > > > Найденные RAID контроллеры стоили порядка $1000-$1500.
> > > > > Предложили как вариант, контроллеры HP p222 или p420, которые с
> > кэшем и
> > > > батарейкой стоят на ebay в районе $80-100 (на самом деле $130-$250).
> > > > > Что это и какие у них достоинства/недостатки? Почему стоят столько?
> > > > HP не брать ни при каком раскладе. Только если будут доплачивать.
> > > > Контроллеры - говно, фирмварь обижается на любые диски не
> > брендированные
> > > > HP,
> > > > батарейки - дохнут через 3 года эксплуатации, новые хрен купишь,
> > китайские
> > > > -
> > > > не всегда работают. Тул для управления - отдельная песТня.
> > > > Dellовские perc'и - такое-же изделие.
> > > >
> > > > Авито в помошь - там и LSI попадаются и Adaptec. Иногда даже с
> > батарейками
> > > > и
> > > > кэшами.
> > > >
> > > > Больше производителей рейдов увы не осталось.
> > > >
> > > >
> >
> >

RAID контроллеры

Вам шашечки или ехать? Я написал про бюджет. Основной функционал там
работает. Если вам нужен чтоб и смарт и рэйд и за дёшево то вам дорога к
mdadm. Те-же адаптеки не популярные нужно ещё сготовить чтоб в системе
нормально определились и и работали.

ср, 9 мая 2018 г., 21:08 Andrey Jr. Melnikov <temnota...@gmail.com>:

> Леонид Кальмаев <kalmae...@gmail.com> wrote:
> > [-- text/plain, кодировка base64, кодировка: UTF-8, 44 строк --]
>
> > Не вводите людей в заблуждение. Нормально работают контролеры hp в плане
> > жёстких дисков. Если вы суете им какую нибудь тошибу которая быстро
> сыпится
> > и выходит из строя, контролер не виноват. В плане батареек у вас в
> телефоне
> Да ты что? Весь интернет завален вопросами "а будет-ли работать HP raid с
> не-HP дисками" и "закойхрен платить 3 цены за гнилую барракуду с HPшной
> фирмварью"? И это - новые, а старые так сразу при втыкании не COMPAQ SCSI
> везде пестрели желтыми треугольникам, воплями про warranty и прочими
> светодиодными пугалками.
>
> > они дольше живут? Утилита по контролю и настройке да  на любителя. Тем не
> > менее она выполняет все нужные функции. По производительности да 410 уже
> Да, температуру с дисков тоже можно увидеть ? ERC покрутить? SMART логи ?
>
> > уступает как именно рэйд контролер. Можно использовать как hba контроллер
> > как писал выше другой участник дискуссии. Вообщем по бюджету и расходы...
> По факту - HP делает вендор-локед шлак. Со всеми вытекающими из этого
> плюшками для своего кармана - то батарейки по $100, то ключи для RAID5 (не,
> ну мы конечно продали рэйд, но 0/1/10). Это хорошо для больших дядей с
> контрактом на охреннилион баксов - поддержка, гарантия, все понты. А по
> остатку - могут и диск не найти для горячей замены по контракту.
>
> Для дома/для семьи - контроллеры HP смысла не имеют от слова совсем. Не для
> дома - только за откат/бумагу что виноват платный саппорт HP.
>
> > ср, 9 мая 2018 г., 18:33 Andrey Jr. Melnikov <temnota...@gmail.com>:
>
> > > Н. Артём <artio...@yandex.ru> wrote:
> > > > Тут как-то вставал вопрос о RAID контроллерах vs ZFS vs программный
> RAID.
> > > > Найденные RAID контроллеры стоили порядка $1000-$1500.
> > > > Предложили как вариант, контроллеры HP p222 или p420, которые с
> кэшем и
> > > батарейкой стоят на ebay в районе $80-100 (на самом деле $130-$250).
> > > > Что это и какие у них достоинства/недостатки? Почему стоят столько?
> > > HP не брать ни при каком раскладе. Только если будут доплачивать.
> > > Контроллеры - говно, фирмварь обижается на любые диски не
> брендированные
> > > HP,
> > > батарейки - дохнут через 3 года эксплуатации, новые хрен купишь,
> китайские
> > > -
> > > не всегда работают. Тул для управления - отдельная песТня.
> > > Dellовские perc'и - такое-же изделие.
> > >
> > > Авито в помошь - там и LSI попадаются и Adaptec. Иногда даже с
> батарейками
> > > и
> > > кэшами.
> > >
> > > Больше производителей рейдов увы не осталось.
> > >
> > >
>
>

Re: RAID контроллеры

2018-05-09 Пенетрантность Леонид Кальмаев

Леонид Кальмаев <kalmae...@gmail.com> wrote:
> [-- text/plain, кодировка base64, кодировка: UTF-8, 44 строк --]

> Не вводите людей в заблуждение. Нормально работают контролеры hp в плане
> жёстких дисков. Если вы суете им какую нибудь тошибу которая быстро сыпится
> и выходит из строя, контролер не виноват. В плане батареек у вас в телефоне
Да ты что? Весь интернет завален вопросами "а будет-ли работать HP raid с
не-HP дисками" и "закойхрен платить 3 цены за гнилую барракуду с HPшной
фирмварью"? И это - новые, а старые так сразу при втыкании не COMPAQ SCSI
везде пестрели желтыми треугольникам, воплями про warranty и прочими
светодиодными пугалками.

> они дольше живут? Утилита по контролю и настройке да  на любителя. Тем не
> менее она выполняет все нужные функции. По производительности да 410 уже
Да, температуру с дисков тоже можно увидеть ? ERC покрутить? SMART логи ?

> уступает как именно рэйд контролер. Можно использовать как hba контроллер
> как писал выше другой участник дискуссии. Вообщем по бюджету и расходы...
По факту - HP делает вендор-локед шлак. Со всеми вытекающими из этого
плюшками для своего кармана - то батарейки по $100, то ключи для RAID5 (не,
ну мы конечно продали рэйд, но 0/1/10). Это хорошо для больших дядей с
контрактом на охреннилион баксов - поддержка, гарантия, все понты. А по
остатку - могут и диск не найти для горячей замены по контракту.

Для дома/для семьи - контроллеры HP смысла не имеют от слова совсем. Не для
дома - только за откат/бумагу что виноват платный саппорт HP.

> ср, 9 мая 2018 г., 18:33 Andrey Jr. Melnikov <temnota...@gmail.com>:

> > Н. Артём <artio...@yandex.ru> wrote:
> > > Тут как-то вставал вопрос о RAID контроллерах vs ZFS vs программный RAID.
> > > Найденные RAID контроллеры стоили порядка $1000-$1500.
> > > Предложили как вариант, контроллеры HP p222 или p420, которые с кэшем и
> > батарейкой стоят на ebay в районе $80-100 (на самом деле $130-$250).
> > > Что это и какие у них достоинства/недостатки? Почему стоят столько?
> > HP не брать ни при каком раскладе. Только если будут доплачивать.
> > Контроллеры - говно, фирмварь обижается на любые диски не брендированные
> > HP,
> > батарейки - дохнут через 3 года эксплуатации, новые хрен купишь, китайские
> > -
> > не всегда работают. Тул для управления - отдельная песТня.
> > Dellовские perc'и - такое-же изделие.
> >
> > Авито в помошь - там и LSI попадаются и Adaptec. Иногда даже с батарейками
> > и
> > кэшами.
> >
> > Больше производителей рейдов увы не осталось.
> >
> >

RAID контроллеры

Не вводите людей в заблуждение. Нормально работают контролеры hp в плане
жёстких дисков. Если вы суете им какую нибудь тошибу которая быстро сыпится
и выходит из строя, контролер не виноват. В плане батареек у вас в телефоне
они дольше живут? Утилита по контролю и настройке да  на любителя. Тем не
менее она выполняет все нужные функции. По производительности да 410 уже
уступает как именно рэйд контролер. Можно использовать как hba контроллер
как писал выше другой участник дискуссии. Вообщем по бюджету и расходы...

ср, 9 мая 2018 г., 18:33 Andrey Jr. Melnikov <temnota...@gmail.com>:

> Н. Артём <artio...@yandex.ru> wrote:
> > Тут как-то вставал вопрос о RAID контроллерах vs ZFS vs программный RAID.
> > Найденные RAID контроллеры стоили порядка $1000-$1500.
> > Предложили как вариант, контроллеры HP p222 или p420, которые с кэшем и
> батарейкой стоят на ebay в районе $80-100 (на самом деле $130-$250).
> > Что это и какие у них достоинства/недостатки? Почему стоят столько?
> HP не брать ни при каком раскладе. Только если будут доплачивать.
> Контроллеры - говно, фирмварь обижается на любые диски не брендированные
> HP,
> батарейки - дохнут через 3 года эксплуатации, новые хрен купишь, китайские
> -
> не всегда работают. Тул для управления - отдельная песТня.
> Dellовские perc'и - такое-же изделие.
>
> Авито в помошь - там и LSI попадаются и Adaptec. Иногда даже с батарейками
> и
> кэшами.
>
> Больше производителей рейдов увы не осталось.
>
>

Re: RAID контроллеры

2018-05-08 Пенетрантность Stanislav Vlasov

Н. Артём <artio...@yandex.ru> wrote:
> Тут как-то вставал вопрос о RAID контроллерах vs ZFS vs программный RAID.
> Найденные RAID контроллеры стоили порядка $1000-$1500.
> Предложили как вариант, контроллеры HP p222 или p420, которые с кэшем и 
> батарейкой стоят на ebay в районе $80-100 (на самом деле $130-$250).
> Что это и какие у них достоинства/недостатки? Почему стоят столько?
HP не брать ни при каком раскладе. Только если будут доплачивать.
Контроллеры - говно, фирмварь обижается на любые диски не брендированные HP,
батарейки - дохнут через 3 года эксплуатации, новые хрен купишь, китайские -
не всегда работают. Тул для управления - отдельная песТня.
Dellовские perc'и - такое-же изделие.

Авито в помошь - там и LSI попадаются и Adaptec. Иногда даже с батарейками и
кэшами.

Больше производителей рейдов увы не осталось.

Re: RAID контроллеры

2018-05-08 Пенетрантность artiom

Ясно, спасибо.

Про ZFS: не обязательно столько памяти. Стоит у коллеги на атоме с 2 ГБ.


08.05.2018 12:01, Stanislav Vlasov пишет:
> 8 мая 2018 г., 13:35 пользователь Н. Артём <artio...@yandex.ru> написал:
>> Тут как-то вставал вопрос о RAID контроллерах vs ZFS vs программный RAID.
>> Найденные RAID контроллеры стоили порядка $1000-$1500.
>> Предложили как вариант, контроллеры HP p222 или p420, которые с кэшем и 
>> батарейкой стоят на ebay в районе $80-100 (на самом деле $130-$250).
>> Что это и какие у них достоинства/недостатки? Почему стоят столько?
> 
> Достоинства: таки рейд. Хранит конфигурацию рейда на дисках, т.е.
> можно переткнуть диски в другой аналогичный контроллер и оно
> поднимется.
> Недостатки: тормоз в режиме рейда, что в raid5, что в raid6 (сейчас
> используются те же контроллеры, те же диски, но рейд - через mdadm и
> копирование упирается в сеть, а не в массив)
> zfs не пробовал - нет столько памяти, чтоб отдать только для фс.
>

Re: RAID контроллеры

2018-05-08 Пенетрантность Kirill Shilov

с p410/p420 вообще странно ведут себе с не HP дисками.

я для себя остановился на LSI с HBA и mdadm/zfs/ceph в зависимости от того
что требуется в итоге

8 мая 2018 г., 12:01 пользователь Stanislav Vlasov <stanislav@gmail.com>
написал:

> 8 мая 2018 г., 13:35 пользователь Н. Артём <artio...@yandex.ru> написал:
> > Тут как-то вставал вопрос о RAID контроллерах vs ZFS vs программный RAID.
> > Найденные RAID контроллеры стоили порядка $1000-$1500.
> > Предложили как вариант, контроллеры HP p222 или p420, которые с кэшем и
> батарейкой стоят на ebay в районе $80-100 (на самом деле $130-$250).
> > Что это и какие у них достоинства/недостатки? Почему стоят столько?
>
> Достоинства: таки рейд. Хранит конфигурацию рейда на дисках, т.е.
> можно переткнуть диски в другой аналогичный контроллер и оно
> поднимется.
> Недостатки: тормоз в режиме рейда, что в raid5, что в raid6 (сейчас
> используются те же контроллеры, те же диски, но рейд - через mdadm и
> копирование упирается в сеть, а не в массив)
> zfs не пробовал - нет столько памяти, чтоб отдать только для фс.
>
> --
> Stanislav
>

Re: RAID контроллеры

8 мая 2018 г., 13:35 пользователь Н. Артём <artio...@yandex.ru> написал:
> Тут как-то вставал вопрос о RAID контроллерах vs ZFS vs программный RAID.
> Найденные RAID контроллеры стоили порядка $1000-$1500.
> Предложили как вариант, контроллеры HP p222 или p420, которые с кэшем и 
> батарейкой стоят на ebay в районе $80-100 (на самом деле $130-$250).
> Что это и какие у них достоинства/недостатки? Почему стоят столько?

Достоинства: таки рейд. Хранит конфигурацию рейда на дисках, т.е.
можно переткнуть диски в другой аналогичный контроллер и оно
поднимется.
Недостатки: тормоз в режиме рейда, что в raid5, что в raid6 (сейчас
используются те же контроллеры, те же диски, но рейд - через mdadm и
копирование упирается в сеть, а не в массив)
zfs не пробовал - нет столько памяти, чтоб отдать только для фс.

-- 
Stanislav

RAID контроллеры

2018-05-08 Пенетрантность Н . Артём

Тут как-то вставал вопрос о RAID контроллерах vs ZFS vs программный RAID.
Найденные RAID контроллеры стоили порядка $1000-$1500.
Предложили как вариант, контроллеры HP p222 или p420, которые с кэшем и 
батарейкой стоят на ebay в районе $80-100 (на самом деле $130-$250).
Что это и какие у них достоинства/недостатки? Почему стоят столько?


=
=
=
=
=

Re: замена диска в mdadm-raid-1 с расширением массива

2016-11-26 Пенетрантность Mikhail A Antonov


  
  
25.11.2016 21:57, dimas пишет:

  каков должен быть порядок действий?

Создаёшь на новом 1Т диске два раздела. Один на 300-500м под /boot,
второй для всего остального под lvm
Метишь их что они linux raid
Создаёшь два "битых" рейда (можно указать что один из дисков missing
На первом создаёшь фс и копируешь туда /boot, второй используешь как
pv для lvm
Переносишь всё своё барахло внутрь lvm,
Удаляешь старую разметку на старом 1Т диске
Переразбиваешь старый диск так же как новый
Добавляешь его в рейд к новому.
Не забудь про загрузчик в mbr.

Перейдя на lvm ты забудешь про описанные тобой проблемы и всё это
будет решаться даже без выключения компа если диски нагорячую можно
менять.


  и еще бонусный вопрос: старый 500Г диск хочу оставить и иногда rsync-ать на него
содержимое массива (допустим, за вычетом кинца, когда оно превысит 400Г). можно
как-то превратить его из половинки рейда в просто раздел, чтобы фс со всем
файлОм осталась при этом как есть? типа обнулить там рейд-суперблок, чтоб был
просто раздел и на нем просто фс?


Я бы его одной большой фс примонтировал.
  




signature.asc
Description: OpenPGP digital signature

замена диска в mdadm-raid-1 с расширением массива

2016-11-25 Пенетрантность dimas

всем доброго!
имеется софт-рейд (mdadm) raid1-зеркало (тончее, два). изначально был один 500Г
диск, на нем вся файлопомойка. потом докупил я другой, на 1Т (с расчетом на то,
что когда-нибудь, в светлом будущем, поменяю маленький тоже на терабайтный),
и собрал из них реёд-зеркало.
недавно маленький диск стал чего-то отваливаться из массива с кучей всякого в
dmesg, ну и светлое будущее наступило - купил новый на терабайт.

сейчас конфигурация такая: на каждом из дисков есть два раздела - один на 15Г
(маленькое зеркало для бэкапов) и второй... так, тут выясняются интересные
подробности - на маленьком диске, оказывается, раздел на 400Г, а на большом -
на 900, ну а зеркало в итоге - по размеру меньшей из половинок... блин, я
думал, разделы одинаковые))


srv> ~$ lsblk | grep -v "sda"
NAME  MAJ:MIN RM   SIZE RO TYPE  MOUNTPOINT
sdb 8:16   0 465,8G  0 disk  
├─sdb1  8:17   0 1K  0 part  
├─sdb2  8:18   0   400G  0 part  
│ └─md126   9:126  0   400G  0 raid1 /media/svalka
└─sdb5  8:21   015G  0 part  
sdc 8:32   0 931,5G  0 disk  
├─sdc1  8:33   0 1K  0 part  
├─sdc2  8:34   0 912,4G  0 part  
│ └─md126   9:126  0   400G  0 raid1 /media/svalka
└─sdc5  8:37   015G  0 part

srv> ~$ sudo fdisk -l /dev/sdb /dev/sdc
[sudo] password for srv: 

Disk /dev/sdb: 465,8 GiB, 500107862016 bytes, 976773168 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disklabel type: dos
Disk identifier: 0x000cc92b

Device Boot Start   End   Sectors  Size Id Type
/dev/sdb12048 137901959 137899912 65,8G  5 Extended
/dev/sdb2   137901960 976768064 838866105  400G fd Linux raid autodetect
/dev/sdb54096  31459240  31455145   15G fd Linux raid autodetect

Partition table entries are not in disk order.
Disk /dev/sdc: 931,5 GiB, 1000204886016 bytes, 1953525168 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disklabel type: dos
Disk identifier: 0x2ab8c2ce

Device BootStartEndSectors   Size Id Type
/dev/sdc1 63   40066109   40066047  19,1G  5 Extended
/dev/sdc2   40066110 1953525167 1913459058 912,4G fd Linux raid autodetect
/dev/sdc5126   31455269   31455144    15G fd Linux raid autodetect

Partition table entries are not in disk order.


вот данные самого зеркала:

srv> ~$ sudo mdadm -D /dev/md/svalka
[sudo] password for srv: 
/dev/md/svalka:
Version : 1.2
  Creation Time : Wed Aug 10 19:52:01 2011
 Raid Level : raid1
 Array Size : 419431892 (400.00 GiB 429.50 GB)
  Used Dev Size : 419431892 (400.00 GiB 429.50 GB)
   Raid Devices : 2
  Total Devices : 2
Persistence : Superblock is persistent

Update Time : Fri Nov 25 20:40:22 2016
  State : clean 
 Active Devices : 2
Working Devices : 2
 Failed Devices : 0
  Spare Devices : 0

   Name : srv:svalka  (local to host srv)
   UUID : 992b06af:42dd8b35:bc2a3843:e50f2e6b
 Events : 5494

Number   Major   Minor   RaidDevice State
   3   8   180  active sync   /dev/sdb2
   2   8   341  active sync   /dev/sdc2
srv> ~$ cat /proc/mdstat 
Personalities : [raid1] 
md126 : active raid1 sdb2[3] sdc2[2]
  419431892 blocks super 1.2 [2/2] [UU]
  
unused devices: 

маленькое на 15Г сейчас просто остановлено, но с ним проще - там ничего
ресайзить не надо.

а из большого же я хочу изъять 500Г диск, взамен него поставить 1Т, расширить
зеркало до 900Г.
каков должен быть порядок действий? мне видится как-то так:
0. разметить новый диск. по идее, туда бы просто склонировать таблицу разделов.
чем это сделать? parted? sfdisk? или может оказаться, что размер (или там
количество блоков) чуть-чуть не совпадает, и лучше ручками?
1. sudo mdadm /dev/mdXXX --fail /dev/sdb2
массив перейдет в состояние degraded
2. sudo mdadm /dev/mdXXX --add /dev/sdXY
где sdXY - раздел на новом диске
3. sudo mdadm --grow -z max
или как-то так...
4. sudo resize2fs -p /dev/mdXXX
да, фс - ext2
5. ...
6. profit!

все верно? или, может быть, можно до добавления нового диска, когда массив
будет в degraded, сделать grow и resize2fs, а потом уже добавлять второй диск,
чтобы оно только они раз засинкалось? такой фокус возможен? а то сначала
синкать, а потом все эти гровы и фс-ресайзы - опять синкать-пересинкать.. или
там синкать особо нечего будет?

и еще бонусный вопрос: старый 500Г диск хочу оставить и иногда rsync-ать на него
содержимое массива (допустим, за вычетом кинца, когда оно превысит 400Г). можно
как-то превратить его из половинки рейда в просто раздел, чтобы фс со всем
файлОм осталась при этом как есть? типа обнулить там рейд-суперблок, чтоб был
просто раздел и на нем просто фс?

Re: software raid для бэкап-сервера?

2016-03-24 Пенетрантность Андрей Любимец

24.03.2016 15:07, Artem Chuprina пишет:
> Андрей Любимец -> debian-russian@lists.debian.org  @ Thu, 24 Mar 2016 
> 13:26:26 +0600:
> 
>  >>  >>  >>  >> Какой рейд лучше делать, по опыту? Пятый, который из четырех 
> винтов по
>  >>  >>  >>  >> полтерабайта сделает полтора?
>  >>  >>  >> 
>  >>  >>  >>  SBK> Места-то сколько надо?
>  >>  >>  >> 
>  >>  >>  >> Бэкап-сервер. Лучше больше.
>  >>  >> 
>  >>  >>  > Ну тогда все просто.  Больше чем raid5 вы не получите.
>  >>  >> 
>  >>  >> Это я и сам понимаю.  Меня интересует, нету ли грабель с надежностью. 
>  В
>  >>  >> смысле, в случае вылета винта.
>  >>  АЛ> я за raid10 -- погугли "Why RAID 5 Sucks"
>  >> 
>  >> Погуглил.  Ничего внятного не увидел.
>  >> 
>  >> Можно пояснить?
>  АЛ> Дело в том, что деградировавший RAID5 до завершения ресинка становится по
>  АЛ> надёжности аналогичен RAID0. Ресинк же больших дисков может идти 
> достаточно
>  АЛ> долго. Если риск потерять данные в этот период не смущает, то ради 
> бога...
>  АЛ> Здесь подробнее https://geektimes.ru/post/78311/
> 
> А RAID10 в этом смысле чем-то лучше? Или, если уж говорить о 50% потере
> пространства, делать RAID6?
Я больше доверяю RAID10, мне он представляется более простым чем RAID6,
соответственно менее подверженным ошибкам
(https://www.opennet.ru/opennews/art.shtml?num=40412 ). И производительность
его повыше будет.
> 
> Вообще, жалко полтерабайта, оно лишним не будет...  И это все-таки
> бэкап, вторая копия данных.  Хотя там предусмотрено хранение прошлого.
> 
Как я Вас понимаю! нужно просто принять риск и быть к нему готовым (хотя бы
психологически, но можно распечатать и положить в сервер инструкцию по замене
диска). При том ваш RAID5 вполне может спокойно многие лета безпроблемно
работать.

Да, проблема не техническая, но,видимо, из области психологии: доверие,
принятие и тп ;)

Re: software raid для бэкап-сервера?

2016-03-24 Пенетрантность Artem Chuprina

Oleksandr Gavenko -> debian-russian@lists.debian.org  @ Thu, 24 Mar 2016 
12:45:36 +0200:

 >> Надо сказать, что у меня в ноутбуке SSD довольно быстро вымер
 >> (симптоматика - бьются некоторые файлы на ровном месте), и я его
 >> отключил.
 >>
 OG> Производители заявляют что SSD надежнее HDD:

Я рад за них, но мне еще не попадался винчестер, который начал бы
глючить так быстро.  Хотя по SSD у меня статистики нет, есть один
экземпляр.  Но я на него (экземпляр) обиделся.

У меня было в свое время поползновение поиграться с SSD, но цена
остановила.

 >> Но anyway, тот SSD стоит настолько дороже винчестера, что для целей
 >> бэкап-сервера (небыстрая в норме работа, но места надо много), если уж
 >> покупать, то покупать не SSD, а винты в разы большей емкости.

 OG> Конешно. Я показал пример почему беcсмысленно избегать RAID 5 в свете SSD. 
Не
 OG> будете вы ждать дни пока восстановится RAID и скорость работы не 
деградирует.

 OG> По ценам на бытовые SSD / HDD разняться в 2-4 раза за GiB по ценникам
 OG> ближайшего магазина.

Мой point был в том, что RAID10 или RAID6 на HDD за те же деньги дадут
заметно больший объем, чем RAID5 на SSD.

 OG> Производители заявляют что enterprise хранилище на SSD уже дешевле чем на 
HDD:

 OG> 
http://itblog.sandisk.com/the-accelerating-economics-of-flash-and-the-retreat-of-hard-disk-drives/

Когда у тебя начинают более чем линейно расти расходы на питание и
охлаждение - верю.  Ну, или при оптовых ценах и/или распайке SSD прямо
на плату, без корпуса.  А до тех пор - подождем...

Re: software raid для бэкап-сервера?

2016-03-24 Пенетрантность Eugene Berdnikov

On Thu, Mar 24, 2016 at 12:45:36PM +0200, Oleksandr Gavenko wrote:
> Конешно. Я показал пример почему беcсмысленно избегать RAID 5 в свете SSD. Не
> будете вы ждать дни пока восстановится RAID и скорость работы не деградирует.

 Для бэкапного сервера ни время ребилда, ни скорость работы дисков обычно
 не являются критичными. И завершения бэкапа, если он делается по крону,
 обычно никто не ждёт. За исключением клинических случаев, когда бэкап
 делается с выключением боевого сервиса, но просто не нужно так делать.
-- 
 Eugene Berdnikov

Re: software raid для бэкап-сервера?

2016-03-24 Пенетрантность Oleksandr Gavenko

On 2016-03-24, Artem Chuprina wrote:

> Надо сказать, что у меня в ноутбуке SSD довольно быстро вымер
> (симптоматика - бьются некоторые файлы на ровном месте), и я его
> отключил.
>
Производители заявляют что SSD надежнее HDD:

http://www.seagate.com/gb/en/do-more/how-to-choose-between-hdd-storage-for-your-laptop-master-dm/

  Reliability

  Failure rates on SSD, HDD and SSHD technologies have very similar ratings.
  SSHD has benefits because it uses both the SSD and HDD portions more
  efficiently than if they were separate.

  Durability

  SSDs are viewed as more durable simply because of their solid state design.
  Without moving parts, they can withstand higher extremes of shock, drop and
  temperature.

Это конечно рекламные заявления, у меня устаревшая цифра в среднем 3 года
живучести.

Хотя об отношении надежность / цена смотрю на хостеров - SSD предложения не
дороже HDD при одинаковых заявлениях о непрерывности работы.

> Но anyway, тот SSD стоит настолько дороже винчестера, что для целей
> бэкап-сервера (небыстрая в норме работа, но места надо много), если уж
> покупать, то покупать не SSD, а винты в разы большей емкости.

Конешно. Я показал пример почему беcсмысленно избегать RAID 5 в свете SSD. Не
будете вы ждать дни пока восстановится RAID и скорость работы не деградирует.

По ценам на бытовые SSD / HDD разняться в 2-4 раза за GiB по ценникам
ближайшего магазина.

Производители заявляют что enterprise хранилище на SSD уже дешевле чем на HDD:

http://itblog.sandisk.com/the-accelerating-economics-of-flash-and-the-retreat-of-hard-disk-drives/

-- 
http://defun.work/

Re: software raid для бэкап-сервера?

2016-03-24 Пенетрантность Artem Chuprina

Oleksandr Gavenko -> debian-russian@lists.debian.org  @ Thu, 24 Mar 2016 
12:00:20 +0200:

 >>  АЛ> я за raid10 -- погугли "Why RAID 5 Sucks"
 >> 
 >> Погуглил.  Ничего внятного не увидел.

 >> Здесь подробнее https://geektimes.ru/post/78311/

 OG> От туда:

 >> Когда RAID-5 появился, в 1987 году, типичный жесткий диск был размером 
 >> 21MB, и
 >> имел скорость вращения 3600 RPM. Сегодня типичный диск SATA это 1TB, то есть
 >> прирост емкости составил 50 тысяч раз! Но скорость вращения при этом
 >> увеличилась всего вдвое.

 OG> Лукавит:

 OG> * возросла плотнось записи (можно не разготяться)
 OG> * появились ssd

 OG> Тут: http://www.storagereview.com/ssd_vs_hdd

 OG>  price/GiB  Write

 OG> SSD$0.10200-550 MB/s
 OG> HDD$0.0650–120 MB/s

 OG> В рекламном буклете: http://ocz.com/consumer/ssd-guide/ssd-vs-hdd как раз
 OG> хвастаются 550 MB/s - видно современный предел комерчекого предложения.

 OG> Итого в статье ругаются что восстановление занимает 1 день. SSD сейчас 
таких
 OG> же обьемов и быстрее в 5 раз. Итого 5 часов восстановления.

 OG> **Но главное** проблем с деградацией производительности в момент 
востановления
 OG> не будет - SSD держит 100'000 IO/s против проблемных 300 IO/s в HDD.

 OG> Интересно используют ли эту особенность RAID контроллеры или софтверные 
RAID?

Надо сказать, что у меня в ноутбуке SSD довольно быстро вымер
(симптоматика - бьются некоторые файлы на ровном месте), и я его
отключил.

Но anyway, тот SSD стоит настолько дороже винчестера, что для целей
бэкап-сервера (небыстрая в норме работа, но места надо много), если уж
покупать, то покупать не SSD, а винты в разы большей емкости.

А в моем случае есть то, что есть.

Re: software raid для бэкап-сервера?

2016-03-24 Пенетрантность Oleksandr Gavenko

On 2016-03-24, Андрей Любимец wrote:
> 23.03.2016 18:51, Artem Chuprina пишет:
>  АЛ> я за raid10 -- погугли "Why RAID 5 Sucks"
> 
> Погуглил.  Ничего внятного не увидел.

> Здесь подробнее https://geektimes.ru/post/78311/

От туда:

> Когда RAID-5 появился, в 1987 году, типичный жесткий диск был размером 21MB, и
> имел скорость вращения 3600 RPM. Сегодня типичный диск SATA это 1TB, то есть
> прирост емкости составил 50 тысяч раз! Но скорость вращения при этом
> увеличилась всего вдвое.

Лукавит:

* возросла плотнось записи (можно не разготяться)
* появились ssd

Тут: http://www.storagereview.com/ssd_vs_hdd

 price/GiB  Write

SSD$0.10200-550 MB/s
HDD$0.0650–120 MB/s

В рекламном буклете: http://ocz.com/consumer/ssd-guide/ssd-vs-hdd как раз
хвастаются 550 MB/s - видно современный предел комерчекого предложения.

Итого в статье ругаются что восстановление занимает 1 день. SSD сейчас таких
же обьемов и быстрее в 5 раз. Итого 5 часов восстановления.

**Но главное** проблем с деградацией производительности в момент востановления
не будет - SSD держит 100'000 IO/s против проблемных 300 IO/s в HDD.

Интересно используют ли эту особенность RAID контроллеры или софтверные RAID?

-- 
http://defun.work/

Re: software raid для бэкап-сервера?

2016-03-24 Пенетрантность Eugene Berdnikov

On Wed, Mar 23, 2016 at 10:51:26PM +0300, Artem Chuprina wrote:
> Eugene Berdnikov -> debian-russian@lists.debian.org  @ Wed, 23 Mar 2016 
> 20:37:44 +0300:
> 
>  >> >  Интересно, для чего может понадобиться снапшот свежего бэкапа?
>  >> 
>  >> Я понял так, что просто делается синхронизация rsync, а потом
>  >> получившееся состояние запоминается с помощью снапшота.
>  >> 
>  >> А вы что подумали?)
> 
>  EB>  Я подумал, что проще и эффективнее "cp -al", а затем на полученной копии
>  EB>  "rsync --delete". Это даёт инкрементальный бэкап (эквивалентный полному)
>  EB>  и не требует поддержки снапшотов.
> 
> Не требует.  Я дома так и делаю.  Но если снапшоты все равно в комплекте?

 Дают ли снапшоты какой-то полезный функционал для этой задачи? В ядре
 много чего в комплекте, чем в этой жизни не воспользоваться не суждено.
-- 
 Eugene Berdnikov

Re: software raid для бэкап-сервера?

2016-03-24 Пенетрантность Artem Chuprina

Андрей Любимец -> debian-russian@lists.debian.org  @ Thu, 24 Mar 2016 13:26:26 
+0600:

 >>  >>  >>  >> Какой рейд лучше делать, по опыту? Пятый, который из четырех 
 >> винтов по
 >>  >>  >>  >> полтерабайта сделает полтора?
 >>  >>  >> 
 >>  >>  >>  SBK> Места-то сколько надо?
 >>  >>  >> 
 >>  >>  >> Бэкап-сервер. Лучше больше.
 >>  >> 
 >>  >>  > Ну тогда все просто.  Больше чем raid5 вы не получите.
 >>  >> 
 >>  >> Это я и сам понимаю.  Меня интересует, нету ли грабель с надежностью.  В
 >>  >> смысле, в случае вылета винта.
 >>  АЛ> я за raid10 -- погугли "Why RAID 5 Sucks"
 >> 
 >> Погуглил.  Ничего внятного не увидел.
 >> 
 >> Можно пояснить?
 АЛ> Дело в том, что деградировавший RAID5 до завершения ресинка становится по
 АЛ> надёжности аналогичен RAID0. Ресинк же больших дисков может идти достаточно
 АЛ> долго. Если риск потерять данные в этот период не смущает, то ради бога...
 АЛ> Здесь подробнее https://geektimes.ru/post/78311/

А RAID10 в этом смысле чем-то лучше? Или, если уж говорить о 50% потере
пространства, делать RAID6?

Вообще, жалко полтерабайта, оно лишним не будет...  И это все-таки
бэкап, вторая копия данных.  Хотя там предусмотрено хранение прошлого.

Re: software raid для бэкап-сервера?

2016-03-24 Пенетрантность Андрей Любимец

23.03.2016 18:51, Artem Chuprina пишет:
> Андрей Любимец -> debian-russian@lists.debian.org  @ Wed, 23 Mar 2016 
> 17:49:52 +0600:
> 
>  >>  >>  >> Какой рейд лучше делать, по опыту? Пятый, который из четырех 
> винтов по
>  >>  >>  >> полтерабайта сделает полтора?
>  >>  >> 
>  >>  >>  SBK> Места-то сколько надо?
>  >>  >> 
>  >>  >> Бэкап-сервер. Лучше больше.
>  >> 
>  >>  > Ну тогда все просто.  Больше чем raid5 вы не получите.
>  >> 
>  >> Это я и сам понимаю.  Меня интересует, нету ли грабель с надежностью.  В
>  >> смысле, в случае вылета винта.
>  АЛ> я за raid10 -- погугли "Why RAID 5 Sucks"
> 
> Погуглил.  Ничего внятного не увидел.
> 
> Можно пояснить?
Дело в том, что деградировавший RAID5 до завершения ресинка становится по
надёжности аналогичен RAID0. Ресинк же больших дисков может идти достаточно
долго. Если риск потерять данные в этот период не смущает, то ради бога...
Здесь подробнее https://geektimes.ru/post/78311/
> 
> Ну, я понимаю, что RAID 5 не переживет вылет любых двух дисков, в то
> время как RAID 10 - только половину вариантов.  За это в случае четырех
> дисков RAID 10 по сравнению с RAID 5 теряет треть пространства. В моем
> случае вылет сразу или почти сразу двух представляется маловероятным, а
> полтерабайта лишними, пожалуй, не будут.
> 
> Еще?
> 
Сам ни разу не  терял данные на RAID5, но пару раз достаточно тривиальные
операции по замене диска (для RAID1 или RAID10) приводили к неприятным
потерям времени и нервов, типа случая описанного здесь --
https://www.opennet.ru/base/sys/raid5_sync.txt.html (автор конечно ССЗБ, но
честно пишет, что ему повезло)

В соседней ветке уже написали про потерю данных из-за выхода второго диска во
время восстановления массива.

Здесь (https://lists.altlinux.org/pipermail/sysadmins/2015-May/037194.html)
пишут :

>>Ну и для RAID5 хорошо известен эффект double fault, когда
>>следующий в очереди на вылетание диск под повышенной нагрузкой
>>при resync не успевает отдать все данные.
> 
> для массивов еще хорошо известен занятный эффект "не тот диск
> вынул при замене". я как-то раз по большой внимательности
> наступил на эти грабли, полчаса вытряхивал потом кирпичи из
> порток :)

Кстати, лайфхак: если нет корзины полезно наклеить на торец винчестера
серийник или WWN, что бы облегчить  идентификацию дисков
 ls -l /dev/disk/by-id/ | grep sda
 ata-ST1000NM0033-9ZM173_Z1W2GVEM -> ../../sda
 wwn-0x5000c500677aa9f2 -> ../../sda

Re: software raid для бэкап-сервера?

Eugene Berdnikov -> debian-russian@lists.debian.org  @ Wed, 23 Mar 2016 
20:37:44 +0300:

 >> >  Интересно, для чего может понадобиться снапшот свежего бэкапа?
 >> 
 >> Я понял так, что просто делается синхронизация rsync, а потом
 >> получившееся состояние запоминается с помощью снапшота.
 >> 
 >> А вы что подумали?)

 EB>  Я подумал, что проще и эффективнее "cp -al", а затем на полученной копии
 EB>  "rsync --delete". Это даёт инкрементальный бэкап (эквивалентный полному)
 EB>  и не требует поддержки снапшотов.

Не требует.  Я дома так и делаю.  Но если снапшоты все равно в комплекте?

Re: software raid для бэкап-сервера?

On Wed, Mar 23, 2016 at 08:06:09PM +0300, Sergey B Kirpichev wrote:
> On Wed, Mar 23, 2016 at 07:52:40PM +0300, Eugene Berdnikov wrote:
> >  Интересно, для чего может понадобиться снапшот свежего бэкапа?
> 
> Я понял так, что просто делается синхронизация rsync, а потом
> получившееся состояние запоминается с помощью снапшота.
> 
> А вы что подумали?)

 Я подумал, что проще и эффективнее "cp -al", а затем на полученной копии
 "rsync --delete". Это даёт инкрементальный бэкап (эквивалентный полному)
 и не требует поддержки снапшотов.

 Можно и в обратном порядке, конечно, но тогда да, без снапшота тоска.
-- 
 Eugene Berdnikov

Re: software raid для бэкап-сервера?

On Wed, Mar 23, 2016 at 07:52:40PM +0300, Eugene Berdnikov wrote:
>  Интересно, для чего может понадобиться снапшот свежего бэкапа?

Я понял так, что просто делается синхронизация rsync, а потом
получившееся состояние запоминается с помощью снапшота.

А вы что подумали?)

Re: software raid для бэкап-сервера?

On Wed, Mar 23, 2016 at 07:04:25PM +0300, Artem Chuprina wrote:
> Eugene Berdnikov -> debian-russian@lists.debian.org  @ Wed, 23 Mar 2016 
> 17:57:44 +0300:
> 
>  >> Механизм простой - рсинком сливаешь и делаешь снапшот
> 
>  EB>  Лучше наоборот, меньше вероятность неконсистентности.
> 
>  EB>  Вообще, с rsync'ом снапшот не особо-то нужен. К тому же на той стороне,
>  EB>  которую нужно бэкапить, может не быть снапшотов.
> 
> Речь про бэкап-сервер.  На нем делается снапшот того, что только что
> сбэкапили.

 Интересно, для чего может понадобиться снапшот свежего бэкапа?
-- 
 Eugene Berdnikov

Re: software raid для бэкап-сервера?

Eugene Berdnikov -> debian-russian@lists.debian.org  @ Wed, 23 Mar 2016 
17:57:44 +0300:

 >> Механизм простой - рсинком сливаешь и делаешь снапшот

 EB>  Лучше наоборот, меньше вероятность неконсистентности.

 EB>  Вообще, с rsync'ом снапшот не особо-то нужен. К тому же на той стороне,
 EB>  которую нужно бэкапить, может не быть снапшотов.

Речь про бэкап-сервер.  На нем делается снапшот того, что только что
сбэкапили.  Если на том, что бэкапится, есть снапшоты, то там снапшот
делается до.  Но у меня как раз не будет.

Re: software raid для бэкап-серв ера?

2016-03-23 Пенетрантность sergio

On 23/03/16 15:51, Artem Chuprina wrote:

> Ну, я понимаю, что RAID 5 не переживет вылет любых двух дисков, в то
> время как RAID 10 - только половину вариантов.

Они оба не переживут при вылете двух дисков. 10 это не совсем 1+0.

Разница в том, что при вылете диска на RAID 5 I/O просядет заметно
больше чем на RAID 10. Ну и на восстановлении эта разница будет ещё
более заметной.

-- 
sergio

Re: software raid для бэкап-сервера?

2016-03-23 Пенетрантность Dmitry Kulagin






On Wed, Mar 23, 2016 at 05:04:58PM +0300, Dmitry Kulagin wrote:

Более 10-ти лет работаю по следующей схеме.
На каждом диске создается по 3 раздела - swap (1-4 GB), boot (500MB), sys.
Boot разделы собираются в raid1 и монтируются в /boot, первые 2 диска -
основные, остальные - spare.

  Загрузчик в mbr как ставится при такой схеме, на каждый диск отдельно?


Да




Аналогично для swap (при желании).

  Зачем своп на рейде делать? Данные там имеют ценность лишь при хибернейте,
  иначе рейд даёт лишь накладные расходы. Не лучше ли подключить несколько
  своповых разделов подряд, задав им приоритеты по вкусу?


При наличии хотсвап дисков при выходе диска из строя, не надо даже 
перезагружаться для замены диска.
Однако, если своп не в рейд - зависание системы обеспечено. Даже без хотсвап мы 
выигрываем во времени простоя системы,
но за счет скорости работы, конечно.

Re: software raid для бэкап-сервера?

Eugene Berdnikov -> debian-russian@lists.debian.org  @ Wed, 23 Mar 2016 
17:49:54 +0300:

 >> Аналогично для swap (при желании).

 EB>  Зачем своп на рейде делать? Данные там имеют ценность лишь при хибернейте,
 EB>  иначе рейд даёт лишь накладные расходы. Не лучше ли подключить несколько
 EB>  своповых разделов подряд, задав им приоритеты по вкусу?

Чтобы при выходе из строя диска во время работы не пропали данные,
которые там были, видимо.  Тут, правда, встает резонный вопрос о
непротиворечивости данных, вычитанных из свопа перед сбоем диска, и о
том, сколько в результате получается дополнительной надежности от
зеркалированного свопа.  Читается-то не с обоих, несоответствие можно и
не заметить.

Re: software raid для бэкап-сервера?

On Wed, Mar 23, 2016 at 04:00:49PM +0200, Vasiliy P. Melnik wrote:
> Механизм простой - рсинком сливаешь и делаешь снапшот

 Лучше наоборот, меньше вероятность неконсистентности.

 Вообще, с rsync'ом снапшот не особо-то нужен. К тому же на той стороне,
 которую нужно бэкапить, может не быть снапшотов.
-- 
 Eugene Berdnikov

Re: software raid для бэкап-сервера?

On Wed, Mar 23, 2016 at 05:04:58PM +0300, Dmitry Kulagin wrote:
> Более 10-ти лет работаю по следующей схеме.
> На каждом диске создается по 3 раздела - swap (1-4 GB), boot (500MB), sys.
> Boot разделы собираются в raid1 и монтируются в /boot, первые 2 диска -
> основные, остальные - spare.

 Загрузчик в mbr как ставится при такой схеме, на каждый диск отдельно?

> Аналогично для swap (при желании).

 Зачем своп на рейде делать? Данные там имеют ценность лишь при хибернейте,
 иначе рейд даёт лишь накладные расходы. Не лучше ли подключить несколько
 своповых разделов подряд, задав им приоритеты по вкусу?
-- 
 Eugene Berdnikov

Re: software raid для бэкап-сервера?

On Wed, Mar 23, 2016 at 05:04:58PM +0300, Dmitry Kulagin wrote:
> В качестве современной альтернативы данной схемы можно предложить btrfs или
> zfs, в которых и фс,
> и рейд, и lvm в одном флаконе.

btrfs не умеет нормально raid5 в jessie.

Re: software raid для бэкап-сервера?

Vasiliy P. Melnik -> debian-russian  @ Wed, 23 Mar 2016 16:00:49 +0200:

 > так модуль есть в кернел для зфса - у меня правда на оракл линукс стоит, но
 > не думаю что это принципиально.

А вот зря.  Оракл теперь владелец оригинала, у него этот модуль
гарантированно не сломается при апгрейде ядра.  А дебиан - отнюдь.  А
модуль, как я понимаю, ни разу не в апстриме.

Впрочем, судя по тому, что пишут на zfsonlinux, работа по внедрению в
дебиан уже идет, так что можно брать...

 > Правда больше на фре использую, но тут вопрос не принципиальный: там
 > модуль из коробки, здесь - из репозитария.  Жалею только, что систему
 > поставил на эти же винты - сложно что-то переделывать

Ну, у меня и вариантов-то нет, нету других винтов.

 > Механизм простой - рсинком сливаешь и делаешь снапшот

Угу, стоит попробовать...

 >>  VPM> А данные какие? я держу бекапы на зфс-е - у меня достаточно мало
 >> изменений,
 >>  VPM> ну и плюс снапшоты очень удобная вещь и спасает от удаления данных
 >>
 >> Данные разные, но в целом, вероятно, со сравнительно небольшими
 >> изменениями.  Исключений, типа дампа базы данных, немного.
 >>
 >> А можно поподробнее про модель?  ZFS применяется вместо рейда, со своим
 >> собственным?  Или ты применяешь без рейда?  zfs-fuse, т.е. система на
 >> чем-то еще?  Создание бэкапа при этом как - по принципу "сделали бэкап,
 >> затем сделали снапшот"?

Re: software raid для бэкап-сервера?

2016-03-23 Пенетрантность Vasiliy P. Melnik

On Wed, Mar 23, 2016 at 04:00:49PM +0200, Vasiliy P. Melnik wrote:
>У меня просто обычный raid1 , но зфс много умеет разных рейдов. Есть
>компрессия на лету, что тоже хорошо

Есть data-checksums, что весьма полезно.  Не знаю сколько у ТС
предполагается храниться бекапу, но у меня данные на md raid
периодически протухают.

>З.Ы. пробовал btrfs - тормозное оно шибко, но тоже работает как надо 

А в каком месте тормозное, в смысле последующей работы со снапшотами?

Re: software raid для бэкап-сервера?

2016-03-23 Пенетрантность Dmitry Kulagin

Более 10-ти лет работаю по следующей схеме.
На каждом диске создается по 3 раздела - swap (1-4 GB), boot (500MB), sys.
Boot разделы собираются в raid1 и монтируются в /boot, первые 2 диска -
основные, остальные - spare.

Аналогично для swap (при желании).
Sys разделы собираются в raid5, поверх создается lvm, в котором
создаются /,/var,/home и т.д.
Проблем с загрузкой никаких, установщик как минимум 3 последних версий
Debian позволяет создать

и загрузить такую систему.
Потеря системы за это время случилась всего один раз из-за бага в работе
NCQ в дисках Samsung,
когда под высокой нагрузкой из рейда вылетел первый диск, а потом в
процессе восстановления - второй.
В качестве современной альтернативы данной схемы можно предложить btrfs
или zfs, в которых и фс,
и рейд, и lvm в одном флаконе. Последняя позволяет заметно ускорить
работу при вынесении cache и log
на ssd диск, но сильно страдает от дефрагментации из-за COW, что,
правда, не актуально для бэкап-

сервера. Установщик ее не поддерживает.
Jessie поддерживает btrfs, на одном разделе точно, но можно ли
выбирать рейд режимы и несколько разделов при установке мне неизвестно.

23.03.2016 13:06, Artem Chuprina пишет:

Люди местные, сами мы недобрые, поможите умным словом.

Никогда не работал раньше с софтверным рейдом. Ситуация.

Надо сделать на коленке бэкап-сервер. В смысле, чтобы стоял под столом,
его никто не трогал, а он работал. Упса, вообще говоря, нет. Ну, пока
нет, а будет ли - непонятно.

Четыре винта по 500 Gb. На самом деле 6, но рейд-контроллер давно сдох
от перегрева, и еще два воткнуть некуда. Винты вроде живы. Винты
одинаковые, т.е. в случае чего будет что воткнуть вместо сдохшего, и
даже два раза. Хочется иметь не четыре раздела с ручным
перетасовыванием, а один. Хочется некоторого запаса надежности, потому
хочется не тупо LVM, а софтверный рейд.

Грузиться буду с него же. ATA есть, но отдельного винта и даже флешки
нет.

Какой рейд лучше делать, по опыту? Пятый, который из четырех винтов по
полтерабайта сделает полтора? Какие тонкости с загрузкой?

Re: software raid для бэкап-сервера?

так модуль есть в кернел для зфса - у меня правда на оракл линукс стоит, но
не думаю что это принципиально. Правда больше на фре использую, но тут
вопрос не принципиальный: там модуль из коробки, здесь - из репозитария.
Жалею только, что систему поставил на эти же винты - сложно что-то
переделывать

У меня просто обычный raid1 , но зфс много умеет разных рейдов. Есть
компрессия на лету, что тоже хорошо

Механизм простой - рсинком сливаешь и делаешь снапшот

З.Ы. пробовал btrfs - тормозное оно шибко, но тоже работает как надо


23 марта 2016 г., 15:46 пользователь Artem Chuprina 
написал:

> Vasiliy P. Melnik -> debian-russian  @ Wed, 23 Mar 2016 15:00:04 +0200:
>
>  VPM> А данные какие? я держу бекапы на зфс-е - у меня достаточно мало
> изменений,
>  VPM> ну и плюс снапшоты очень удобная вещь и спасает от удаления данных
>
> Данные разные, но в целом, вероятно, со сравнительно небольшими
> изменениями.  Исключений, типа дампа базы данных, немного.
>
> А можно поподробнее про модель?  ZFS применяется вместо рейда, со своим
> собственным?  Или ты применяешь без рейда?  zfs-fuse, т.е. система на
> чем-то еще?  Создание бэкапа при этом как - по принципу "сделали бэкап,
> затем сделали снапшот"?
>
>

Re: software raid для бэкап-сервера?

2016-03-23 Пенетрантность Stanislav Vlasov

23 марта 2016 г., 17:39 пользователь Artem Chuprina  написал:
>  >> Это я и сам понимаю.  Меня интересует, нету ли грабель с надежностью.  В
>  >> смысле, в случае вылета винта.

>  > В случае вылета винта вы получите данные без избыточности
>  > и при проблемах с любым оставшимся диском - потерю данных. // КО.

> Это я невнятно говорю или ты невнятно понимаешь?  Про очевидное я в
> курсе.  Вопрос в том, насколько гладко проходит замена винта.

При помощи mdadm и какой-то матери помечаем сбойный винт как сбойный,
если автоматически не пометился, выкидываем его из рейда, меняем (если
позволяет железо - в онлайне), добавляем в рейд новый.
Ждём синхронизации.
Проделывалось несколько раз, работает нормально, проблемы могут быть в
первом или втором пункте (пока заключались в том, что к тому времени,
когда происходит сбой - забываешь документацию).
Скорость синхронизации можно менять через /proc, при этом,
естественно, есть влияние на основную работу сервера.

>  >> И кто чем, кстати, мониторит состояние mdraid?
>
>  > mdadm пакет запускает стандартно mdadm --monitor, обычно этого
>  > достаточно, про проблемы он пишет на почту.  Плюс регулярно из кронтаба

У нас для этого nagios опрашивает состояние через nrpe. Не помню,какой
у него плугин, но что-то стандартное.

-- 
Stanislav

Re: software raid для бэкап-сервера?

2016-03-23 Пенетрантность Vasiliy P. Melnik

Vasiliy P. Melnik -> debian-russian  @ Wed, 23 Mar 2016 15:00:04 +0200:

 VPM> А данные какие? я держу бекапы на зфс-е - у меня достаточно мало 
изменений,
 VPM> ну и плюс снапшоты очень удобная вещь и спасает от удаления данных

Данные разные, но в целом, вероятно, со сравнительно небольшими
изменениями.  Исключений, типа дампа базы данных, немного.

А можно поподробнее про модель?  ZFS применяется вместо рейда, со своим
собственным?  Или ты применяешь без рейда?  zfs-fuse, т.е. система на
чем-то еще?  Создание бэкапа при этом как - по принципу "сделали бэкап,
затем сделали снапшот"?

Re: software raid для бэкап-сервера?

А данные какие? я держу бекапы на зфс-е - у меня достаточно мало изменений,
ну и плюс снапшоты очень удобная вещь и спасает от удаления данных

23 марта 2016 г., 14:51 пользователь Artem Chuprina <r...@lasgalen.net>
написал:

> Андрей Любимец -> debian-russian@lists.debian.org  @ Wed, 23 Mar 2016
> 17:49:52 +0600:
>
>  >>  >>  >> Какой рейд лучше делать, по опыту? Пятый, который из четырех
> винтов по
>  >>  >>  >> полтерабайта сделает полтора?
>  >>  >>
>  >>  >>  SBK> Места-то сколько надо?
>  >>  >>
>  >>  >> Бэкап-сервер. Лучше больше.
>  >>
>  >>  > Ну тогда все просто.  Больше чем raid5 вы не получите.
>  >>
>  >> Это я и сам понимаю.  Меня интересует, нету ли грабель с надежностью.
> В
>  >> смысле, в случае вылета винта.
>  АЛ> я за raid10 -- погугли "Why RAID 5 Sucks"
>
> Погуглил.  Ничего внятного не увидел.
>
> Можно пояснить?
>
> Ну, я понимаю, что RAID 5 не переживет вылет любых двух дисков, в то
> время как RAID 10 - только половину вариантов.  За это в случае четырех
> дисков RAID 10 по сравнению с RAID 5 теряет треть пространства. В моем
> случае вылет сразу или почти сразу двух представляется маловероятным, а
> полтерабайта лишними, пожалуй, не будут.
>
> Еще?
>
>

Re: software raid для бэкап-сервера?

Андрей Любимец -> debian-russian@lists.debian.org  @ Wed, 23 Mar 2016 17:49:52 
+0600:

 >>  >>  >> Какой рейд лучше делать, по опыту? Пятый, который из четырех винтов 
 >> по
 >>  >>  >> полтерабайта сделает полтора?
 >>  >> 
 >>  >>  SBK> Места-то сколько надо?
 >>  >> 
 >>  >> Бэкап-сервер. Лучше больше.
 >> 
 >>  > Ну тогда все просто.  Больше чем raid5 вы не получите.
 >> 
 >> Это я и сам понимаю.  Меня интересует, нету ли грабель с надежностью.  В
 >> смысле, в случае вылета винта.
 АЛ> я за raid10 -- погугли "Why RAID 5 Sucks"

Погуглил.  Ничего внятного не увидел.

Можно пояснить?

Ну, я понимаю, что RAID 5 не переживет вылет любых двух дисков, в то
время как RAID 10 - только половину вариантов.  За это в случае четырех
дисков RAID 10 по сравнению с RAID 5 теряет треть пространства. В моем
случае вылет сразу или почти сразу двух представляется маловероятным, а
полтерабайта лишними, пожалуй, не будут.

Еще?

Re: software raid для бэкап-сервера?

Sergey B Kirpichev -> debian-russian@lists.debian.org  @ Wed, 23 Mar 2016 
14:55:27 +0300:

 >> Это я и сам понимаю.  Меня интересует, нету ли грабель с надежностью.  В
 >> смысле, в случае вылета винта.

 > В случае вылета винта вы получите данные без избыточности
 > и при проблемах с любым оставшимся диском - потерю данных. // КО.

Это я невнятно говорю или ты невнятно понимаешь?  Про очевидное я в
курсе.  Вопрос в том, насколько гладко проходит замена винта.

 >> И кто чем, кстати, мониторит состояние mdraid?

 > mdadm пакет запускает стандартно mdadm --monitor, обычно этого
 > достаточно, про проблемы он пишет на почту.  Плюс регулярно из кронтаба
 > делается проверка райд.  B BTS кстати валяется мой патч, который делает
 > это чаще (ежедневно вроде) и инкрементально.

Вот это полезный ответ, спасибо.

Re: software raid для бэкап-сервера?

2016-03-23 Пенетрантность Андрей Любимец

On Wed, Mar 23, 2016 at 02:24:44PM +0300, Artem Chuprina wrote:
> Это я и сам понимаю.  Меня интересует, нету ли грабель с надежностью.  В
> смысле, в случае вылета винта.

В случае вылета винта вы получите данные без избыточности
и при проблемах с любым оставшимся диском - потерю данных. // КО.

> И кто чем, кстати, мониторит состояние mdraid?

mdadm пакет запускает стандартно mdadm --monitor, обычно этого
достаточно, про проблемы он пишет на почту.  Плюс регулярно из кронтаба
делается проверка райд.  B BTS кстати валяется мой патч, который делает
это чаще (ежедневно вроде) и инкрементально.

>  > Если совсем лень - выделите отдельно разделы под /boot на
>  > дисках, с raid1 груб точно умеет грузиться сто лет.
> 
> Видимо, так и сделаю.

Да, оверхед в принципе небольшой.  Но должно уже работать и с raid5.

Re: software raid для бэкап-сервера?

23.03.2016 17:24, Artem Chuprina пишет:
> Sergey B Kirpichev -> debian-russian@lists.debian.org  @ Wed, 23 Mar 2016 
> 14:07:58 +0300:
> 
>  >>  >> Какой рейд лучше делать, по опыту? Пятый, который из четырех винтов по
>  >>  >> полтерабайта сделает полтора?
>  >> 
>  >>  SBK> Места-то сколько надо?
>  >> 
>  >> Бэкап-сервер. Лучше больше.
> 
>  > Ну тогда все просто.  Больше чем raid5 вы не получите.
> 
> Это я и сам понимаю.  Меня интересует, нету ли грабель с надежностью.  В
> смысле, в случае вылета винта.
я за raid10 -- погугли "Why RAID 5 Sucks"

> 
> И кто чем, кстати, мониторит состояние mdraid?
mdadm же и мониторит и почту шлёт

> 
>  >>  >> Какие тонкости с загрузкой?
>  >> 
>  >>  SBK> В jessie вроде должно уметь грузиться и с raid5.
>  >> 
>  >> Installation manual про это молчит. Говорит про RAID1.
> 
>  > Ну возьмите, да попробуйте в эмуляторе.  Честно говоря, я так
>  > сразу и про raid1 не нашел, где это?
> 
> https://www.debian.org/releases/stable/amd64/ch06s03.html.ru#mdcfg, примечание
> 
>  > Если совсем лень - выделите отдельно разделы под /boot на
>  > дисках, с raid1 груб точно умеет грузиться сто лет.
> 
> Видимо, так и сделаю.
>

Re: software raid для бэкап-сервера?

Sergey B Kirpichev -> debian-russian@lists.debian.org  @ Wed, 23 Mar 2016 
14:07:58 +0300:

 >>  >> Какой рейд лучше делать, по опыту? Пятый, который из четырех винтов по
 >>  >> полтерабайта сделает полтора?
 >> 
 >>  SBK> Места-то сколько надо?
 >> 
 >> Бэкап-сервер. Лучше больше.

 > Ну тогда все просто.  Больше чем raid5 вы не получите.

Это я и сам понимаю.  Меня интересует, нету ли грабель с надежностью.  В
смысле, в случае вылета винта.

И кто чем, кстати, мониторит состояние mdraid?

 >>  >> Какие тонкости с загрузкой?
 >> 
 >>  SBK> В jessie вроде должно уметь грузиться и с raid5.
 >> 
 >> Installation manual про это молчит. Говорит про RAID1.

 > Ну возьмите, да попробуйте в эмуляторе.  Честно говоря, я так
 > сразу и про raid1 не нашел, где это?

https://www.debian.org/releases/stable/amd64/ch06s03.html.ru#mdcfg, примечание

 > Если совсем лень - выделите отдельно разделы под /boot на
 > дисках, с raid1 груб точно умеет грузиться сто лет.

Видимо, так и сделаю.

Re: software raid для бэкап-сервера?

Stanislav Vlasov -> debian-russian  @ Wed, 23 Mar 2016 15:35:25 +0500:

 >>  >> Какой рейд лучше делать, по опыту? Пятый, который из четырех винтов по
 >>  >> полтерабайта сделает полтора?

 SV> Работал и такой вариант, но нам было медленно...

 >>  SBK> Места-то сколько надо?
 >>
 >> Бэкап-сервер. Лучше больше.

 SV> У нас под бекапы делается raid10, но тут еще требуется обеспечить NN
 SV> потоков на запись (NN от 20 до 40 где-то).

Мне скорость не важна, а вот объем у raid10, как и у raid1, сразу в пополам...

Re: software raid для бэкап-сервера?

2016-03-23 Пенетрантность Stanislav Vlasov

On Wed, Mar 23, 2016 at 01:24:08PM +0300, Artem Chuprina wrote:
> Sergey B Kirpichev -> debian-russian@lists.debian.org  @ Wed, 23 Mar 2016 
> 13:14:52 +0300:
> 
>  >> Какой рейд лучше делать, по опыту? Пятый, который из четырех винтов по
>  >> полтерабайта сделает полтора?
> 
>  SBK> Места-то сколько надо?
> 
> Бэкап-сервер. Лучше больше.

Ну тогда все просто.  Больше чем raid5 вы не получите.

>  >> Какие тонкости с загрузкой?
> 
>  SBK> В jessie вроде должно уметь грузиться и с raid5.
> 
> Installation manual про это молчит. Говорит про RAID1.

Ну возьмите, да попробуйте в эмуляторе.  Честно говоря, я так
сразу и про raid1 не нашел, где это?

Если совсем лень - выделите отдельно разделы под /boot на
дисках, с raid1 груб точно умеет грузиться сто лет.

Re: software raid для бэкап-сервера?

23 марта 2016 г., 15:24 пользователь Artem Chuprina  написал:

>  >> Какой рейд лучше делать, по опыту? Пятый, который из четырех винтов по
>  >> полтерабайта сделает полтора?

Работал и такой вариант, но нам было медленно...

>  SBK> Места-то сколько надо?
>
> Бэкап-сервер. Лучше больше.

У нас под бекапы делается raid10, но тут еще требуется обеспечить NN
потоков на запись (NN от 20 до 40 где-то).

>  >> Какие тонкости с загрузкой?
>
>  SBK> В jessie вроде должно уметь грузиться и с raid5.
>
> Installation manual про это молчит. Говорит про RAID1.

grub с raid10 грузится нормально, но из инсталлятора я туда его не
ставил - только руками после debootstrap.

-- 
Stanislav

Re: software raid для бэкап-сервера?

Sergey B Kirpichev -> debian-russian@lists.debian.org  @ Wed, 23 Mar 2016 
13:14:52 +0300:

 >> Какой рейд лучше делать, по опыту? Пятый, который из четырех винтов по
 >> полтерабайта сделает полтора?

 SBK> Места-то сколько надо?

Бэкап-сервер. Лучше больше.

 >> Какие тонкости с загрузкой?

 SBK> В jessie вроде должно уметь грузиться и с raid5.

Installation manual про это молчит. Говорит про RAID1.

Re: software raid для бэкап-сервера?

On Wed, Mar 23, 2016 at 01:06:54PM +0300, Artem Chuprina wrote:
> Какой рейд лучше делать, по опыту? Пятый, который из четырех винтов по
> полтерабайта сделает полтора?

Места-то сколько надо?

> Какие тонкости с загрузкой?

В jessie вроде должно уметь грузиться и с raid5.

software raid для бэкап-сервера?

Люди местные, сами мы недобрые, поможите умным словом.

Никогда не работал раньше с софтверным рейдом. Ситуация.

Грузиться буду с него же. ATA есть, но отдельного винта и даже флешки
нет.

Re: Перестал собираться md raid при загрузке.

2014-11-05 Пенетрантность Andrey Nikitin

В Wed, 29 Oct 2014 14:00:44 +0300
Andrey Tataranovich tataranov...@gmail.com пишет:

 Можно убрать FD с типа партиции и добавить INITRDSTART='all'
 в /etc/default/mdadm. В этом случае md девайсы будут собираться из
 initrd, а не ядром.

Реально помогло:
 * rootdelay=10
и/или
 * quick что-то test или check = off в bios (стало на 1-2 сек. дольше)


--
To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org
with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org
Archive: https://lists.debian.org/20141105170813.77317469@host19.localdomain

Re: Перестал собираться md raid при загрузке.

2014-11-05 Пенетрантность Hleb Valoshka

On 11/5/14, Andrey Nikitin andrey.d.niki...@gmail.com wrote:

 Можно убрать FD с типа партиции и добавить INITRDSTART='all'
 в /etc/default/mdadm. В этом случае md девайсы будут собираться из
 initrd, а не ядром.

 Реально помогло:
  * rootdelay=10
 и/или
  * quick что-то test или check = off в bios (стало на 1-2 сек. дольше)

Странно, что у вас это вылезло только недавно, так как подобный баг
проявился ещё во времена ядра 3.8.

Re: Перестал собираться md raid при загрузке.

2014-11-05 Пенетрантность Andrey Nikitin

В Wed, 5 Nov 2014 21:19:27 +0300
Hleb Valoshka 375...@gmail.com пишет:

 Странно, что у вас это вылезло только недавно, так как подобный баг
 проявился ещё во времена ядра 3.8.

Проблемы начались примерно после перехода на systemd init.
Я на него грешил тогда. Какое в этот момент было ядро - не помню.
А на самом деле, источником проблему оказался initramfs,
где райды собираются сразу после загрузки модулей sd_,
совершенно не ожидая готовности устройств. Есть там какой-то wait, но,
видимо, недостаточный.
Впрочем, при наличии rootdelay, это скорее в wishlist, чем в bug.


--
To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org
with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org
Archive: https://lists.debian.org/20141106085454.01e3b3e8@host19.localdomain

Перестал собираться md raid при загрузке.

2014-10-29 Пенетрантность Nikolay Kachanov

Здравствуйте.

Debian Wheeze 8.0 (3.16-3-amd64), в которой 2 raid1 (зеркало) массива:
md0: sd{b,c}1
md1: sd{b,c}3

Примерно с месяц назад, через раз стал выпадать диск sdc (копия sdb) из 
массивов при загрузке.

Ругачек на диски нет.
Кусок kern.log для разбитой загрузке привожу ниже:

# инит 1-го диска
kernel: [7.719215] scsi 2:0:0:0: Direct-Access ATA  WDC 
WD4000AAKS-0 1C02 PQ: 0 ANSI: 5
kernel: [7.719515] sd 2:0:0:0: [sdb] 781422768 512-byte logical blocks: 
(400 GB/372 GiB)
kernel: [7.732664]  sdb: sdb1 sdb2 sdb3
kernel: [7.733628] sd 2:0:0:0: [sdb] Attached SCSI disk

# неудачный запуск массива md1 (до инита всех дисков, составляющих массив)
kernel: [8.344987] md: md1 stopped.
kernel: [8.345499] md: bindsdb3
kernel: [8.492907] md: raid1 personality registered for level 1
kernel: [8.493280] md/raid1:md1: active with 1 out of 2 mirrors
kernel: [8.493320] md1: detected capacity change from 0 to 393999024128
kernel: [8.493939]  md1: unknown partition table

# инит 2-го диска
kernel: [8.543808] scsi 4:0:0:0: Direct-Access ATA  WDC 
WD4000AAKS-0 1C02 PQ: 0 ANSI: 5
kernel: [8.544174] sd 4:0:0:0: [sdc] 781422768 512-byte logical blocks: 
(400 GB/372 GiB)
kernel: [8.559318]  sdc: sdc1 sdc2 sdc3
kernel: [8.559836] sd 4:0:0:0: [sdc] Attached SCSI disk

# неудачный запуск массива md0, причём в момент когда оба диска доступны
kernel: [8.981260] md: md0 stopped.
kernel: [8.982580] md: bindsdb1
kernel: [8.983711] md/raid1:md0: active with 1 out of 2 mirrors
kernel: [8.983736] md0: detected capacity change from 0 to 98566144
kernel: [8.984272]  md0: unknown partition table

Прим:
  * На райдовых разделах (/dev/sd{b,c}{1,3}) стоит тип 0xFD (Linux raid 
autodetect).
  * Норм. загрузка бывает когда оба диска инициализируются до 1-й попытки md 
bind

mdadm.conf
# definitions of existing MD arrays
ARRAY /dev/md0 UUID=8f1d6116:8474f3a0:d417b99e:28a7727f
ARRAY /dev/md1 UUID=e2e0053f:10ba7fbe:ac344792:529157d0

Х.з. как назначаются UUID-ы в mdadm.conf, но первый (md0) совпадает с UUID sdc1
$ sudo blkid /dev/sdc1
/dev/sdc1: UUID=8f1d6116-8474-f3a0-d417-b99e28a7727f TYPE=linux_raid_member 
PARTUUID=-01 

а второй md1 с sdb3
sudo blkid /dev/sdb3
/dev/sdb3: UUID=e2e0053f-10ba-7fbe-ac34-4792529157d0 TYPE=linux_raid_member 
PARTUUID=30a230a1-03

Может кто встречался с подобным? Помогите разобраться или определить на кого 
багрепорт послать,
на ядро или mdadm или ... может все решиться если убрать FD (Linux raid 
autodetect) с разделов (сцыкотно)?
Устал осколки склеивать почти через день.


--
To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org
with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org
Archive: https://lists.debian.org/20141029092912.13c2cad2@host19.localdomain

Re: Перестал собираться md raid при загрузке.

Здравствуйте, Андрей.

 29.10.2014 09:29:12, Andrey Nikitin:
 Debian Wheeze 8.0 

Вы хотели написать Jessie?


-- 
To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org
with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org
Archive: https://lists.debian.org/545094c2.7000...@gmail.com

Re: Перестал собираться md raid при загрузке.

2014-10-29 Пенетрантность Andrey Tataranovich

В Wed, 29 Oct 2014 09:29:12 +0300
Andrey Nikitin andrey.d.niki...@gmail.com пишет:

 Здравствуйте.
 
 Debian Wheeze 8.0 (3.16-3-amd64), в которой 2 raid1 (зеркало) массива:
 md0: sd{b,c}1
 md1: sd{b,c}3
 
 Примерно с месяц назад, через раз стал выпадать диск sdc (копия sdb)
 из массивов при загрузке.
 
 Ругачек на диски нет.
 Кусок kern.log для разбитой загрузке привожу ниже:
 
 # инит 1-го диска
 kernel: [7.719215] scsi 2:0:0:0: Direct-Access ATA  WDC
 WD4000AAKS-0 1C02 PQ: 0 ANSI: 5 kernel: [7.719515] sd 2:0:0:0:
 [sdb] 781422768 512-byte logical blocks: (400 GB/372 GiB) kernel:
 [7.732664]  sdb: sdb1 sdb2 sdb3 kernel: [7.733628] sd
 2:0:0:0: [sdb] Attached SCSI disk
 
 # неудачный запуск массива md1 (до инита всех дисков, составляющих
 массив) kernel: [8.344987] md: md1 stopped.
 kernel: [8.345499] md: bindsdb3
 kernel: [8.492907] md: raid1 personality registered for level 1
 kernel: [8.493280] md/raid1:md1: active with 1 out of 2 mirrors
 kernel: [8.493320] md1: detected capacity change from 0 to
 393999024128 kernel: [8.493939]  md1: unknown partition table
 
 # инит 2-го диска
 kernel: [8.543808] scsi 4:0:0:0: Direct-Access ATA  WDC
 WD4000AAKS-0 1C02 PQ: 0 ANSI: 5 kernel: [8.544174] sd 4:0:0:0:
 [sdc] 781422768 512-byte logical blocks: (400 GB/372 GiB) kernel:
 [8.559318]  sdc: sdc1 sdc2 sdc3 kernel: [8.559836] sd
 4:0:0:0: [sdc] Attached SCSI disk
 
 # неудачный запуск массива md0, причём в момент когда оба диска
 доступны kernel: [8.981260] md: md0 stopped.
 kernel: [8.982580] md: bindsdb1
 kernel: [8.983711] md/raid1:md0: active with 1 out of 2 mirrors
 kernel: [8.983736] md0: detected capacity change from 0 to
 98566144 kernel: [8.984272]  md0: unknown partition table
 
 Прим:
   * На райдовых разделах (/dev/sd{b,c}{1,3}) стоит тип 0xFD (Linux
 raid autodetect).
   * Норм. загрузка бывает когда оба диска инициализируются до 1-й
 попытки md bind
 
 mdadm.conf
 # definitions of existing MD arrays
 ARRAY /dev/md0 UUID=8f1d6116:8474f3a0:d417b99e:28a7727f
 ARRAY /dev/md1 UUID=e2e0053f:10ba7fbe:ac344792:529157d0
 
 Х.з. как назначаются UUID-ы в mdadm.conf, но первый (md0) совпадает с
 UUID sdc1 $ sudo blkid /dev/sdc1
 /dev/sdc1: UUID=8f1d6116-8474-f3a0-d417-b99e28a7727f
 TYPE=linux_raid_member PARTUUID=-01 
 
 а второй md1 с sdb3
 sudo blkid /dev/sdb3
 /dev/sdb3: UUID=e2e0053f-10ba-7fbe-ac34-4792529157d0
 TYPE=linux_raid_member PARTUUID=30a230a1-03
 
 Может кто встречался с подобным? Помогите разобраться или определить
 на кого багрепорт послать, на ядро или mdadm или ... может все
 решиться если убрать FD (Linux raid autodetect) с разделов
 (сцыкотно)? Устал осколки склеивать почти через день.
 
 

Можно убрать FD с типа партиции и добавить INITRDSTART='all'
в /etc/default/mdadm. В этом случае md девайсы будут собираться из
initrd, а не ядром.

Вы ничем не рискуете, т.к. если не загрузится, то с LiveCD вернуть
метки на место не проблема.

-- 
WBR, Andrey Tataranovich


--
To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org
with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org
Archive: https://lists.debian.org/20141029140044.5a25f58d@dragoncore.local

Re: Перестал собираться md raid при загрузке.

В Wed, 29 Oct 2014 10:18:26 +0300
Nikolay Kachanov nikolay.kacha...@gmail.com пишет:

 Вы хотели написать Jessie?
Да, конечно.


--
To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org
with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org
Archive: https://lists.debian.org/20141029151354.2e6a1e67@host19.localdomain

Re: Перестал собираться md raid при загрузке.

2014-10-29 Пенетрантность Andrey Tataranovich

В Wed, 29 Oct 2014 14:00:44 +0300
Andrey Tataranovich tataranov...@gmail.com пишет:

 Можно убрать FD с типа партиции и добавить INITRDSTART='all'
 в /etc/default/mdadm. В этом случае md девайсы будут собираться из
 initrd, а не ядром.

Переменная установлена, спасибо, попробую.

Да, и если /dev/md0 это /boot?



--
To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org
with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org
Archive: https://lists.debian.org/20141029151834.7030e541@host19.localdomain

Re: Перестал собираться md raid при загрузке.

В Wed, 29 Oct 2014 15:18:34 +0300
Andrey Nikitin andrey.d.niki...@gmail.com пишет:

 В Wed, 29 Oct 2014 14:00:44 +0300
 Andrey Tataranovich tataranov...@gmail.com пишет:
 
  Можно убрать FD с типа партиции и добавить INITRDSTART='all'
  в /etc/default/mdadm. В этом случае md девайсы будут собираться из
  initrd, а не ядром.
 
 Переменная установлена, спасибо, попробую.
 
 Да, и если /dev/md0 это /boot?

Не важно. Grub грузит свой stage1.5 с чего угодно, если сможет при
установке определить физическое расположение на диске.

Поддержка RAID1 в данном случае - поддержка установки в MBR всех
дисков, членов RAID.

-- 
WBR, Andrey Tataranovich


--
To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org
with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org
Archive: https://lists.debian.org/20141029152939.7551a02b@dragoncore.local

Re: Перестал собираться md raid при загрузке.