Re: три диска в зеркале - как отсоединить один диск, чтобы файловые системы на нем были в консистентном состоянии без выключения компьютера?
а если просто тупо выдернуть usb-винт, без вывода из рейда? я думаю достаточно стопануть все базы данных и сделать sync перед этим. Но возможно проблема тут глубже и связана с версией mdadm в момент создания рейда, есть там нюансы. Возможно что без пересоздания рейда с нуля свежим mdadm проблему не решить. Если что скрипт бэкапа в общем то не сложен, у меня есть примерно похожее на питоне, бэкаплю lvm-тома. Ну а /boot тупо скопировать можно 27.11.2013, 09:49, "Vladimir Skubriev" : > ... Если конечно такое возможно. > > Три диска в зеркале - как отсоединить один диск, чтобы файловые системы > на нем были в консистентном состоянии ? > > На рабочей системе с тремя дисками в raid1: > > sda1,sdb1,sdc1 = md0, /boot > sda2,sdb2,sdc2 = md1, lvm pv с именем - sysraid with rootfs, home, > var/log, var/lib/lxc and etc logical volumes of server > > делаю: > grub-install /dev/sdc > mdadm /dev/md0 --fail /dev/sdc1 > mdadm /dev/md0 --remove /dev/sdc1 > mdadm /dev/md1 --fail /dev/sdc2 > mdadm /dev/md1 --remove /dev/sdc2 > > sdc - диск подключенный через usb 3.0 dock станцию. > > выключаю компьютер, > вынимаю sda,sdb оставляю только sdc, который выкинул из массива > > grub грузиться и даже с меню. > > Но после нажатия Enter на строке обычной загрузки системы или строке > восстановления системы - компьютер почти сразу уходит в ребут. > > Если загрузится с CD диска, то вижу следующее: > > cat /proc/mdstat > > md126 inactive sda2[2](S) > md127 inactive sda1[3](S) > > mdadm --stop /dev/md126 > mdadm --stop /dev/md127 > > а после собрать их так: > > mdadm -A --scan > > То они собираются и работают с всего один диском. > > Но файловые системы не монтируются, mount ругается на > > The superblock could not be read or does not describe a correct ext4 > filesystem. If the device is valid and it really contains an ext4 > filesystem (and not swap or ufs or something else), then the superblock > is corrupt, and you might try running e2fsck with an alternate superblock: > e2fsck -b 8193 > > Пробовал делать e2fsck -b 8193 /dev/sysraid/volume_name не помогает. > > Очевидно, что надо выбрасывать этот третий диск из массива когда ФС не > смонтированы. Или что то еще ? > > Вопрос в том, как это лучше делать ? > > Самый простой вариант(на работающем массиве из трех синхронизированных > дисках) - отключить сервер, вытащить 3-ий диск. Включить сервер. > > Есть идея сделать это через переключение уровней запуска. Но не ясно > приведет ли это к желаемому результату. Кажется это какой-то долгий и > сильно сложный путь. > > Второй вариант - без mdadm, точнее скрипт, который создаст нужную > разметку на третем винте, сделает снапшоты, и скопирует логические тома. > Но его тоже будет не просто написать. > > Откровенно говоря - на знаю куда копать и что делать дальше. > > -- > -- > Best regards, > > Vladimir Skubriev > > -- > To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org > with a subject of "unsubscribe". Trouble? Contact listmas...@lists.debian.org > Archive: http://lists.debian.org/529587b1.2080...@skubriev.ru -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of "unsubscribe". Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/376151385533...@web22j.yandex.ru
Re: три диска в зеркале - как отсоединить один диск, чтобы файловые системы на нем были в консистентном состоянии без выключения компьютера?
27.11.2013 09:48, Vladimir Skubriev пишет: ... Если конечно такое возможно. Три диска в зеркале - как отсоединить один диск, чтобы файловые системы на нем были в консистентном состоянии ? На рабочей системе с тремя дисками в raid1: sda1,sdb1,sdc1 = md0, /boot sda2,sdb2,sdc2 = md1, lvm pv с именем - sysraid with rootfs, home, var/log, var/lib/lxc and etc logical volumes of server делаю: grub-install /dev/sdc mdadm /dev/md0 --fail /dev/sdc1 mdadm /dev/md0 --remove /dev/sdc1 mdadm /dev/md1 --fail /dev/sdc2 mdadm /dev/md1 --remove /dev/sdc2 sdc - диск подключенный через usb 3.0 dock станцию. выключаю компьютер, вынимаю sda,sdb оставляю только sdc, который выкинул из массива grub грузиться и даже с меню. Но после нажатия Enter на строке обычной загрузки системы или строке восстановления системы - компьютер почти сразу уходит в ребут. Если загрузится с CD диска, то вижу следующее: cat /proc/mdstat md126inactivesda2[2](S) md127inactivesda1[3](S) Ваша проблема почти наверняка связана с конфигурацией mdadm. На что стоит посмотреть: 1. Соответствию файла конфигурации в initrd и в /etc/mdadm. Если вы не выполняли принудительного обновления initrd после перестройки массива, то в initrd будет старая конфигурация, которая может не позволить собраться новому массиву. Рекомендуется после обновления массива делать update-initramfs -u. Это вроде должно решить и проблему 2 2. Соответствие конфигурации mdadm и реальных массивов. Возможны ситуации, когда вы перестроили массивы, а в файле конфигурации остались старые данные 3. Содержимое файла mdadm.conf - для ваших массивов не должно быть указано имя хоста - это может создавать проблемы -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of "unsubscribe". Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/52959577.6070...@darkmike.ru
Re: три диска в зеркале - как отсоединить один диск, чтобы файловые системы на нем были в консистентном состоянии без выключения компьютера?
27.11.2013 10:47, Mike Mironov пишет: 27.11.2013 09:48, Vladimir Skubriev пишет: ... Если конечно такое возможно. Три диска в зеркале - как отсоединить один диск, чтобы файловые системы на нем были в консистентном состоянии ? На рабочей системе с тремя дисками в raid1: sda1,sdb1,sdc1 = md0, /boot sda2,sdb2,sdc2 = md1, lvm pv с именем - sysraid with rootfs, home, var/log, var/lib/lxc and etc logical volumes of server делаю: grub-install /dev/sdc mdadm /dev/md0 --fail /dev/sdc1 mdadm /dev/md0 --remove /dev/sdc1 mdadm /dev/md1 --fail /dev/sdc2 mdadm /dev/md1 --remove /dev/sdc2 sdc - диск подключенный через usb 3.0 dock станцию. выключаю компьютер, вынимаю sda,sdb оставляю только sdc, который выкинул из массива grub грузиться и даже с меню. Но после нажатия Enter на строке обычной загрузки системы или строке восстановления системы - компьютер почти сразу уходит в ребут. Если загрузится с CD диска, то вижу следующее: cat /proc/mdstat md126inactivesda2[2](S) md127inactivesda1[3](S) Ваша проблема почти наверняка связана с конфигурацией mdadm. На что стоит посмотреть: 1. Соответствию файла конфигурации в initrd и в /etc/mdadm. Если вы не выполняли принудительного обновления initrd после перестройки массива, то в initrd будет старая конфигурация, которая может не позволить собраться новому массиву. Рекомендуется после обновления массива делать update-initramfs -u. Это вроде должно решить и проблему 2 это ясно, что система может не грузиться т.к конфигурация в целом не соотвествует тому что в ramfs, но мне кажется проблема зарыта глубже. Я проверил на синхронизированном массиве из 3-х дисков, т.е на полностью рабочем массиве нормально выключил сервер. и попробовал грузиться с каждого диска по отдельности. С двух дисков на которые ставилась система система нормально грузится. А с третьего добавленного после установки - нет. Т.е. с третьим диском получается следующее: Обычная загрузка системы - стала зависать на черном экране после выбора ядра и Enter в grub. При этом Ctrl+Alt+Del работают Частично заработала загрузка в ramfs (Ранее было чистая перезагрузка из-за не возможности монтирования битого корня). Частично - потому, что загружается ядро, которое естественно читается с файловой системы для /boot, т.е. /dev/md0 И все далее сообщение примерно такое: The system may have suffered a hardware fault such as a disk drive failure. The root device may depend on the RAID devices being online. One or more of the following RAID devices are degraded: Personalities: ... md1. active raid1 sda2[0] 243577664 blocks super 1.2 [3/1] [U__] md0. active raid1 sda2[0] 487104 blocks super 1.2 [3/1] [U__] Attempting to start the RAID in degraded mode... mdadm: CREATE user root not found mdadm: CREATE group disk not found Started the RAID in degraded mode. Это сообщение выводится бесконечно (примерно в 10 секунд) и до шелла busybox дело не доходит. Возможно разница в том, как устанавливается загрузчик на третий диск. Возможно есть разница между тем: 1. как его ставить на винт debian-installer и 2. ручным запуском из работающей системы на трех дисках в raid1 командой grub-install /dev/третий_диск. Просто возникает закономерный вопрос: Почему с двух дисков система из raid1 с тремя дисками грузится. А с третьего добавленного вручную в процессе эксплуатации сервера к зеркалу из двух винтов - НЕТ. Так как я эксперементирую и пятаюсь понять логику работы mdadm я решил попробовать загрузить систему с одного из дисков при условии что подключены остальные. При этом я сломал загрузку со тех двух дисков, с которых все грузилось по отдельности, на которые система ставилась изначально. Т.е. ядро при загрузке что то изменило на всех дисках, и теперь, чтобы загрузить старую систему мне нужно будет скорее всего создавать новый массив, затирая суперблоки mdadm ))) Ну раз уж я все уже сломал, то решил попробовать поставить на эти диски систему с нуля - т.е. сразу сделать зеркало из 3 дисков в инсталлере. Вставил флэшку с установщиком и вуаля черный экран. По есть по сути ядро отказывается грузится при подключенных дисках с одинаковыми, но разрозненными массивами. Т.е. я же их все вместе включал и система пришла в ступор - когда увидела три диска с абсолютно разными "хвостами". Вот это уже интересней. Отчистил mbr-ы заново поставил систему по старой схеме mdadm+lvm. Попробовал загрузится та же песня с двух перезагрузка, с одного черный экран с работающим Ctrl+Alt+Del. Несмотря на bootdegraded=true система отказывается запускатся в связи с чем возникает закономерный вопрос: "К чему она предлагала мне на выбор(в конце установки) два варианта грузиться и не грузиться если массив будет degraded?" Какова логика разработчиков. Кто знает ? Подскажите пожалуйста. 2. Соответствие конфигурации mdadm и реальных массивов. Возможны ситуации, когда вы перестроили массивы, а в файле конфигурации остались старые данные не проблема делать обновление ramfs. 23. Содержи
Re: три диска в зеркале - как отсоединить один диск, чтобы файловые системы на нем были в консистентном состоянии без выключения компьютера?
28.11.2013, 08:55, "Vladimir Skubriev" : > 27.11.2013 10:47, Mike Mironov пишет: > >> 27.11.2013 09:48, Vladimir Skubriev пишет: >>> ... Если конечно такое возможно. >>> >>> Три диска в зеркале - как отсоединить один диск, чтобы файловые системы >>> на нем были в консистентном состоянии ? >>> >>> На рабочей системе с тремя дисками в raid1: >>> >>> sda1,sdb1,sdc1 = md0, /boot >>> sda2,sdb2,sdc2 = md1, lvm pv с именем - sysraid with rootfs, home, >>> var/log, var/lib/lxc and etc logical volumes of server >>> >>> делаю: >>> grub-install /dev/sdc >>> mdadm /dev/md0 --fail /dev/sdc1 >>> mdadm /dev/md0 --remove /dev/sdc1 >>> mdadm /dev/md1 --fail /dev/sdc2 >>> mdadm /dev/md1 --remove /dev/sdc2 >>> >>> sdc - диск подключенный через usb 3.0 dock станцию. >>> >>> выключаю компьютер, >>> вынимаю sda,sdb оставляю только sdc, который выкинул из массива >>> >>> grub грузиться и даже с меню. >>> >>> Но после нажатия Enter на строке обычной загрузки системы или строке >>> восстановления системы - компьютер почти сразу уходит в ребут. >>> >>> Если загрузится с CD диска, то вижу следующее: >>> >>> cat /proc/mdstat >>> >>> md126 inactive sda2[2](S) >>> md127 inactive sda1[3](S) >> Ваша проблема почти наверняка связана с конфигурацией mdadm. На что >> стоит посмотреть: >> 1. Соответствию файла конфигурации в initrd и в /etc/mdadm. Если вы не >> выполняли принудительного обновления initrd после перестройки массива, >> то в initrd будет старая конфигурация, которая может не позволить >> собраться новому массиву. Рекомендуется после обновления массива >> делать update-initramfs -u. Это вроде должно решить и проблему 2 > > это ясно, что система может не грузиться т.к конфигурация в целом не > соотвествует тому что в ramfs, но > > мне кажется проблема зарыта глубже. > > Я проверил на синхронизированном массиве из 3-х дисков, т.е на > полностью рабочем массиве нормально выключил сервер. > и попробовал грузиться с каждого диска по отдельности. > > С двух дисков на которые ставилась система система нормально грузится. > > А с третьего добавленного после установки - нет. > > Т.е. с третьим диском получается следующее: > > Обычная загрузка системы - стала зависать на черном экране после выбора > ядра и Enter в grub. При этом Ctrl+Alt+Del работают > > Частично заработала загрузка в ramfs (Ранее было чистая перезагрузка > из-за не возможности монтирования битого корня). Частично - потому, что > загружается ядро, которое естественно читается с файловой системы для > /boot, т.е. /dev/md0 > > И все далее сообщение примерно такое: > > The system may have suffered a hardware fault such as a disk drive > failure. The root device may depend on the RAID devices being online. One > or more of the following RAID devices are degraded: > Personalities: ... > > md1. active raid1 sda2[0] > 243577664 blocks super 1.2 [3/1] [U__] > > md0. active raid1 sda2[0] > 487104 blocks super 1.2 [3/1] [U__] > > Attempting to start the RAID in degraded mode... > mdadm: CREATE user root not found > mdadm: CREATE group disk not found > Started the RAID in degraded mode. > > Это сообщение выводится бесконечно (примерно в 10 секунд) и до шелла > busybox дело не доходит. > > Возможно разница в том, как устанавливается загрузчик на третий диск. > > Возможно есть разница между тем: > 1. как его ставить на винт debian-installer > и > 2. ручным запуском из работающей системы на трех дисках в raid1 командой > grub-install /dev/третий_диск. > > Просто возникает закономерный вопрос: > Почему с двух дисков система из raid1 с тремя дисками грузится. > А с третьего добавленного вручную в процессе эксплуатации сервера к > зеркалу из двух винтов - НЕТ. > > Так как я эксперементирую и пятаюсь понять логику работы mdadm я решил > попробовать загрузить систему с одного из дисков при условии что > подключены остальные. > > При этом я сломал загрузку со тех двух дисков, с которых все грузилось > по отдельности, на которые система ставилась изначально. > > Т.е. ядро при загрузке что то изменило на всех дисках, и теперь, чтобы > загрузить старую систему мне нужно будет скорее всего создавать новый > массив, затирая суперблоки mdadm ))) > > Ну раз уж я все уже сломал, то решил попробовать поставить на эти диски > систему с нуля - т.е. сразу сделать зеркало из 3 дисков в инсталлере. > > Вставил флэшку с установщиком и вуаля черный экран. > > По есть по сути ядро отказывается грузится при подключенных дисках с > одинаковыми, но разрозненными массивами. Т.е. я же их все вместе включал > и система пришла в ступор - когда увидела три диска с абсолютно разными > "хвостами". > > Вот это уже интересней. > > Отчистил mbr-ы заново поставил систему по старой схеме mdadm+lvm. > > Попробовал загрузится та же песня с двух перезагрузка, с одного черный > экран с работающим Ctrl+Alt+Del. > > Несмотря на bootdegraded=true система отказывается запускатся в связи с > чем возникает закономерный вопрос: "К чему она предлагала мне на выбор(в > конце установки) два
Re: три диска в зеркале - как отсоединить один диск, чтобы файловые системы на нем были в консистентном состоянии без выключения компьютера?
28.11.2013 09:13, Alexander пишет: 28.11.2013, 08:55, "Vladimir Skubriev" : 27.11.2013 10:47, Mike Mironov пишет: 27.11.2013 09:48, Vladimir Skubriev пишет: ... Если конечно такое возможно. Три диска в зеркале - как отсоединить один диск, чтобы файловые системы на нем были в консистентном состоянии ? На рабочей системе с тремя дисками в raid1: sda1,sdb1,sdc1 = md0, /boot sda2,sdb2,sdc2 = md1, lvm pv с именем - sysraid with rootfs, home, var/log, var/lib/lxc and etc logical volumes of server делаю: grub-install /dev/sdc mdadm /dev/md0 --fail /dev/sdc1 mdadm /dev/md0 --remove /dev/sdc1 mdadm /dev/md1 --fail /dev/sdc2 mdadm /dev/md1 --remove /dev/sdc2 sdc - диск подключенный через usb 3.0 dock станцию. выключаю компьютер, вынимаю sda,sdb оставляю только sdc, который выкинул из массива grub грузиться и даже с меню. Но после нажатия Enter на строке обычной загрузки системы или строке восстановления системы - компьютер почти сразу уходит в ребут. Если загрузится с CD диска, то вижу следующее: cat /proc/mdstat md126inactivesda2[2](S) md127inactivesda1[3](S) Ваша проблема почти наверняка связана с конфигурацией mdadm. На что стоит посмотреть: 1. Соответствию файла конфигурации в initrd и в /etc/mdadm. Если вы не выполняли принудительного обновления initrd после перестройки массива, то в initrd будет старая конфигурация, которая может не позволить собраться новому массиву. Рекомендуется после обновления массива делать update-initramfs -u. Это вроде должно решить и проблему 2 это ясно, что система может не грузиться т.к конфигурация в целом не соотвествует тому что в ramfs, но мне кажется проблема зарыта глубже. Я проверил на синхронизированном массиве из 3-х дисков, т.е на полностью рабочем массиве нормально выключил сервер. и попробовал грузиться с каждого диска по отдельности. С двух дисков на которые ставилась система система нормально грузится. А с третьего добавленного после установки - нет. Т.е. с третьим диском получается следующее: Обычная загрузка системы - стала зависать на черном экране после выбора ядра и Enter в grub. При этом Ctrl+Alt+Del работают Частично заработала загрузка в ramfs (Ранее было чистая перезагрузка из-за не возможности монтирования битого корня). Частично - потому, что загружается ядро, которое естественно читается с файловой системы для /boot, т.е. /dev/md0 И все далее сообщение примерно такое: The system may have suffered a hardware fault such as a disk drive failure. The root device may depend on the RAID devices being online. One or more of the following RAID devices are degraded: Personalities: ... md1. active raid1 sda2[0] 243577664 blocks super 1.2 [3/1] [U__] md0. active raid1 sda2[0] 487104 blocks super 1.2 [3/1] [U__] Attempting to start the RAID in degraded mode... mdadm: CREATE user root not found mdadm: CREATE group disk not found Started the RAID in degraded mode. Это сообщение выводится бесконечно (примерно в 10 секунд) и до шелла busybox дело не доходит. Возможно разница в том, как устанавливается загрузчик на третий диск. Возможно есть разница между тем: 1. как его ставить на винт debian-installer и 2. ручным запуском из работающей системы на трех дисках в raid1 командой grub-install /dev/третий_диск. Просто возникает закономерный вопрос: Почему с двух дисков система из raid1 с тремя дисками грузится. А с третьего добавленного вручную в процессе эксплуатации сервера к зеркалу из двух винтов - НЕТ. Так как я эксперементирую и пятаюсь понять логику работы mdadm я решил попробовать загрузить систему с одного из дисков при условии что подключены остальные. При этом я сломал загрузку со тех двух дисков, с которых все грузилось по отдельности, на которые система ставилась изначально. Т.е. ядро при загрузке что то изменило на всех дисках, и теперь, чтобы загрузить старую систему мне нужно будет скорее всего создавать новый массив, затирая суперблоки mdadm ))) Ну раз уж я все уже сломал, то решил попробовать поставить на эти диски систему с нуля - т.е. сразу сделать зеркало из 3 дисков в инсталлере. Вставил флэшку с установщиком и вуаля черный экран. По есть по сути ядро отказывается грузится при подключенных дисках с одинаковыми, но разрозненными массивами. Т.е. я же их все вместе включал и система пришла в ступор - когда увидела три диска с абсолютно разными "хвостами". Вот это уже интересней. Отчистил mbr-ы заново поставил систему по старой схеме mdadm+lvm. Попробовал загрузится та же песня с двух перезагрузка, с одного черный экран с работающим Ctrl+Alt+Del. Несмотря на bootdegraded=true система отказывается запускатся в связи с чем возникает закономерный вопрос: "К чему она предлагала мне на выбор(в конце установки) два варианта грузиться и не грузиться если массив будет degraded?" Какова логика разработчиков. Кто знает ? Подскажите пожалуйста. 2. Соответствие конфигурации mdadm и реальных массивов. Возможны ситуации, когда вы перестроили м
