Re: NAS
On Fri, 7 Jul 2017, Stanislav Vlasov wrote: 7 июля 2017 г., 3:40 пользователь Andrey Jr. Melnikov написал: А на самом деле - даже простенький железный рейд с своим кешом и батарейкой даст прикурить софтовому рейду. HP Smart Array P410 достаточно простенький, чтоб всё ещё считаться железным рейдом? А то raid6 из 8 с ним давал порядка 100 МБ/сек при наличии батарейки, а raid6 mdadm на тех же дисках в том же сервере - порядка 400 МБ/сек. Числа странные, что первое, что второе. Но не суть важно. Вот довольно любопытная статья по поводу Software vs hardware RAID https://serverfault.com/questions/685289/software-vs-hardware-raid-performance-and-cache-usage Ю.
Re: NAS
7 июля 2017 г., 10:45 пользователь Sergey Matveev написал: >>А то raid6 из 8 с ним давал порядка 100 МБ/сек при наличии батарейки, >>а raid6 mdadm на тех же дисках в том же сервере - порядка 400 МБ/сек. > > Действительно, все тоже мне встречаемые железные RAID-ы, возможно кроме > очень дорогих и топовых, на RAID6 всегда были медленнее чем mdadm. RAID5 > вообще только XOR операцию использует, а вот RAID6 уже тяжёл и требует > процессора. Проблема в том, что с raid5 было примерно так же, хоть и не настолько большая разница была. Но от raid5 отказались из-за ненадёжности. -- Stanislav
Re: NAS
*** Stanislav Vlasov [2017-07-07 08:40]: >А то raid6 из 8 с ним давал порядка 100 МБ/сек при наличии батарейки, >а raid6 mdadm на тех же дисках в том же сервере - порядка 400 МБ/сек. Действительно, все тоже мне встречаемые железные RAID-ы, возможно кроме очень дорогих и топовых, на RAID6 всегда были медленнее чем mdadm. RAID5 вообще только XOR операцию использует, а вот RAID6 уже тяжёл и требует процессора. -- Sergey Matveev (http://www.stargrave.org/) OpenPGP: CF60 E89A 5923 1E76 E263 6422 AE1A 8109 E498 57EF
Re: NAS
On Fri, 7 Jul 2017, Andrey Jr. Melnikov wrote: А на самом деле - даже простенький железный рейд с своим кешом и батарейкой даст прикурить софтовому рейду. Мне кажется тут уже писали, но повторю простенькую мысль. Кроме производительности иногда еще важна надежность. Рейд на основе контроллера часто умирает вместе с контроллером. Вот только в мае переводил корзину на 24 диска на софт-райд, так как стало понятно, что за 10 лет, прошедших с момента покупки, доступность используемого контроллера на рынке стала практически нулевой. Если, не дай бог, с ним что-то случится, то головная боль по восстановлению данных будет невыносимой. С софт-рейдом я просто заменю его на какой-то другой. А производительность, да, страдает. На RAID6 это особенно заметно в моменты сборки рейда, проверки целостности и т.п. Причем это родовые особенности софт-рейда, процессор и память тут не при чем. Ю.
Re: NAS
7 июля 2017 г., 3:40 пользователь Andrey Jr. Melnikov написал: > А на самом деле - даже простенький железный рейд с своим кешом и батарейкой > даст прикурить софтовому рейду. HP Smart Array P410 достаточно простенький, чтоб всё ещё считаться железным рейдом? А то raid6 из 8 с ним давал порядка 100 МБ/сек при наличии батарейки, а raid6 mdadm на тех же дисках в том же сервере - порядка 400 МБ/сек. -- Stanislav
Re: NAS
> > А на самом деле - даже простенький железный рейд с своим кешом и батарейкой > даст прикурить софтовому рейду. > Это стереотипы - когда процессоры были медленными и ресурсов не хватало это все имело смысл, сейчас это все бестолковая трата денег. Я рейд контроллеры только для винды покупаю
Re: NAS
> > Зеркало в теории даст прирост на чтение в X раз, если **работать из X > потоков** на Х дисках. > надо рейд10 строить - тогда будет прирост. Я тестировал примерно пол года назад, правда у меня почему-то разваливался рейд10 собранный из ссд-эшек, при том, что рейд10 из обычных винтов без проблем работает
Re: NAS
artiom wrote: > 06.07.2017 19:39, Andrey Jr. Melnikov пишет: > > artiom wrote: > > > >> 2. Коробочка. > >> Для NAS вообще отдельно продаются коробки > > Коробка долна быть просторная и ВЕНТИЛИРУЕМАЯ. Домой ты себе RaidEdition > > диски ставить не будешь, а все остальные - очень не любят тепло. > > Терабайтный сигейт в домашнем гейтвее (стоит в шкафу - сушит всякое) > > загнулся примерно за год. > Сигейт мог загнуться и не от этого, но понятно, что достаточно просторная. Было бы в коробке градусов 30 - оно бы крутилось и крутилось, т.к. записи на него почти не производилось. > >> не на Али (оттуда доставлять дорого габаритные грузы)? > > Зависит от способа отправки. Тыщи за 3 могут и EMS'ом заслать. > > > Да, но это будет по цене равно половине цены коробки, плюс, это "коробка > в мешке", т.к. неизвестно что и в каком состоянии привезут. В нормальном. И "industrial pc" приезжали и мониторы. > >> 3. Железо. > >> - Покупать готовую железку не имеет смысла: дорого и > >> малопроизводительно. Так? > > Зависит от. Найди б/у'шный HP MicroServer Gen7/Gen8 - вот тебе и мать и > > коробка на 4 диска. > > > 4 - маловато, хотелось бы 8-10, на вырост. Ааа, так ты дома ЦОД собрался делать? Объясни мне - зачем 8 дырок? Ну предположим, тыщ за 5 можно на авито найти б/у адаптек на 8 дыр. И поставить туда 8 дисков по скажем 2Tb. Путем несложной математики 8 x 6600 = 52800 + 5000 за рейд - имеем 57000 денег за 4x2 = 8Tb (raid1) места. При том, что 2 диска по 8Tb - обойдутся 2 x 22820 = 45640. А теперь давай смотреть на питание - каждый диск жреть в пике под 2A по 12v - итого: ящик из 8 дисков - 16A + контроллер, который тоже не святым духом питается vs 2 диска - просто 4A. Это без учета всяких вентиляторов и прочей мелкой, но очень нужной требухи. > Но идея ясна. Я ещё коробки посмотрю в магазинах, у меня пока руки до > всего не доходят. Коробка на 8 дисков - называется "дисковая полка". Со всеми радостями в виде шума, размера и FC-коннекторов. > >> - Возможно купить коробку и поставить в неё китайский промышленный ПК в > >> корпусе. Выйдет мощнее за те же деньги. Чем плох этот вариант? > > Ага. И питальник нестандартный. И китайский пром-пк на каком-нить атоме > > древнем (но без охлаждения) или на мобильном i5-i7 - но с турбинкой, которая > > воет. Что там у нас еще осталось? Матери на j1900 - они почти все с родовым > > недостаком - 2 SATA порта. То, что продают китайцы на али - так там вобще 1 > > SATA порт. > > > В том и дело, что на i3-i7 без турбинки: > https://ru.aliexpress.com/item/Fanless-Mini-PC-Core-i5-4200U-i3-4010U-Industrial-Computer-2-COM-HDMI-VGA-Dual-Display/32760393174.html > Возможно использовать USB 3 вместо SATA, у этого варианта даже есть свои > плюсы, да и по пропускной способности интерфейс подходит. > Вариант? Не-а. Те-же 4 винта по 2 Tb, будут жрать суммарно в пике 4 ампера с USB3.0. Я как-то не уверен, что китацы не сэкономили на стабилизаторах питания. Плюс еще что-то жрет сам ящик - итого нужен промышленный блок питания на 12v ампер этак 6, а лучше 8. Плюс - вчитываемся в маркетинговый буллщит про USB3.0 и медленно понимаем, что 5 GBps - это мы теоретическую on wire скорость сказали (ну цифра то красивая, да?), а на самом деле - она порядка 4 Gbps (raw) за минусом 8b/10b помехоусточивого кодирования - получаем порядка 3.2 GBps. Тоже хорошо, (но вот тут мы тоже умолчали, зачем консумеру такие подробности?) - это скорость до хаба. А поскольку один хаб обслуживает 4 порта, то делим эти 3.2Gbps на количество активных портов. Но и это еще не всё - дальше зависит от китайцев, на какую PCI-E шину (x1/x2/x4/x8/x16) они посадили хаб. Если на 1x - то больше чем 250 Mb/s на контроллер ты никогда не увидишь. Да и из этих 250 Mb/s надо отсчитать производственные потери на корявый размер пакета - который в USB максимум 1024 байта. И на последок - USB винты достаточно агрессивно экономят электроэнергию, поэтому они паркуются при любом удобном случае и не сильно расчитаны на постоянную работу. Ты всё еще хочешь рэйд для бедных на USB винтах? ;)
Re: NAS
On 2017-07-07, Oleksandr Gavenko wrote: > Например RAID 5 из 5 шт. Запись 1 блока требует 4 паралельных чтения (место > куда писать не нужно считывать) и 2 паралельных записей (сами данные и > скоректированую парность), чтение может быть в 5 раз быстрее, это все в > теории... Неправда, достаточно 2 чтения - старое место + парность и 2 записи - новые даные и парность. -- http://defun.work/
Re: NAS
On 2017-07-06, Ivan Shmakov wrote: > > — RAID, кроме mirror, не дают повышения надёжности (упал диск — > > потерял часть данных, упал диск в рэйде — рейд может и не > > пересобраться, потеряются все данные, упало два — капут). Это верно? > > Все RAID, кроме RAID0, именно что повышают надежность. > (RAID0, напротив, повышает производительность в ущерб > надежности.) И все же Вы недоговариваете про скорость чтения, подчеркивая только "надежность". Зеркало в теории даст прирост на чтение в X раз, если **работать из X потоков** на Х дисках. https://superuser.com/questions/385519/does-raid1-increase-performance-with-linux-mdadm Т.к. на вертящихся дисках нету смысла последовательные данные читать с разных дисков то в `md` драйвере скорее всего не делали round robin для RAID 1. Хотя это уже имеет смысл для SSD носителей... Я подробностей не знаю и md может быть туповатый и не дать x2 даже при чтении двумя потоками... Также RAID 5 и 6 в зависимости от числа носителей дают буст в IOPS на чтение. Например RAID 5 из 5 шт. Запись 1 блока требует 4 паралельных чтения (место куда писать не нужно считывать) и 2 паралельных записей (сами данные и скоректированую парность), чтение может быть в 5 раз быстрее, это все в теории... Проверяют ли драйвера RAID на чтении в случае зеркала совпадение обоих блоков и в случае 5 / 6 - парность? Наверно чексумы эфективнее считать чем повышеное количество байтов ганять... Что скажет сообщество? -- http://defun.work/
Re: Стратегия поддержания резервных копий. Деградация носителей.
On 06/07/17 05:33 PM, Vasiliy P. Melnik wrote: > Такое впечатление, что у всех отсутствует возможность поставить себе > виртуальную машину и протестировать. > Ты прав, возможность есть, даже время запланировано. Приблизительно на следующей неделе. До той поры пытаюсь ответить на вопросы, которые буду задавать себе во время теста. На самом деле спасибо вам, ребята, что рассказываете про свой опыт. Это очень полезно.
Re: NAS
On 06/07/17 04:45 PM, Sergey Matveev wrote: > *** Tim Sattarov [2017-07-06 23:22]: >> Не, ну блин >> USB3 максимальная скорость 5Gbps >> SATA3 максимальная скорость 6Gbps > Ну для подключения одного жёсткого диска-то это как-раз не важно. > Сколько современные диски вытают скорость? > 150-200 MBps, а это 1.2-1.6 Gbps. Но если конечно несколько дисков > пойдут по одному "проводу", то тогда можно и упереться в 5-6 Gbps. > Тут наверное нужно больше упирать на то, что "чистых" USB дисков нет, есть USB-SATA адаптеры. разве что мы говорим о Flash drive, где реализован USB mass storage, предпочтительно USB attached SCSI. оверхед и трансляция протокола на адаптере. Если речь об одном диске - то какая разница :) хоть PATA.
Re: Стратегия поддержания резервных копий. Деградация носителей.
Такое впечатление, что у всех отсутствует возможность поставить себе виртуальную машину и протестировать. 7 июля 2017 г., 0:19 пользователь Tim Sattarov написал: > On 06/07/17 04:43 PM, Sergey Matveev wrote: > > *** Tim Sattarov [2017-07-06 23:04]: > >> сейчас я вижу требование о равных размерах томов и пересборке vdev. > > Не равных, а не меньших. И статья о том чтобы увеличить размер VDEV-а, > > сделать expand. Если в VDEV-е два терабайтных диска, то один можно > > заменить на 2TB, но размер VDEV останется всё-равно 1TB. Но если > > второй диск заменить на 2, то только тогда VDEV станет равным 2TB. В > > статье и говорится что нужно поочерёдно каждый диск в VDEV заменить на > > большего размера и только тогда место станет доступно. > > > А если там был RAIDZ ? и я в группу из 1ТБ дисков добавляю ещё один 2ТБ > Будет ли весь объём использован ? > Или, будет ли у меня возможность добавить две партиции по 1ТБ на этом > диске ? > не очень красиво, но по крайней мере функционально :) > >
Re: Стратегия поддержания резервных копий. Деградация носителей.
*** Tim Sattarov [2017-07-07 00:20]: >А если там был RAIDZ ? и я в группу из 1ТБ дисков добавляю ещё один 2ТБ >Будет ли весь объём использован ? Будет использован 1TB из него. Когда все диски будут заменены на 2TB, то тогда станет доступно по 2TB со всех сразу. >Или, будет ли у меня возможность добавить две партиции по 1ТБ на этом >диске ? Будет. ZFS пофиг что добавляется: диск ли это (sda) или партиция (sda1) или там какой-нибудь iSCSI или вообще просто путь до файла, который будет как-бы жёстким диском. -- Sergey Matveev (http://www.stargrave.org/) OpenPGP: CF60 E89A 5923 1E76 E263 6422 AE1A 8109 E498 57EF
Re: Стратегия поддержания резервных копий. Деградация носителей.
On 06/07/17 04:43 PM, Sergey Matveev wrote: > *** Tim Sattarov [2017-07-06 23:04]: >> сейчас я вижу требование о равных размерах томов и пересборке vdev. > Не равных, а не меньших. И статья о том чтобы увеличить размер VDEV-а, > сделать expand. Если в VDEV-е два терабайтных диска, то один можно > заменить на 2TB, но размер VDEV останется всё-равно 1TB. Но если > второй диск заменить на 2, то только тогда VDEV станет равным 2TB. В > статье и говорится что нужно поочерёдно каждый диск в VDEV заменить на > большего размера и только тогда место станет доступно. > А если там был RAIDZ ? и я в группу из 1ТБ дисков добавляю ещё один 2ТБ Будет ли весь объём использован ? Или, будет ли у меня возможность добавить две партиции по 1ТБ на этом диске ? не очень красиво, но по крайней мере функционально :)
Re: NAS
On Thu, 6 Jul 2017, artiom wrote: > — Один товарищ продвигал идею использовать USB 3.0 вместо SATA. > Хороша ли эта идея? Если у такого подхода и есть преимущества — мне о них неизвестно. Простая замена дисков, большое количество USB, питание в том же разъёме, и отсутствие необходимости в отдельном блоке питания (комп может быть запитан от 12 вольт). Тут как раз проблемы. Для раскрутки диска требуется неслабый ток - в пике до 1А для 2.5" дисков и до 2А для 3.5". По спецификации USB порт выдает 0.5A для USB2 и 0.9А для USB3. То что диски вообще работают в таких портах следствие того, что реально никто ток не ограничивает, а кратковременная перегрузка не так страшна. Тем не менее, бывало, что в USB2 внешний диск и не стартовал. Надежда, что несколько USB портов дадут больший ток иллюзорна. На практике, рядом стоящие порты сидят на одной ветке питания и делят ее между собой. Так что если больше 2 дисков, то скорее всего будут проблемы. Ю.
Re: NAS
*** Tim Sattarov [2017-07-06 23:22]: >Не, ну блин >USB3 максимальная скорость 5Gbps >SATA3 максимальная скорость 6Gbps Ну для подключения одного жёсткого диска-то это как-раз не важно. Сколько современные диски вытают скорость? 150-200 MBps, а это 1.2-1.6 Gbps. Но если конечно несколько дисков пойдут по одному "проводу", то тогда можно и упереться в 5-6 Gbps. -- Sergey Matveev (http://www.stargrave.org/) OpenPGP: CF60 E89A 5923 1E76 E263 6422 AE1A 8109 E498 57EF
Re: Стратегия поддержания резервных копий. Деградация носителей.
*** Tim Sattarov [2017-07-06 23:04]: >это может быть я выдаю желаемое за действительное, но моё понимание >было, что ZFS работает с JBOD на бэкенде и собирает массивы дисков, так >же как LVM. Что-то типа того. >сейчас я вижу требование о равных размерах томов и пересборке vdev. Не равных, а не меньших. И статья о том чтобы увеличить размер VDEV-а, сделать expand. Если в VDEV-е два терабайтных диска, то один можно заменить на 2TB, но размер VDEV останется всё-равно 1TB. Но если второй диск заменить на 2, то только тогда VDEV станет равным 2TB. В статье и говорится что нужно поочерёдно каждый диск в VDEV заменить на большего размера и только тогда место станет доступно. >делаю я ноду в AWS, скажем с четырьмя терабайтными дисками и страйпом. >вопрос номер раз: как делать страйп ? все диски в один VDEV ? или лучше >каждый диск в свой VDEV и потом его в страйп на уровне zpool ? Pool это, грубо говоря, RAID0, stripe. Каждый VDEV это stripe элемент. Поэтому сделать stripe можно только добавив каждый диск как отдельный VDEV. Из коробки это собственно и делается проще всего: zpool create mypool da0 da1 da2 da3 -- stripe из четырёх дисков. Внутри VDEV-а можно сделать только mirror или raidz. >Хочу ускорить доступ к данным и пользоваться ephemeral SSD, напрямую >подсоединенному к хосту (супротив остальных дисков, которые HDD и вообще >говоря сетевые). В силу эфемерности SSD диска, каждая холодная >перезагрузка (power cycle) его обнуляет. >Где хранится информация, что /dev/xvdf надо использовать как кэш ? >на самом диске или вне его ? >насколько просто и быстро добавить обнулённый диск, нужна ли какая то >инициализация ? РАз ускорить и использовать SSD, то это значит добавление cache диска, L2ARC, в терминах ZFS. Вот насчёт таких кэшей не знаю точно, вряд ли тут особенность, но в ZFS полностью вся конфигурация хранится на самих дисках, на всех членах pool-а. Сам не делал, но думаю что после перезагрузки zpool status скажет что один из дисков, который cache, недоступен. По идее достаточно будет сделать zpool replace mypool blablabla-diskid /dev/xvdv -- то есть сказать чтобы он заменил отсутствующий диск. Раз это кэш, то никакого resilvering не надо и он сразу должен быть в строю. Отсутствующий диск в зеркале или raidz заменяется этой же командой, но для них уже делается resilvering, который равносилен переносу всех полезных данных на новый диск. >Когда я решу увеличить размер пула, можно ли просто добавить весь набор >новых дисков ? То есть были 4 по терабайту, добавляю 4 по 2 ТБ и после >синхронизации удаляю старые 1ТБ. Да, это делается без проблем. Причём добавить их можно сразу все пачкой, не дожидаясь resilvering-а на каждый по отдельности последовательно. Одно но: zpool по-умолчанию имеет (в FreeBSD, по крайней мере) zpool set autoexpand=off и после добавления дисков, zpool status покажет в столбце EXPANDSZ размер до которого можно expand-ить pool. Expand, судя по man, делается zpool online -e командой, но я, если честно, уже забыл как точно, ибо делал один раз. >Куда лучше добавлять, в существующий VDEV или создавать новый ? А если >каждый диск был отдельным VDEV ? Создать новый VDEV можно только добавив его в pool. А это равносильно добавлению stripe диска. VDEV из pool-а невозможно "вытащить", так же как и диск из RAID0! Если вы сделаете zpool add, то ни старый диск, ни новый уже нельзя будет достать. Я так один раз (по незнанию) вместо zpool attach сделал zpool add и пришлось zfs send-ом сбрасывать все данные на третий диск и с нуля создавать массив, zfs recv-ом восстанавливая данные. Тут только zpool attach-ем можно делать. Если каждый диск был отдельным VDEV, то значит каждый новый диск добавить по одному к своему VDEV-у. То есть должно получится 4 VDEV-а, как и прежде, в каждом из которых по два диска. После resilvering-а, каждый старый диск можно из каждого VDEV-а zpool detach-ем убрать. zpool add -- добавление stripe VDEV-а zpool create mypool da0 da1 -- создание mypool с stripe из двух дисков zpool attach -- добавление зеркала в текущий vdev zpool create mypool mirror da0 da1 mirror da2 da3 -- создание mypool с stripe из двух зеркал (da0+da1 и da2+da3) zpool create mypool raidz1 da0 da1 da2 raidz2 da3 da4 da5 da6 mirror da7 da8 da9-- создание mypool с stripe из трёх элементов: raidz1 с тремя дисками (0/1/2), с raidz2 с четыремя (3/4/5/6) и зеркалом из трёх дисков. Добавлять VDEV в zpool можно и позже, когда угодно. -- Sergey Matveev (http://www.stargrave.org/) OpenPGP: CF60 E89A 5923 1E76 E263 6422 AE1A 8109 E498 57EF
Re: NAS
On 06/07/17 03:45 PM, artiom wrote: > но убедительных аргументов в пользу сата я не смог найти. Не, ну блин USB3 максимальная скорость 5Gbps SATA3 максимальная скорость 6Gbps Плюс если ты подключаешь SATA диск через USB то в итоге используешь USB-SATA адаптер, разве что, ты не подключаешь флэшки на терабайт через один хаб. Не проверял, но вроде бы ещё отличается набор команд, которыми оперирует USB Mass Storage и SATA протоколы, в пользу SATA.
Re: Стратегия поддержания резервных копий. Деградация носителей.
On 06/07/17 03:18 PM, Sergey Matveev wrote: > *** Tim Sattarov [2017-07-06 21:21]: >>> Если это RAIDZ1 -- то zpool status скажет что потенциально "массив" в >>> опасности, вставьте диск чтобы на него произошёл resilvering и не было >>> страшно. Если RAIDZ2/3, то 2-3 диска аналогично. Если что-то вылетает, >>> то в системе, с точки зрения user-space, абсолютно ничего не происходит, >>> всё прозрачно и никто кроме zpool не знает что что-то не так. >> А как это соотносится с вот таким взглядом на "удобства" ZFS ? >> >> http://louwrentius.com/the-hidden-cost-of-using-zfs-for-your-home-nas.html > А что тут про соотношение? Статья по ссылке расказывает про то, как > увеличить место в pool-е, как добавлять жёсткие диски к нему. У меня > написано про замену дисков в pool-е, когда они выходят из строя -- там > можно добавлять какой угодно диск, лишь бы был не меньшего размера, а > resilvering на него пройдёт. я пытаюсь понять все за и против, это может быть я выдаю желаемое за действительное, но моё понимание было, что ZFS работает с JBOD на бэкенде и собирает массивы дисков, так же как LVM. сейчас я вижу требование о равных размерах томов и пересборке vdev. Может было бы проще озвучить своё понимание и сценарий который у меня в голове :) делаю я ноду в AWS, скажем с четырьмя терабайтными дисками и страйпом. вопрос номер раз: как делать страйп ? все диски в один VDEV ? или лучше каждый диск в свой VDEV и потом его в страйп на уровне zpool ? Вопрос номер два: Хочу ускорить доступ к данным и пользоваться ephemeral SSD, напрямую подсоединенному к хосту (супротив остальных дисков, которые HDD и вообще говоря сетевые). В силу эфемерности SSD диска, каждая холодная перезагрузка (power cycle) его обнуляет. Где хранится информация, что /dev/xvdf надо использовать как кэш ? на самом диске или вне его ? насколько просто и быстро добавить обнулённый диск, нужна ли какая то инициализация ? Ну и вопрос намбер три: Когда я решу увеличить размер пула, можно ли просто добавить весь набор новых дисков ? То есть были 4 по терабайту, добавляю 4 по 2 ТБ и после синхронизации удаляю старые 1ТБ. Куда лучше добавлять, в существующий VDEV или создавать новый ? А если каждый диск был отдельным VDEV ? Вопросов много, пока что больше чем ответов. Буду благодарен, если сможешь на них ответить. > > В статье сказано всё верно. В ваших руках компромисс между теряемым > местом в пределах одного VDEV (сколько дисков вы хотите за "раз" > объединить в один RAIDZ) и количеством VDEV-ов внутри одного pool. Вы > можете сделать pool с 1 vdev-ом RAIDZ из 8 дисков, либо pool из 2-х > vdev-ов, в каждом из которых по четыре диска. В первом случае, как в > статье сказано, вам нужно будет заменить все 8 дисков, чтобы увеличить > место, а во втором достаточно только половину, чтобы увеличить один из > vdev-ов. Позже всегда можно будет заменить диски внутри и второго vdev-а. > > vdev это один "уровень" RAID, а объединение vdev-ов в pool это второй, > striping. Это если в терминах классических RAID-ов. ZFS получается из > коробки сразу же двухуровневый RAID. > Спасибо Тимур
Re: NAS
06.07.2017 22:51, Sergey Matveev пишет: > У меня только мой опыт есть в этом вопросе и я не задумываясь бы, при > схожей цене, делал бы SATA. Помнится, была даже *серверная* Intel плата, > но, правда, с ещё 32-х битным процессором, довольно старая, и там USB > устройства просто время от времени отключались и подключались снова > (судя по сообщениям в dmesg). Аналогично было с подключением дисков к > десктопным материнкам или ноутбучным. Не исключено что проблемы были в > SATA<->USB контейнере, хотя их поменялось три. Без нагрузки, работало > сносно, а как дать активные IO операции, так слетало. SATA для меня > прост: или работает или нет (если провода/контакты в порядке, такое > бывало). Плюс, насколько понимаю, USB подсистема жрёт больше CPU > ресурсов в ядре, чем SATA. Ok, контуры NAS потихоньку прорисовываются.
Re: NAS
*** artiom [2017-07-06 22:46]: >А тут не вопрос скупости: стоить это будет примерно одинаково. >Скорее, целесообразность. Потому, что мне решение с юсб, хоть и >показалось маргинальным, но убедительных аргументов в пользу сата я не >смог найти. У меня только мой опыт есть в этом вопросе и я не задумываясь бы, при схожей цене, делал бы SATA. Помнится, была даже *серверная* Intel плата, но, правда, с ещё 32-х битным процессором, довольно старая, и там USB устройства просто время от времени отключались и подключались снова (судя по сообщениям в dmesg). Аналогично было с подключением дисков к десктопным материнкам или ноутбучным. Не исключено что проблемы были в SATA<->USB контейнере, хотя их поменялось три. Без нагрузки, работало сносно, а как дать активные IO операции, так слетало. SATA для меня прост: или работает или нет (если провода/контакты в порядке, такое бывало). Плюс, насколько понимаю, USB подсистема жрёт больше CPU ресурсов в ядре, чем SATA. -- Sergey Matveev (http://www.stargrave.org/) OpenPGP: CF60 E89A 5923 1E76 E263 6422 AE1A 8109 E498 57EF
Re: NAS
06.07.2017 22:37, Sergey Matveev пишет: > *** artiom [2017-07-06 22:28]: >> Возможно использовать USB 3 вместо SATA, у этого варианта даже есть свои >> плюсы, да и по пропускной способности интерфейс подходит. >> Вариант? > > Лично я на всяком железе (не серверном, "простом" домашнем) делал не раз > всякие простые шлюзы в Интернет и NAS-ы, но всегда так случалось что > работает оно, как бы, нестабильно. Бывает что USB устройство отвалится и > снова появится. Лично я вот для себя уяснил что скупой платит дважды :-), > и я бы не стал делать на USB ничего, разве что загрузиться с неё например. > Но это лично мой опыт -- USB фигово работает, а SATA без проблем. > А тут не вопрос скупости: стоить это будет примерно одинаково. Скорее, целесообразность. Потому, что мне решение с юсб, хоть и показалось маргинальным, но убедительных аргументов в пользу сата я не смог найти.
Re: NAS
*** artiom [2017-07-06 22:28]: >Возможно использовать USB 3 вместо SATA, у этого варианта даже есть свои >плюсы, да и по пропускной способности интерфейс подходит. >Вариант? Лично я на всяком железе (не серверном, "простом" домашнем) делал не раз всякие простые шлюзы в Интернет и NAS-ы, но всегда так случалось что работает оно, как бы, нестабильно. Бывает что USB устройство отвалится и снова появится. Лично я вот для себя уяснил что скупой платит дважды :-), и я бы не стал делать на USB ничего, разве что загрузиться с неё например. Но это лично мой опыт -- USB фигово работает, а SATA без проблем. -- Sergey Matveev (http://www.stargrave.org/) OpenPGP: CF60 E89A 5923 1E76 E263 6422 AE1A 8109 E498 57EF
Re: NAS
06.07.2017 20:57, Ivan Shmakov пишет: >> artiom writes: > > (Не то, чтобы у меня был большой опыт администрирования NAS, RAID > и подобного, но…) > > […] > > > 1. Диски. — Я посмотрел и выяснил, что стоимость мегабайта обратно > > пропорциональна объёму диска. Это верно? — Но менять диск на 6 Тб > > гораздо дороже, чем диск на 3 Тб, а в случае поломки, менять диск > > придётся. — Какие диски лучше использовать (объём, марка)? Был обзор > > со статистикой, вроде как Хитачи отказывают меньше всех. Так? > > > — Один товарищ продвигал идею использовать USB 3.0 вместо SATA. > > Хороша ли эта идея? > > Если у такого подхода и есть преимущества — мне о них > неизвестно. > Простая замена дисков, большое количество USB, питание в том же разъёме, и отсутствие необходимости в отдельном блоке питания (комп может быть запитан от 12 вольт). > FTR, SATA изначально разрабатывалась с поддержкой «горячей > замены» — вплоть до физического уровня (e. g., удлиненные > контакты для «общего» провода.) На практике, иные носители > бывало переподключал к машинам по нескольку раз на дню; > без каких-либо проблем — программных или аппаратных. > Ok, учту. Но питание ещё имеется. Там разъёмы другие. > […] > > > — Аппаратные RAID контроллеры могут быть лишь дорогими, либо это те > > же самые программные и вместо них лучше использовать обычный > > программный RAID, предоставляемый ОС. Это верно? > > Я так полагаю, аппаратный RAID5/RAID6 для дома легко выйдет за > любой разумный бюджет. > Ну это уже выяснили, да и, я так понял, не нужен он. Кроме того, что отвалить $500-$1k только за контроллер я не готов, так он ещё и не особенно нужен. Отказался от рэйдов в пользу ZFS. > > — RAID, кроме mirror, не дают повышения надёжности (упал диск — > > потерял часть данных, упал диск в рэйде — рейд может и не > > пересобраться, потеряются все данные, упало два — капут). Это верно? > > Все RAID, кроме RAID0, именно что повышают надежность. > (RAID0, напротив, повышает производительность в ущерб > надежности.) > Товарищ занимался разработкой контроллеров для рэйдов, и говорил, что это не совсем так: рэйд добавляет точки отказа. > > — Mirror — слишком дорого, не стоит его ставить на домашний NAS? > > RAID1 требует двух устройств, так что он, в некотором смысле, > наименее дорогой. RAID5 требует не менее трех; RAID6 — не менее > четырех. OTOH, «накладные расходы» у них меньше: объем > «избыточных» данных для RAID1 составляет половину от суммарного > объема массива; для RAID5 — не более трети (1/N, где N — > количество дисков); для RAID4 — не более половины (2/N.) > > […] > Короче: ZFS.
Re: В stretch отсутствует virtualbox
23.06.2017 17:13, Grigory Fateyev пишет: > А в чём проблема подключить репозиторий самого virtualbox и поставить > оттуда? В доверии к работникам Oracle. В частности, в доверии к тому, что они не накосячат и не положат в репозиторий пакетов, конфликтующих с основным репозиторием Debian. Странная логика. Пользоваться программой Oracle не боитесь, а вот собранным ими же пакетом, боитесь. Но да ладно, не моё это дело. :) Как оказалось, есть ещё одна проблема: в репозитории virtualbox.org нет гостевых модулей, т.е. того, что лежит в пакете virtualbox-guest-dkms. Модули для хоста есть, а для гостя - отсутствуют. Без этого не работают, например, общие каталоги и интеграция дисплея. -- Alexander Galanin
Re: NAS
06.07.2017 19:39, Andrey Jr. Melnikov пишет: > artiom wrote: > >> 2. Коробочка. >> Для NAS вообще отдельно продаются коробки > Коробка долна быть просторная и ВЕНТИЛИРУЕМАЯ. Домой ты себе RaidEdition > диски ставить не будешь, а все остальные - очень не любят тепло. > Терабайтный сигейт в домашнем гейтвее (стоит в шкафу - сушит всякое) > загнулся примерно за год. > Сигейт мог загнуться и не от этого, но понятно, что достаточно просторная. >> не на Али (оттуда доставлять дорого габаритные грузы)? > Зависит от способа отправки. Тыщи за 3 могут и EMS'ом заслать. > Да, но это будет по цене равно половине цены коробки, плюс, это "коробка в мешке", т.к. неизвестно что и в каком состоянии привезут. >> 3. Железо. >> - Покупать готовую железку не имеет смысла: дорого и >> малопроизводительно. Так? > Зависит от. Найди б/у'шный HP MicroServer Gen7/Gen8 - вот тебе и мать и > коробка на 4 диска. > 4 - маловато, хотелось бы 8-10, на вырост. Но идея ясна. Я ещё коробки посмотрю в магазинах, у меня пока руки до всего не доходят. >> - Возможно купить коробку и поставить в неё китайский промышленный ПК в >> корпусе. Выйдет мощнее за те же деньги. Чем плох этот вариант? > Ага. И питальник нестандартный. И китайский пром-пк на каком-нить атоме > древнем (но без охлаждения) или на мобильном i5-i7 - но с турбинкой, которая > воет. Что там у нас еще осталось? Матери на j1900 - они почти все с родовым > недостаком - 2 SATA порта. То, что продают китайцы на али - так там вобще 1 > SATA порт. > В том и дело, что на i3-i7 без турбинки: https://ru.aliexpress.com/item/Fanless-Mini-PC-Core-i5-4200U-i3-4010U-Industrial-Computer-2-COM-HDMI-VGA-Dual-Display/32760393174.html?spm=2114.13010308.0.0.IAmeaa&aff_platform=aaf&cpt=1488189260576&aff_trace_key=507ac0faeb6d4bb68152e467860f5cba-1488189260576-01893-zj6qB6AIM&aff_platform=aaf&cpt=1488189261398&sk=zj6qB6AIM&aff_trace_key=507ac0faeb6d4bb68152e467860f5cba-1488189261398-09148-zj6qB6AIM Возможно использовать USB 3 вместо SATA, у этого варианта даже есть свои плюсы, да и по пропускной способности интерфейс подходит. Вариант?
Re: Стратегия поддержания резервных копий. Деградация носителей.
*** Tim Sattarov [2017-07-06 21:21]: >> Если это RAIDZ1 -- то zpool status скажет что потенциально "массив" в >> опасности, вставьте диск чтобы на него произошёл resilvering и не было >> страшно. Если RAIDZ2/3, то 2-3 диска аналогично. Если что-то вылетает, >> то в системе, с точки зрения user-space, абсолютно ничего не происходит, >> всё прозрачно и никто кроме zpool не знает что что-то не так. >А как это соотносится с вот таким взглядом на "удобства" ZFS ? > >http://louwrentius.com/the-hidden-cost-of-using-zfs-for-your-home-nas.html А что тут про соотношение? Статья по ссылке расказывает про то, как увеличить место в pool-е, как добавлять жёсткие диски к нему. У меня написано про замену дисков в pool-е, когда они выходят из строя -- там можно добавлять какой угодно диск, лишь бы был не меньшего размера, а resilvering на него пройдёт. В статье сказано всё верно. В ваших руках компромисс между теряемым местом в пределах одного VDEV (сколько дисков вы хотите за "раз" объединить в один RAIDZ) и количеством VDEV-ов внутри одного pool. Вы можете сделать pool с 1 vdev-ом RAIDZ из 8 дисков, либо pool из 2-х vdev-ов, в каждом из которых по четыре диска. В первом случае, как в статье сказано, вам нужно будет заменить все 8 дисков, чтобы увеличить место, а во втором достаточно только половину, чтобы увеличить один из vdev-ов. Позже всегда можно будет заменить диски внутри и второго vdev-а. vdev это один "уровень" RAID, а объединение vdev-ов в pool это второй, striping. Это если в терминах классических RAID-ов. ZFS получается из коробки сразу же двухуровневый RAID. -- Sergey Matveev (http://www.stargrave.org/) OpenPGP: CF60 E89A 5923 1E76 E263 6422 AE1A 8109 E498 57EF
Re: Стратегия поддержания резервных копий. Деградация носителей.
On 24/06/17 05:28 AM, Sergey Matveev wrote: > > Если это RAIDZ1 -- то zpool status скажет что потенциально "массив" в > опасности, вставьте диск чтобы на него произошёл resilvering и не было > страшно. Если RAIDZ2/3, то 2-3 диска аналогично. Если что-то вылетает, > то в системе, с точки зрения user-space, абсолютно ничего не происходит, > всё прозрачно и никто кроме zpool не знает что что-то не так. А как это соотносится с вот таким взглядом на "удобства" ZFS ? http://louwrentius.com/the-hidden-cost-of-using-zfs-for-your-home-nas.html > Now it's very important to understand that you /cannot add hard drives to a VDEV/. > This is the key limitation of ZFS as seen from the perspective of home NAS builders. > To expand the storage capacity of your pool, you need to add extra VDEVs. And because each VDEV needs to take care of its own redundancy, you also need to buy extra drives for parity.
Re: NAS
> artiom writes: (Не то, чтобы у меня был большой опыт администрирования NAS, RAID и подобного, но…) […] > 1. Диски. — Я посмотрел и выяснил, что стоимость мегабайта обратно > пропорциональна объёму диска. Это верно? — Но менять диск на 6 Тб > гораздо дороже, чем диск на 3 Тб, а в случае поломки, менять диск > придётся. — Какие диски лучше использовать (объём, марка)? Был обзор > со статистикой, вроде как Хитачи отказывают меньше всех. Так? > — Один товарищ продвигал идею использовать USB 3.0 вместо SATA. > Хороша ли эта идея? Если у такого подхода и есть преимущества — мне о них неизвестно. FTR, SATA изначально разрабатывалась с поддержкой «горячей замены» — вплоть до физического уровня (e. g., удлиненные контакты для «общего» провода.) На практике, иные носители бывало переподключал к машинам по нескольку раз на дню; без каких-либо проблем — программных или аппаратных. […] > — Аппаратные RAID контроллеры могут быть лишь дорогими, либо это те > же самые программные и вместо них лучше использовать обычный > программный RAID, предоставляемый ОС. Это верно? Я так полагаю, аппаратный RAID5/RAID6 для дома легко выйдет за любой разумный бюджет. > — RAID, кроме mirror, не дают повышения надёжности (упал диск — > потерял часть данных, упал диск в рэйде — рейд может и не > пересобраться, потеряются все данные, упало два — капут). Это верно? Все RAID, кроме RAID0, именно что повышают надежность. (RAID0, напротив, повышает производительность в ущерб надежности.) > — Mirror — слишком дорого, не стоит его ставить на домашний NAS? RAID1 требует двух устройств, так что он, в некотором смысле, наименее дорогой. RAID5 требует не менее трех; RAID6 — не менее четырех. OTOH, «накладные расходы» у них меньше: объем «избыточных» данных для RAID1 составляет половину от суммарного объема массива; для RAID5 — не более трети (1/N, где N — количество дисков); для RAID4 — не более половины (2/N.) […] -- FSF associate member #7257 np. Delta – Main Theme remix — moonove 230E 334A
Re: NAS
artiom wrote: > 2. Коробочка. > Для NAS вообще отдельно продаются коробки Коробка долна быть просторная и ВЕНТИЛИРУЕМАЯ. Домой ты себе RaidEdition диски ставить не будешь, а все остальные - очень не любят тепло. Терабайтный сигейт в домашнем гейтвее (стоит в шкафу - сушит всякое) загнулся примерно за год. > не на Али (оттуда доставлять дорого габаритные грузы)? Зависит от способа отправки. Тыщи за 3 могут и EMS'ом заслать. > 3. Железо. > - Покупать готовую железку не имеет смысла: дорого и > малопроизводительно. Так? Зависит от. Найди б/у'шный HP MicroServer Gen7/Gen8 - вот тебе и мать и коробка на 4 диска. > - Возможно купить коробку и поставить в неё китайский промышленный ПК в > корпусе. Выйдет мощнее за те же деньги. Чем плох этот вариант? Ага. И питальник нестандартный. И китайский пром-пк на каком-нить атоме древнем (но без охлаждения) или на мобильном i5-i7 - но с турбинкой, которая воет. Что там у нас еще осталось? Матери на j1900 - они почти все с родовым недостаком - 2 SATA порта. То, что продают китайцы на али - так там вобще 1 SATA порт.
Re: zfs on linux
On 07/06/17 17:31, Dmitry Kulagin wrote: > Может grub-pc из Stretch попробовать?.. Попробовал. Результат почти тот же -- разница только в том, что теперь актуальные чексуммы -- сплошные нули. В принципе, ожидаемо, ибо версия груба та же, только в стейбле бета3.
Re: zfs on linux
06.07.2017 16:31, Alex Kicelew пишет: On 07/06/17 15:41, Dmitry Kulagin wrote: zfs send|receive переносил установку на еще 9, соответственно процедура создания пулов, фс и установка grub прошла 10 раз без проблем, загружался и устанавливал с флешки, на которой был То, что проблема возникает не всегда, радует. Но интересно, как с ней бороться, если она возникла. :) Может grub-pc из Stretch попробовать?..
Re: zfs on linux
On 07/06/17 15:41, Dmitry Kulagin wrote: > zfs send|receive переносил установку на еще 9, соответственно > процедура создания пулов, фс и установка grub прошла 10 раз > без проблем, загружался и устанавливал с флешки, на которой был То, что проблема возникает не всегда, радует. Но интересно, как с ней бороться, если она возникла. :) > А Вы старый диск заного переразбивали или новый, чистый? Для старого > иногда надо перезагружаться, если его какой-нибудь udisk2 или аналог > зацепит? Новый. До перезагрузки пока не дошло -- груб не прописывается.
Re: Стратегия поддержания резервных копий. Деградация носителей.
On 2017-06-23, Oleksandr Gavenko wrote: > Флешки тоже дохнут. Стандартные заявления - 10 лет заряд стекает с > транзистора. Полезное видео про SSD носители, MLC, TLC и over provisioning: https://www.youtube.com/watch?v=-XZNr7mS0iw Вывод - нужно держать минимум 10% места свободным на носителе. А лучше 20%. -- http://defun.work/
Re: zfs on linux
2 месяца назад устанавливал по этому хелпу Debian Stretch (на тот момент testing) на первую машину, а потом с помощью zfs send|receive переносил установку на еще 9, соответственно процедура создания пулов, фс и установка grub прошла 10 раз без проблем, загружался и устанавливал с флешки, на которой был установлен все тот же, текущий на тот момент, Stretch. Во время установки столкнулся с единственной проблемой: из-за systemd невозможно было отмонтировать новый корень, он почему-то его не отпускал, поэтому приходилось после перезагрузки, снова загружаться с флешки и делать: zpool import rpool zpool export rpool и перегружаться снова уже в новую систему. Кстати, примерно год назад или больше в тестинге zfs + systemd комбинация была вообще сломана: при перезагрузки системы zfs вообще не отмонтировали, интересно, как оно в Jessie+backports? А Вы старый диск заного переразбивали или новый, чистый? Для старого иногда надо перезагружаться, если его какой-нибудь udisk2 или аналог зацепит? 06.07.2017 13:19, Alex Kicelew пишет: Hi А есть ли кто-нибудь, сидящий на сабже? Попробовал установить по https://github.com/zfsonlinux/zfs/wiki/Debian-Jessie-Root-on-ZFS, столкнулся с проблемой. Отличия моей конфигурации от хаутушки: у меня отродясь на ноуте тестинг, кроме того, сейчас он уже поверх stretch, а не jessy, как в хауту, поэтому не делал никаких танцев с бубном вокруг jessie-backports, взял zfs-dkms и zfs-initramfs из тестинга, груб оттуда же по умолчанию. Кроме того, я не ставил систему с нуля, а полностью скопировал ее рсинком с рабочей. Все остальное по хауту. Проблема: Диск разбился, пул сгенерировался, фс создались, рсинк прошел. Но далее по хауту (после рбайндов живых фс и чрута) должно быть: # grub-probe / zfs у меня же возвращается: # grub-probe / grub-probe: error: unknown filesystem. -vvv выдает: # grub-probe -vvv /new 2>&1 | grep -i zfs grub-core/kern/fs.c:56: Detecting zfs... grub-core/fs/zfs/zfs.c:1192: label ok 0 grub-core/fs/zfs/zfs.c:1007: check 2 passed grub-core/fs/zfs/zfs.c:1018: check 3 passed grub-core/fs/zfs/zfs.c:1025: check 4 passed grub-core/fs/zfs/zfs.c:1035: check 6 passed grub-core/fs/zfs/zfs.c:1043: check 7 passed grub-core/fs/zfs/zfs.c:1054: check 8 passed grub-core/fs/zfs/zfs.c:1064: check 9 passed grub-core/fs/zfs/zfs.c:1086: check 11 passed grub-core/fs/zfs/zfs.c:1112: check 10 passed grub-core/fs/zfs/zfs.c:1128: str=com.delphix:hole_birth grub-core/fs/zfs/zfs.c:1128: str=com.delphix:embedded_data grub-core/fs/zfs/zfs.c:1137: check 12 passed (feature flags) grub-core/fs/zfs/zfs.c:1878: zio_read: E 0: size 2048/2048 grub-core/fs/zfs/zfs.c:1899: endian = -1 grub-core/fs/zfs/zfs.c:595: dva=8, 1908c4f8 grub-core/fs/zfs/zfs.c:442: checksum fletcher4 verification failed grub-core/fs/zfs/zfs.c:447: actual checksum 0082598c98ea 88a0c7f16104 005d0b808f380960 2f51aa5e372675ef grub-core/fs/zfs/zfs.c:452: expected checksum 0004f5f43504 09254c38ba95 00087352d4a8f77f 0537bd0ed13060ad grub-core/fs/zfs/zfs.c:1922: incorrect checksum grub-core/kern/fs.c:78: zfs detection failed. Гугление показало, что проблема известна с 12 года и тогда же запатчена. А потом запатчена в 14. Но вплоть по 16 год встречаются сообщения с той же проблемой и с вопросом: а делать-то че? Насколько я понял, проблема может возникнуть на ровном месте при очередном апдейте, приведшем к перегенерации загрузочной информации. scrub ее не лечит (у меня просто не видит -- диск чистый), от типа чексумм, вроде, тоже не зависит (у меня, правда, по умолчанию тот же флетчер4, но в нагуглившихся репортах народ недоумевает: какой, нафиг, флетчер, если у меня везде sha-256). Вопрос: сталкивался ли кто-нибудь с такой проблемой и известно ли, как ее гарантированно вылечить (кроме встречающихся иногда (причем я не понял, приведших ли к успеху) советов пересоздать пул, что в реальной жизни не вариант)? Или же получается, что zfs на линухе пока что нежизнеспособен? На всякий случай: zfs-dkms 0.6.5.9-5 grub-pc 2.02-1
Re: Программа для работы с текстовыми файлами
В Thu, 6 Jul 2017 16:36:53 +0700 "sedov...@yandex.ru" пишет: > Есть ли в дистрибутиве debian программа, которая по регулярному > выражению, может вытащить из текстового файла: 1. нужные слова; 2. > строку начинающуюся с нужного слова? > grep помог. Всем спасибо.
zfs on linux
Hi А есть ли кто-нибудь, сидящий на сабже? Попробовал установить по https://github.com/zfsonlinux/zfs/wiki/Debian-Jessie-Root-on-ZFS, столкнулся с проблемой. Отличия моей конфигурации от хаутушки: у меня отродясь на ноуте тестинг, кроме того, сейчас он уже поверх stretch, а не jessy, как в хауту, поэтому не делал никаких танцев с бубном вокруг jessie-backports, взял zfs-dkms и zfs-initramfs из тестинга, груб оттуда же по умолчанию. Кроме того, я не ставил систему с нуля, а полностью скопировал ее рсинком с рабочей. Все остальное по хауту. Проблема: Диск разбился, пул сгенерировался, фс создались, рсинк прошел. Но далее по хауту (после рбайндов живых фс и чрута) должно быть: # grub-probe / zfs у меня же возвращается: # grub-probe / grub-probe: error: unknown filesystem. -vvv выдает: # grub-probe -vvv /new 2>&1 | grep -i zfs grub-core/kern/fs.c:56: Detecting zfs... grub-core/fs/zfs/zfs.c:1192: label ok 0 grub-core/fs/zfs/zfs.c:1007: check 2 passed grub-core/fs/zfs/zfs.c:1018: check 3 passed grub-core/fs/zfs/zfs.c:1025: check 4 passed grub-core/fs/zfs/zfs.c:1035: check 6 passed grub-core/fs/zfs/zfs.c:1043: check 7 passed grub-core/fs/zfs/zfs.c:1054: check 8 passed grub-core/fs/zfs/zfs.c:1064: check 9 passed grub-core/fs/zfs/zfs.c:1086: check 11 passed grub-core/fs/zfs/zfs.c:1112: check 10 passed grub-core/fs/zfs/zfs.c:1128: str=com.delphix:hole_birth grub-core/fs/zfs/zfs.c:1128: str=com.delphix:embedded_data grub-core/fs/zfs/zfs.c:1137: check 12 passed (feature flags) grub-core/fs/zfs/zfs.c:1878: zio_read: E 0: size 2048/2048 grub-core/fs/zfs/zfs.c:1899: endian = -1 grub-core/fs/zfs/zfs.c:595: dva=8, 1908c4f8 grub-core/fs/zfs/zfs.c:442: checksum fletcher4 verification failed grub-core/fs/zfs/zfs.c:447: actual checksum 0082598c98ea 88a0c7f16104 005d0b808f380960 2f51aa5e372675ef grub-core/fs/zfs/zfs.c:452: expected checksum 0004f5f43504 09254c38ba95 00087352d4a8f77f 0537bd0ed13060ad grub-core/fs/zfs/zfs.c:1922: incorrect checksum grub-core/kern/fs.c:78: zfs detection failed. Гугление показало, что проблема известна с 12 года и тогда же запатчена. А потом запатчена в 14. Но вплоть по 16 год встречаются сообщения с той же проблемой и с вопросом: а делать-то че? Насколько я понял, проблема может возникнуть на ровном месте при очередном апдейте, приведшем к перегенерации загрузочной информации. scrub ее не лечит (у меня просто не видит -- диск чистый), от типа чексумм, вроде, тоже не зависит (у меня, правда, по умолчанию тот же флетчер4, но в нагуглившихся репортах народ недоумевает: какой, нафиг, флетчер, если у меня везде sha-256). Вопрос: сталкивался ли кто-нибудь с такой проблемой и известно ли, как ее гарантированно вылечить (кроме встречающихся иногда (причем я не понял, приведших ли к успеху) советов пересоздать пул, что в реальной жизни не вариант)? Или же получается, что zfs на линухе пока что нежизнеспособен? На всякий случай: zfs-dkms 0.6.5.9-5 grub-pc 2.02-1
Re: Программа для работы с текстовыми файлами
grep, sed, awk - расположены от простого к сложному по возрастанию. 06.07.2017 16:36, sedov...@yandex.ru пишет: Есть ли в дистрибутиве debian программа, которая по регулярному выражению, может вытащить из текстового файла: 1. нужные слова; 2. строку начинающуюся с нужного слова? -- ⢀⣴⠾⠻⢶⣦ ⣾⠁⢠⠒⠀⣿⡁ ⢿⡄⠘⠷⠚⠋ ⠈⠳⣄
Re: Программа для работы с текстовыми файлами
On Thu, 6 Jul 2017, sedov...@yandex.ru wrote: Есть ли в дистрибутиве debian программа, которая по регулярному выражению, может вытащить из текстового файла: 1. нужные слова; 2. строку начинающуюся с нужного слова? grep awk perl, python ... http://www.regular-expressions.info/tutorial.html -> http://www.regular-expressions.info/tools.html Ю.
RE: Программа для работы с текстовыми файлами
Sed Отправлено с моего телефона на Windows 10 От: sedov...@yandex.ru Отправлено: 6 июля 2017 г. в 12:42 Кому: debian-russian@lists.debian.org Тема: Программа для работы с текстовыми файлами Есть ли в дистрибутиве debian программа, которая по регулярному выражению, может вытащить из текстового файла: 1. нужные слова; 2. строку начинающуюся с нужного слова?
Re: Программа для работы с текстовыми файлами
grep egrep? В письме от четверг, 6 июля 2017 г. 16:36:53 +07 пользователь sedov...@yandex.ru написал: > Есть ли в дистрибутиве debian программа, которая по регулярному > выражению, может вытащить из текстового файла: 1. нужные слова; 2. > строку начинающуюся с нужного слова? -- С уважением, Юркин Евгений Siberian Health Inc
Программа для работы с текстовыми файлами
Есть ли в дистрибутиве debian программа, которая по регулярному выражению, может вытащить из текстового файла: 1. нужные слова; 2. строку начинающуюся с нужного слова?
