Re: zfs on linux

2017-07-13 Пенетрантность Vasiliy P. Melnik 
Нормально пул импортируется - и без никакого экспорта. Если проблемы с этим
возникают - значит не полностью портировали функционал

13 июля 2017 г., 22:01 пользователь Alex Kicelew 
написал:

> On 07/13/17 12:56, Artem Chuprina wrote:
> > В юзер гайде сказана интересная вещь. Что если не сделать zpool export,
> > то пул потом на другой системе не поднимется. Не то чтобы там было
> > акцентировано на "вообще никак", но и ни про какие --force при импорте
> > тоже не говорилось.
>
> Не удалось навскидку найти пруф, но где-то я совсем недавно читал, что
> без экспорта может (не обязательно, но подчеркивалось, что именно может)
> не получиться перенести пул не на другую, а на ИНУЮ систему -- например,
> с иной тупоконечностью. Хотя не объяснялось, почему эту
> "интернациональную" информацию можно записать только при штатном
> переводе пула в офлайн.
>
>

Re: zfs on linux

2017-07-13 Пенетрантность Alex Kicelew 
On 07/13/17 12:56, Artem Chuprina wrote:
> В юзер гайде сказана интересная вещь. Что если не сделать zpool export,
> то пул потом на другой системе не поднимется. Не то чтобы там было
> акцентировано на "вообще никак", но и ни про какие --force при импорте
> тоже не говорилось.

Не удалось навскидку найти пруф, но где-то я совсем недавно читал, что
без экспорта может (не обязательно, но подчеркивалось, что именно может)
не получиться перенести пул не на другую, а на ИНУЮ систему -- например,
с иной тупоконечностью. Хотя не объяснялось, почему эту
"интернациональную" информацию можно записать только при штатном
переводе пула в офлайн.

Re: zfs on linux

2017-07-13 Пенетрантность Sergey Matveev 
*** Artem Chuprina <r...@lasgalen.net> [2017-07-13 12:58]:
>Почитал тут подробно Aaron Toponce's ZFS on Linux User Guide
>(https://pthree.org/2012/04/17/install-zfs-on-debian-gnulinux/)

Спасибо за ссылку. Возможно лучшая документация по ZFS для незнакомых с
ним прежде которую я встречал!

>И что, вот прямо реально если, допустим, что-то сдохло и система не
>грузится, то воткнуть диски в другую машину и импортировать пул
>невозможно, привет всем данным, которые там были? Или все-таки -f и -F
>(ман гуглится от FreeBSD, а систему с zfs я еще не поставил) у нас тоже
>есть и работают?

Если pool не был экспортирован, то другая система при импорте
действительно скажет что он "занят", но под FreeBSD force опция без
проблем его импортирует. Я не знаю даже гипотетически к техническим
проблемам каким оно может привести -- я думаю это исключительно чтобы
предупредить человека, на всякий пожарный, мол вдруг он нечаянно что-то
не то хочет сделать, мол явно не сказали export pool, может он нечаянно
хочет и import сделать.

-- 
Sergey Matveev (http://www.stargrave.org/)
OpenPGP: CF60 E89A 5923 1E76 E263  6422 AE1A 8109 E498 57EF

Re: zfs on linux

2017-07-13 Пенетрантность Artem Chuprina 
Artem Chuprina -> debian-russian@lists.debian.org  @ Thu, 13 Jul 2017 12:56:59 
+0300:

 > Что интересно, вышеупомянутый скрипт не делает zpool export. И его
 > README не предлагает этого делать.

Зато делает такое:
# Copy hostid as the target system will otherwise not be able to mount the 
misleadingly foreign file system
cp -va /etc/hostid /target/etc/

Предварительно озаботившись тем, чтобы hostid действительно был уникальным.

zfs on linux

2017-07-13 Пенетрантность Artem Chuprina 
Почитал тут подробно Aaron Toponce's ZFS on Linux User Guide
(https://pthree.org/2012/04/17/install-zfs-on-debian-gnulinux/), ссылка
с zfsonlinux, и скрипт с https://github.com/hn/debian-stretch-zfs-root,
который делает примерно то же, что описано в хелпе.

В юзер гайде сказана интересная вещь. Что если не сделать zpool export,
то пул потом на другой системе не поднимется. Не то чтобы там было
акцентировано на "вообще никак", но и ни про какие --force при импорте
тоже не говорилось.

И что, вот прямо реально если, допустим, что-то сдохло и система не
грузится, то воткнуть диски в другую машину и импортировать пул
невозможно, привет всем данным, которые там были? Или все-таки -f и -F
(ман гуглится от FreeBSD, а систему с zfs я еще не поставил) у нас тоже
есть и работают?

Что интересно, вышеупомянутый скрипт не делает zpool export. И его
README не предлагает этого делать. А tutorial по сооружению рута на ZFS
(для jessie) делает, причем неоднократно...

... Что-то вот и хочется, и колется... Машинка, на которой я собираюсь
менять систему (причем путем установки, а не апгрейда, ибо там сдуру был
поставлен Xen, из которого теперь тупо лень выбираться, да и стоит там
еще wheezy), попутно еще и домашний роутер с нетривиальной настройкой. И
вот как-то стремно мне туда ставить систему, которая ставится
ТАК... Ведь если какой сбой — отваливается весь пул, вместе с системой,
а средств по его восстановлению...

Впрочем, можно сделать live-систему с настройками роутера и драйверами
zfs... И с нее же, кстати, попытаться выполнить скрипт, и посмотреть,
что будет. А то что-то live систему без гуя на debian.org обещали, а
фиг...

И еще. Пользовался ли кто-нибудь dracut вместо initramfs? Что это вообще
за зверь? Насколько я вижу по описанию, они хотят как можно меньше кода
держать в initramfs, но зависимостей для самого дракута (вернее, для
dracut-core), как я погляжу... Аж pkg-config зачем-то понадобился.

Re: zfs on linux

2017-07-10 Пенетрантность Alex Kicelew 
On 07/10/17 12:04, Dmitry Kulagin wrote:
> Если вы создавали все фс по хелпу, то ваша проблема закономерна,
> в хелпе zpool создается с опцией для файловой системы по умолчанию:
> -O canmount=off, а потом zfs c canmount=noauto. Для вашего случая,
> когда нужны отдельные фс на /usr и /etc, надо (да и в текущих глюках
> systemd для всех) полностью формировать систему (монтировать
> /var /usr /etc и т.д.) еще на этапе initrd поэтому все эти фс да и / тоже
> желательно создавать с опцией canmount=on, и в /etc/default/zfs с опцией
> ZFS_MOUNT='yes'. Отложить монтирование, и как в классике управлять
> /home, /opt, /srv и т.п. с помощью /etc/fstab, можно указав при создании фс
> опцию mountpoint=legacy.

Да, я понимаю. И я уже это исправил, ибо на ноуте мне это не нужно, он
использовался только как полигон. А вот за напоминание про legacy и про
опции /etc/default/zfs спасибо, ибо на другом компе, который я тоже
планирую перевести под zfs, это мне как раз нужно (если, конечно,
удастся поставить там более ранний systemd, который еще не слинкован с
/usr/lib:).

Re: zfs on linux

2017-07-10 Пенетрантность Dmitry Kulagin 

Если вы создавали все фс по хелпу, то ваша проблема закономерна,
в хелпе zpool создается с опцией для файловой системы по умолчанию:
-O canmount=off, а потом zfs c canmount=noauto. Для вашего случая,
когда нужны отдельные фс на /usr и /etc, надо (да и в текущих глюках
systemd для всех) полностью формировать систему (монтировать
/var /usr /etc и т.д.) еще на этапе initrd поэтому все эти фс да и / тоже
желательно создавать с опцией canmount=on, и в /etc/default/zfs с опцией
ZFS_MOUNT='yes'. Отложить монтирование, и как в классике управлять
/home, /opt, /srv и т.п. с помощью /etc/fstab, можно указав при создании фс
опцию mountpoint=legacy.

09.07.2017 18:56, Alex Kicelew пишет:

On 07/09/17 18:52, Vasiliy P. Melnik wrote:

Про то, что отдельный /usr постепенно отламывают, даже в информации о
выпуске stretch было упомянуто:

Та при нынешних объемах дисков оно просто бессмысленно. Я вообще делаю бут,
потом все остальное нарезаю лвм-ом, в лвм-е делаю 3 партишина - root и
var_log по 20 гигов, swap на 2 гига. Если под что-то надо место - создаю с
минимальным размером, потом добавляю, если надо. Ресайз на увеличение
работает на лету, на уменьшение - проблемно.

Проблема в том, что на ноуте-то мне это не важно, но я планировал
поставить zfs и на большую машину, где небольшой рейд. Бэкапить zfs,
вроде, удобнее всего снапшотами, но снапшоты делаются на fs. Бэкапить
/etc мне нужно, а вот полный бэкап всего рута вместе с /usr -- нет.

Re: zfs on linux

2017-07-09 Пенетрантность Sergey Matveev 
*** Alex Kicelew <arko...@gmail.com> [2017-07-09 19:10]:
>Хм. На большом компе я планировал бэкапить только нужные мне вещи, а вот
>на ноуте думал сделать копию единственного диска и ежедневно сбрасывать
>на нее send-ом наболевшее за день, чтобы при крахе основного винта
>просто с нее сразу же загрузиться, а уже потом докупать еще винт. Вы
>полагаете, что эта идея (под линухом, фри у меня нет) мертворожденная?

Лично я не вижу какое будет отличие GNU/Linux ZFS-а от *BSD-ного. zfs
send/recv же будет работать точно так же. Идея делать инкрементальные
бэкапы (хоть каждый час по cron) мне нравится. Точно так же делал на
ноутбуке где SSD-диску 3.5 года и от него всего можно ожидать.

-- 
Sergey Matveev (http://www.stargrave.org/)
OpenPGP: CF60 E89A 5923 1E76 E263  6422 AE1A 8109 E498 57EF

Re: zfs on linux

2017-07-09 Пенетрантность Vasiliy P. Melnik 
9 июля 2017 г., 19:27 пользователь Alex Kicelew  написал:

> On 07/09/17 19:26, Vasiliy P. Melnik wrote:
> > Я полагаю, что Вы не о том думаете - если Вам так ценен ноут как
> > инструмент, то все же стоит подумать о покупке второго, ибо в ноуте не
> винт
> > самая большая проблема, а перегрев.
>
> Второй у меня есть. Но данные мне тоже важны.


Лично меня полностью устраивает дропбокс - основной документооборот
помещается в бесплатные 2 гига, еще и на телефоне можно посмотреть

Re: zfs on linux

2017-07-09 Пенетрантность Alex Kicelew 
On 07/09/17 19:26, Vasiliy P. Melnik wrote:
> Я полагаю, что Вы не о том думаете - если Вам так ценен ноут как
> инструмент, то все же стоит подумать о покупке второго, ибо в ноуте не винт
> самая большая проблема, а перегрев.

Второй у меня есть. Но данные мне тоже важны.

Re: zfs on linux

2017-07-09 Пенетрантность Vasiliy P. Melnik 
Я полагаю, что Вы не о том думаете - если Вам так ценен ноут как
инструмент, то все же стоит подумать о покупке второго, ибо в ноуте не винт
самая большая проблема, а перегрев.


9 июля 2017 г., 19:08 пользователь Alex Kicelew  написал:

> On 07/09/17 19:01, Vasiliy P. Melnik wrote:
> > Я на фре именно снапшотами и бекаплюсь, но это фря.
> >
> > Не надо лезть в в систему, лучше просто рсинком на зфс синхронизируйте, а
> > потом уже делайте снапшот. Все же для линукса это чужая фс, хоть и
> работает
>
> Хм. На большом компе я планировал бэкапить только нужные мне вещи, а вот
> на ноуте думал сделать копию единственного диска и ежедневно сбрасывать
> на нее send-ом наболевшее за день, чтобы при крахе основного винта
> просто с нее сразу же загрузиться, а уже потом докупать еще винт. Вы
> полагаете, что эта идея (под линухом, фри у меня нет) мертворожденная?
>
>

Re: zfs on linux

2017-07-09 Пенетрантность Alex Kicelew 
(прошу прощения за копию в личку; не уследил)

Re: zfs on linux

2017-07-09 Пенетрантность Alex Kicelew 
On 07/09/17 19:01, Vasiliy P. Melnik wrote:
> Я на фре именно снапшотами и бекаплюсь, но это фря.
> 
> Не надо лезть в в систему, лучше просто рсинком на зфс синхронизируйте, а
> потом уже делайте снапшот. Все же для линукса это чужая фс, хоть и работает

Хм. На большом компе я планировал бэкапить только нужные мне вещи, а вот
на ноуте думал сделать копию единственного диска и ежедневно сбрасывать
на нее send-ом наболевшее за день, чтобы при крахе основного винта
просто с нее сразу же загрузиться, а уже потом докупать еще винт. Вы
полагаете, что эта идея (под линухом, фри у меня нет) мертворожденная?

Re: zfs on linux

2017-07-09 Пенетрантность Vasiliy P. Melnik 
Я на фре именно снапшотами и бекаплюсь, но это фря.

Не надо лезть в в систему, лучше просто рсинком на зфс синхронизируйте, а
потом уже делайте снапшот. Все же для линукса это чужая фс, хоть и работает

9 июля 2017 г., 18:56 пользователь Alex Kicelew  написал:

> On 07/09/17 18:52, Vasiliy P. Melnik wrote:
> >> Про то, что отдельный /usr постепенно отламывают, даже в информации о
> >> выпуске stretch было упомянуто:
> > Та при нынешних объемах дисков оно просто бессмысленно. Я вообще делаю
> бут,
> > потом все остальное нарезаю лвм-ом, в лвм-е делаю 3 партишина - root и
> > var_log по 20 гигов, swap на 2 гига. Если под что-то надо место - создаю
> с
> > минимальным размером, потом добавляю, если надо. Ресайз на увеличение
> > работает на лету, на уменьшение - проблемно.
>
> Проблема в том, что на ноуте-то мне это не важно, но я планировал
> поставить zfs и на большую машину, где небольшой рейд. Бэкапить zfs,
> вроде, удобнее всего снапшотами, но снапшоты делаются на fs. Бэкапить
> /etc мне нужно, а вот полный бэкап всего рута вместе с /usr -- нет.
>
>

Re: zfs on linux

2017-07-09 Пенетрантность Alex Kicelew 
On 07/09/17 18:52, Vasiliy P. Melnik wrote:
>> Про то, что отдельный /usr постепенно отламывают, даже в информации о
>> выпуске stretch было упомянуто:
> Та при нынешних объемах дисков оно просто бессмысленно. Я вообще делаю бут,
> потом все остальное нарезаю лвм-ом, в лвм-е делаю 3 партишина - root и
> var_log по 20 гигов, swap на 2 гига. Если под что-то надо место - создаю с
> минимальным размером, потом добавляю, если надо. Ресайз на увеличение
> работает на лету, на уменьшение - проблемно.

Проблема в том, что на ноуте-то мне это не важно, но я планировал
поставить zfs и на большую машину, где небольшой рейд. Бэкапить zfs,
вроде, удобнее всего снапшотами, но снапшоты делаются на fs. Бэкапить
/etc мне нужно, а вот полный бэкап всего рута вместе с /usr -- нет.

Re: zfs on linux

2017-07-09 Пенетрантность Vasiliy P. Melnik 
>
> Про то, что отдельный /usr постепенно отламывают, даже в информации о
> выпуске stretch было упомянуто:
>

Та при нынешних объемах дисков оно просто бессмысленно. Я вообще делаю бут,
потом все остальное нарезаю лвм-ом, в лвм-е делаю 3 партишина - root и
var_log по 20 гигов, swap на 2 гига. Если под что-то надо место - создаю с
минимальным размером, потом добавляю, если надо. Ресайз на увеличение
работает на лету, на уменьшение - проблемно.

Re: zfs on linux

2017-07-09 Пенетрантность Alex Kicelew 
On 07/09/17 18:44, Alexander Galanin wrote:
> This means that for stretch all systems where /usr is a separate
> partition need to use an initramfs generator that will mount /
> usr. All initramfs generators in stretch do so.

У меня сейчас не возможности проверить, do ли они это на стандартных fs,
но вот в zfs точно don't.

Re: zfs on linux

2017-07-09 Пенетрантность Alexander Galanin 

09.07.2017 17:07, Alex Kicelew пишет:

Отдельно стоит отметить, что /sbin/init в лице systemd в настоящее время
(версия 233-9) слинкован в числе прочего с одной библиотекой из
/usr/lib. Я не смотрел, до инита монтируются некорневые fs на обычных
системах, или после, но в zfs -- точно после, в результате чего если
/usr расположен на отдельной fs, система при загрузке падает в кернел
паник, ибо невозможно стартовать /sbin/init.


Про то, что отдельный /usr постепенно отламывают, даже в информации о 
выпуске stretch было упомянуто:


5.1.1. Late mounting of /usr is no longer supported

Note

This section only applies to systems using a custom kernel, where
/usr is on a separate mount point from /. If you use the kernel
packages provided by Debian, you are unaffected by this issue.

Mounting of /usr using only tools found in / is no longer
supported. This has only worked for a few specific configurations
in the past, and now they are explicitly unsupported.

This means that for stretch all systems where /usr is a separate
partition need to use an initramfs generator that will mount /
usr. All initramfs generators in stretch do so.

--
Alexander Galanin

Re: zfs on linux

2017-07-09 Пенетрантность Alex Kicelew 
On 07/09/17 18:14, Artem Chuprina wrote:
>  > 3) systemd запускается раньше, чем монтируются некорневые fs в составе
>  > zfs, поэтому сервисы, закросслинканные на файлы на некорневых fs при
>  > старте systemd не видны. И если ожидается, что они автостартуют при
...
> После. Точно так же. Так что идея линковать сервисы в некорневую fs
> относится к плохим. Прочесть конфиг, где написано "давай подождем, пока
> вон то смонтируется" надо все же раньше, чем оно смонтируется.

С одной стороны, это логично. Но с другой, в systemd есть system
services, а есть user services. И если первые официально расположены
частично в /etc, частично в /lib, то вторые -- в ~/.config. И то, что у
меня они физически расположены в другой директории в том же ~/, которая
синхронизируется между разными машинами, а в ~/.config/systemd/user
только линки туда, это уже частность.

>  > но в zfs -- точно после, в результате чего если /usr расположен на
>  > отдельной fs, система при загрузке падает в кернел паник, ибо
>  > невозможно стартовать /sbin/init.
> Спасибо за еще несколько бит информации про systemd... У Поттеринга всё
> работает, ага...

Справедливости ради, мне это кажется ляпом скорее мейнтейнера, чем
Поттеринга. В более других версиях, которые у меня на других машинах,
этого ляпа нет.

Re: zfs on linux

2017-07-09 Пенетрантность Artem Chuprina 
Alex Kicelew -> debian-russian@lists.debian.org  @ Sun, 9 Jul 2017 17:07:47 
+0300:

 > 3) systemd запускается раньше, чем монтируются некорневые fs в составе
 > zfs, поэтому сервисы, закросслинканные на файлы на некорневых fs при
 > старте systemd не видны. И если ожидается, что они автостартуют при
 > загрузке, то ожидается зря. Они станут видны systemd только после того,
 > как появится возможность сказать sudo systemctl daemon-reload (и, если
 > нужно, отдельно systemctl --user daemon-reload), после чего их нужно
 > будет стартовать руками.

 > Отдельно стоит отметить, что /sbin/init в лице systemd в настоящее время
 > (версия 233-9) слинкован в числе прочего с одной библиотекой из
 > /usr/lib. Я не смотрел, до инита монтируются некорневые fs на обычных
 > системах, или после,

После. Точно так же. Так что идея линковать сервисы в некорневую fs
относится к плохим. Прочесть конфиг, где написано "давай подождем, пока
вон то смонтируется" надо все же раньше, чем оно смонтируется.

 > но в zfs -- точно после, в результате чего если /usr расположен на
 > отдельной fs, система при загрузке падает в кернел паник, ибо
 > невозможно стартовать /sbin/init.

Спасибо за еще несколько бит информации про systemd... У Поттеринга всё
работает, ага...

 > 4) swap внутри zfs работает вполне корректно, но, вероятно, hibernate
 > работать в таком режиме не будет, ибо насколько я понял, обращение за
 > сохраненными данными идет до импорта пула.

Вообще это вот надо внимательно посмотреть... Насколько я понимаю
ситуацию, например, с LVM, то там тома все же должны подниматься до
того, начинает отрабатывать hibernate. Чтобы понять, откуда. А файловые
системы подхватываться — уже после, на основании поднятых гибернейтом
данных.

Надо бы потестировать на виртуалке...

Re: zfs on linux

2017-07-09 Пенетрантность Alex Kicelew 
On 07/08/17 13:54, Alex Kicelew wrote:
> диск, подключенный по usb. На диск, вставленный в гнездо, все
> поставилось нормально. Правда, не работает... :(

Вроде бы, все проблемы победились. Но интеграция zfs в дебиан пока еще
далеко не полная. Грабли, по которым я прошел:

1) оказалось, что мой usb-переходник врет геометрию дисков (в частности,
512-байтные сектора передает как 4-килобайтные), что, разумеется, не
проблема zfs, но время отняло.

2) мой ноут умеет грузиться как с bios boot, так и с uefi, но, как
оказалось, с диска, размеченного в gpt (а в хауту описано именно это) он
умеет грузиться только с uefi. Bios boot, расположенный на gpt, он не
понимает. Это тоже не проблема zfs.

3) systemd запускается раньше, чем монтируются некорневые fs в составе
zfs, поэтому сервисы, закросслинканные на файлы на некорневых fs при
старте systemd не видны. И если ожидается, что они автостартуют при
загрузке, то ожидается зря. Они станут видны systemd только после того,
как появится возможность сказать sudo systemctl daemon-reload (и, если
нужно, отдельно systemctl --user daemon-reload), после чего их нужно
будет стартовать руками.

Отдельно стоит отметить, что /sbin/init в лице systemd в настоящее время
(версия 233-9) слинкован в числе прочего с одной библиотекой из
/usr/lib. Я не смотрел, до инита монтируются некорневые fs на обычных
системах, или после, но в zfs -- точно после, в результате чего если
/usr расположен на отдельной fs, система при загрузке падает в кернел
паник, ибо невозможно стартовать /sbin/init.

4) swap внутри zfs работает вполне корректно, но, вероятно, hibernate
работать в таком режиме не будет, ибо насколько я понял, обращение за
сохраненными данными идет до импорта пула.

А так в целом работает. Отличий в скорости на глаз не заметно вообще.

Re: zfs on linux

2017-07-08 Пенетрантность Aleksandr Sytar 
8 июля 2017 г., 15:23 пользователь Sergey Matveev 
написал:

>
> Я как-то встречал один USB<->SATA контроллер (внешний контейнер) который
> действительно чуть "смещал" данные. То есть диск выглядел как немного
> уменьшенный по размеру. Данных вроде туда не писал никаких дополнительных,
> но вот почему-то геометрия была чуть другой.
>
>
Надо смотреть как он кластера представляет - я видел переходники которые
говорят что на диске 4K кластера (хотя на самом деле они 512)

Re: zfs on linux

2017-07-08 Пенетрантность Sergey Matveev 
*** Alex Kicelew  [2017-07-08 13:55]:
>Эта проблема решена. Вероятно, дурак -- я, а не zfs (хотя я до конца так
>и не понял, в чем именно). Причина была в том, что я устанавливал zfs на
>диск, подключенный по usb. На диск, вставленный в гнездо, все
>поставилось нормально. Правда, не работает... :(

Я как-то встречал один USB<->SATA контроллер (внешний контейнер) который
действительно чуть "смещал" данные. То есть диск выглядел как немного
уменьшенный по размеру. Данных вроде туда не писал никаких дополнительных,
но вот почему-то геометрия была чуть другой.

-- 
Sergey Matveev (http://www.stargrave.org/)
OpenPGP: CF60 E89A 5923 1E76 E263  6422 AE1A 8109 E498 57EF

Re: zfs on linux

2017-07-08 Пенетрантность Alex Kicelew 
On 07/06/17 13:19, Alex Kicelew wrote:
> у меня же возвращается:
> # grub-probe /
> grub-probe: error: unknown filesystem.

Эта проблема решена. Вероятно, дурак -- я, а не zfs (хотя я до конца так
и не понял, в чем именно). Причина была в том, что я устанавливал zfs на
диск, подключенный по usb. На диск, вставленный в гнездо, все
поставилось нормально. Правда, не работает... :(

Прошли все этапы установки. Разбит диск, создана и разбита fs,
скопирована система, в нее сделан чрут, корень определяется, как zfs,
сделан update-initramfs (прошел корректно), сделан update-grub (прошел
корректно), сделан grub-install (прошел корректно), все отмонтировано.

При попытке загрузки с этого винта выскакивает биосовская менюшка,
предлагающая выбрать устройство загрузки (обычно она не выскакивает).
При нажатии на этот диск (он в списке есть, определен корректно) на
мгновение мелькает черный экран, и возвращается менюшка. Т.е. диск
загрузочный (если попробовать загрузиться с незагрузочного диска, биос
об этом говорит прямо), но что-то на нем не так. До груба с включенной
консолью не доходит, лопается где-то в районе MBR, точнее я, к
сожалению, не понимаю.

Груб из стретча (вначале был из тестинга, там он уже более новый)
пробовался, то же самое.

Можно ли еще куда-то попробовать покопать?

Re: zfs on linux

2017-07-06 Пенетрантность Alex Kicelew 
On 07/06/17 17:31, Dmitry Kulagin wrote:
> Может grub-pc из Stretch попробовать?..

Попробовал. Результат почти тот же -- разница только в том, что теперь
актуальные чексуммы -- сплошные нули. В принципе, ожидаемо, ибо версия
груба та же, только в стейбле бета3.

Re: zfs on linux

2017-07-06 Пенетрантность Dmitry Kulagin 

06.07.2017 16:31, Alex Kicelew пишет:

On 07/06/17 15:41, Dmitry Kulagin wrote:

zfs send|receive переносил установку  на еще 9, соответственно
процедура создания пулов, фс и установка grub прошла 10 раз
без проблем, загружался и устанавливал с флешки, на которой был

То, что проблема возникает не всегда, радует. Но интересно, как с ней
бороться, если она возникла. :)

Может grub-pc из Stretch попробовать?..

Re: zfs on linux

2017-07-06 Пенетрантность Alex Kicelew 
On 07/06/17 15:41, Dmitry Kulagin wrote:
> zfs send|receive переносил установку  на еще 9, соответственно
> процедура создания пулов, фс и установка grub прошла 10 раз
> без проблем, загружался и устанавливал с флешки, на которой был

То, что проблема возникает не всегда, радует. Но интересно, как с ней
бороться, если она возникла. :)

> А Вы старый диск заного переразбивали или новый, чистый? Для старого
> иногда надо перезагружаться, если его какой-нибудь udisk2 или аналог
> зацепит?

Новый. До перезагрузки пока не дошло -- груб не прописывается.

Re: zfs on linux

2017-07-06 Пенетрантность Dmitry Kulagin 

2 месяца назад устанавливал по этому хелпу Debian Stretch
(на тот момент testing) на первую машину, а потом с помощью
zfs send|receive переносил установку  на еще 9, соответственно
процедура создания пулов, фс и установка grub прошла 10 раз
без проблем, загружался и устанавливал с флешки, на которой был
установлен все тот же, текущий на тот момент, Stretch. Во время
установки столкнулся с единственной проблемой: из-за systemd
невозможно было отмонтировать новый корень, он почему-то его
не отпускал, поэтому приходилось после перезагрузки, снова
загружаться с флешки и делать:
zpool import rpool
zpool export rpool
и перегружаться снова уже в новую систему.
Кстати, примерно год назад или больше в тестинге zfs + systemd
комбинация была вообще сломана: при перезагрузки системы
zfs вообще не отмонтировали, интересно, как оно в Jessie+backports?
А Вы старый диск заного переразбивали или новый, чистый? Для старого
иногда надо перезагружаться, если его какой-нибудь udisk2 или аналог
зацепит?

06.07.2017 13:19, Alex Kicelew пишет:

Hi

А есть ли кто-нибудь, сидящий на сабже? Попробовал установить по
https://github.com/zfsonlinux/zfs/wiki/Debian-Jessie-Root-on-ZFS,
столкнулся с проблемой.

Отличия моей конфигурации от хаутушки: у меня отродясь на ноуте тестинг,
кроме того, сейчас он уже поверх stretch, а не jessy, как в хауту,
поэтому не делал никаких танцев с бубном вокруг jessie-backports, взял
zfs-dkms и zfs-initramfs из тестинга, груб оттуда же по умолчанию. Кроме
того, я не ставил систему с нуля, а полностью скопировал ее рсинком с
рабочей. Все остальное по хауту.

Проблема:

Диск разбился, пул сгенерировался, фс создались, рсинк прошел. Но далее
по хауту (после рбайндов живых фс и чрута) должно быть:

# grub-probe /
zfs

у меня же возвращается:

# grub-probe /
grub-probe: error: unknown filesystem.

-vvv выдает:

# grub-probe -vvv /new 2>&1 | grep -i zfs
grub-core/kern/fs.c:56: Detecting zfs...
grub-core/fs/zfs/zfs.c:1192: label ok 0
grub-core/fs/zfs/zfs.c:1007: check 2 passed
grub-core/fs/zfs/zfs.c:1018: check 3 passed
grub-core/fs/zfs/zfs.c:1025: check 4 passed
grub-core/fs/zfs/zfs.c:1035: check 6 passed
grub-core/fs/zfs/zfs.c:1043: check 7 passed
grub-core/fs/zfs/zfs.c:1054: check 8 passed
grub-core/fs/zfs/zfs.c:1064: check 9 passed
grub-core/fs/zfs/zfs.c:1086: check 11 passed
grub-core/fs/zfs/zfs.c:1112: check 10 passed
grub-core/fs/zfs/zfs.c:1128: str=com.delphix:hole_birth
grub-core/fs/zfs/zfs.c:1128: str=com.delphix:embedded_data
grub-core/fs/zfs/zfs.c:1137: check 12 passed (feature flags)
grub-core/fs/zfs/zfs.c:1878: zio_read: E 0: size 2048/2048
grub-core/fs/zfs/zfs.c:1899: endian = -1
grub-core/fs/zfs/zfs.c:595: dva=8, 1908c4f8
grub-core/fs/zfs/zfs.c:442: checksum fletcher4 verification failed
grub-core/fs/zfs/zfs.c:447: actual checksum 0082598c98ea
88a0c7f16104 005d0b808f380960 2f51aa5e372675ef
grub-core/fs/zfs/zfs.c:452: expected checksum 0004f5f43504
09254c38ba95 00087352d4a8f77f 0537bd0ed13060ad
grub-core/fs/zfs/zfs.c:1922: incorrect checksum
grub-core/kern/fs.c:78: zfs detection failed.

Гугление показало, что проблема известна с 12 года и тогда же запатчена.
А потом запатчена в 14. Но вплоть по 16 год встречаются сообщения с той
же проблемой и с вопросом: а делать-то че? Насколько я понял, проблема
может возникнуть на ровном месте при очередном апдейте, приведшем к
перегенерации загрузочной информации. scrub ее не лечит (у меня просто
не видит -- диск чистый), от типа чексумм, вроде, тоже не зависит (у
меня, правда, по умолчанию тот же флетчер4, но в нагуглившихся репортах
народ недоумевает: какой, нафиг, флетчер, если у меня везде sha-256).

Вопрос: сталкивался ли кто-нибудь с такой проблемой и известно ли, как
ее гарантированно вылечить (кроме встречающихся иногда (причем я не
понял, приведших ли к успеху) советов пересоздать пул, что в реальной
жизни не вариант)? Или же получается, что zfs на линухе пока что
нежизнеспособен?

На всякий случай:

zfs-dkms 0.6.5.9-5
grub-pc 2.02-1

zfs on linux

2017-07-06 Пенетрантность Alex Kicelew 
Hi

А есть ли кто-нибудь, сидящий на сабже? Попробовал установить по
https://github.com/zfsonlinux/zfs/wiki/Debian-Jessie-Root-on-ZFS,
столкнулся с проблемой.

Отличия моей конфигурации от хаутушки: у меня отродясь на ноуте тестинг,
кроме того, сейчас он уже поверх stretch, а не jessy, как в хауту,
поэтому не делал никаких танцев с бубном вокруг jessie-backports, взял
zfs-dkms и zfs-initramfs из тестинга, груб оттуда же по умолчанию. Кроме
того, я не ставил систему с нуля, а полностью скопировал ее рсинком с
рабочей. Все остальное по хауту.

Проблема:

Диск разбился, пул сгенерировался, фс создались, рсинк прошел. Но далее
по хауту (после рбайндов живых фс и чрута) должно быть:

# grub-probe /
zfs

у меня же возвращается:

# grub-probe /
grub-probe: error: unknown filesystem.

-vvv выдает:

# grub-probe -vvv /new 2>&1 | grep -i zfs
grub-core/kern/fs.c:56: Detecting zfs...
grub-core/fs/zfs/zfs.c:1192: label ok 0
grub-core/fs/zfs/zfs.c:1007: check 2 passed
grub-core/fs/zfs/zfs.c:1018: check 3 passed
grub-core/fs/zfs/zfs.c:1025: check 4 passed
grub-core/fs/zfs/zfs.c:1035: check 6 passed
grub-core/fs/zfs/zfs.c:1043: check 7 passed
grub-core/fs/zfs/zfs.c:1054: check 8 passed
grub-core/fs/zfs/zfs.c:1064: check 9 passed
grub-core/fs/zfs/zfs.c:1086: check 11 passed
grub-core/fs/zfs/zfs.c:1112: check 10 passed
grub-core/fs/zfs/zfs.c:1128: str=com.delphix:hole_birth
grub-core/fs/zfs/zfs.c:1128: str=com.delphix:embedded_data
grub-core/fs/zfs/zfs.c:1137: check 12 passed (feature flags)
grub-core/fs/zfs/zfs.c:1878: zio_read: E 0: size 2048/2048
grub-core/fs/zfs/zfs.c:1899: endian = -1
grub-core/fs/zfs/zfs.c:595: dva=8, 1908c4f8
grub-core/fs/zfs/zfs.c:442: checksum fletcher4 verification failed
grub-core/fs/zfs/zfs.c:447: actual checksum 0082598c98ea
88a0c7f16104 005d0b808f380960 2f51aa5e372675ef
grub-core/fs/zfs/zfs.c:452: expected checksum 0004f5f43504
09254c38ba95 00087352d4a8f77f 0537bd0ed13060ad
grub-core/fs/zfs/zfs.c:1922: incorrect checksum
grub-core/kern/fs.c:78: zfs detection failed.

Гугление показало, что проблема известна с 12 года и тогда же запатчена.
А потом запатчена в 14. Но вплоть по 16 год встречаются сообщения с той
же проблемой и с вопросом: а делать-то че? Насколько я понял, проблема
может возникнуть на ровном месте при очередном апдейте, приведшем к
перегенерации загрузочной информации. scrub ее не лечит (у меня просто
не видит -- диск чистый), от типа чексумм, вроде, тоже не зависит (у
меня, правда, по умолчанию тот же флетчер4, но в нагуглившихся репортах
народ недоумевает: какой, нафиг, флетчер, если у меня везде sha-256).

Вопрос: сталкивался ли кто-нибудь с такой проблемой и известно ли, как
ее гарантированно вылечить (кроме встречающихся иногда (причем я не
понял, приведших ли к успеху) советов пересоздать пул, что в реальной
жизни не вариант)? Или же получается, что zfs на линухе пока что
нежизнеспособен?

На всякий случай:

zfs-dkms 0.6.5.9-5
grub-pc 2.02-1

Re: Отзывы о практическом опыте использования ZFS на Linux

2015-05-12 Пенетрантность Фахретдинов Руслан 
Здравствуйте, Stanislav.

Вы писали 12 мая 2015 г., 13:06:36:

 11 мая 2015 г., 13:56 пользователь Bogdan bog...@gmail.com написал:

 Поставил ZFS с http://zfsonlinux.org, на первый взгляд - работает. Если
 кто-то использовал линуксовый порт в продакшене, под нагрузкой либо просто
 продолжительное время - расскажите плс., какие проблемы возникали, насколько
 надёжным получилось решение.

 Теста ради ставил.
 Отказался по двум причинам: 1) 12Гб памяти недостаточно для
 дедупликации более-менее большого массива (хотя ради этого и ставил),
 2) версия годовой давности периодически подвешивала сервер до сброса
 при большом iops (порядка 2000, что являлось предельным для того
 массива).

 1)  Да  на счет использования памяти есть такое, у самого стоит 16Гб,
 массив  raidz1  ака раид5 с 4 винтами по 2Тб, вижу жрет и не мало, но
 дедупликацию  не  использую.  Но об этом и в руководстве написано, но
 есть и свои +, которых я думаю больше.
 2) Надо озадачиться на сброс всего массива, проверить, вот только где
 бы еще емкости найти.


-- 
С уважением,
 Фахретдинов  mailto:ruan...@gmail.com


--
To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org
with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org
Archive: https://lists.debian.org/231179912.20150512142...@gmail.com

Re: Отзывы о практическом опыте использования ZFS на Linux

2015-05-12 Пенетрантность Stanislav Vlasov 
12 мая 2015 г., 13:22 пользователь Фахретдинов Руслан
ruan...@gmail.com написал:

  1)  Да  на счет использования памяти есть такое, у самого стоит 16Гб,
  массив  raidz1  ака раид5 с 4 винтами по 2Тб, вижу жрет и не мало, но
  дедупликацию  не  использую.  Но об этом и в руководстве написано, но
  есть и свои +, которых я думаю больше.

Из того, что было возможно - использовал только снапшоты на сервере бекапов.
При бекапах через rsync --inplace место использовалось эффективнее,
чем в случае rsnapshot с его хардлинками.
История изменений стала не полмесяца, а полтора.

  2) Надо озадачиться на сброс всего массива, проверить, вот только где
  бы еще емкости найти.

Угу. На рабочие сервера поставить побоялся - там нагрузки больше, чем
на бекапах, где zfs таки успешно подвешивала систему (возможно
исправили, конечно, но осадок остался).

-- 
Stanislav

Re: Отзывы о практическом опыте использования ZFS на Linux

2015-05-12 Пенетрантность Stanislav Vlasov 
11 мая 2015 г., 13:56 пользователь Bogdan bog...@gmail.com написал:

 Поставил ZFS с http://zfsonlinux.org, на первый взгляд - работает. Если
 кто-то использовал линуксовый порт в продакшене, под нагрузкой либо просто
 продолжительное время - расскажите плс., какие проблемы возникали, насколько
 надёжным получилось решение.

Теста ради ставил.
Отказался по двум причинам: 1) 12Гб памяти недостаточно для
дедупликации более-менее большого массива (хотя ради этого и ставил),
2) версия годовой давности периодически подвешивала сервер до сброса
при большом iops (порядка 2000, что являлось предельным для того
массива).

-- 
Stanislav

Re: Отзывы о практическом опыте использования ZFS на Linux

2015-05-12 Пенетрантность Vasiliy P. Melnik 
давайте и своих пять копеек добавлю:
и на фре, и на солярисе скорости нет. Использую для raid1, на ненагруженных
серверах. Даже на очень небольшом хостинге просто умирает.

Хорошо использовать для рейда и стореджа на офисных серверах небольших,
быстро загружается после резета, позволяет хранить достаточно много
снапшотов данных и очень просто пользоваться этим. Все.

На солярисе пробовал поднимать оракл - установка оракла датабейз заняла пол
дня. Забил, снес солярис, поставил линукс на md-raid

Надежность хорошая, скорости нет: как-то так.


12 мая 2015 г., 11:28 пользователь Stanislav Vlasov stanislav@gmail.com
 написал:

 12 мая 2015 г., 13:22 пользователь Фахретдинов Руслан
 ruan...@gmail.com написал:

   1)  Да  на счет использования памяти есть такое, у самого стоит 16Гб,
   массив  raidz1  ака раид5 с 4 винтами по 2Тб, вижу жрет и не мало, но
   дедупликацию  не  использую.  Но об этом и в руководстве написано, но
   есть и свои +, которых я думаю больше.

 Из того, что было возможно - использовал только снапшоты на сервере
 бекапов.
 При бекапах через rsync --inplace место использовалось эффективнее,
 чем в случае rsnapshot с его хардлинками.
 История изменений стала не полмесяца, а полтора.

   2) Надо озадачиться на сброс всего массива, проверить, вот только где
   бы еще емкости найти.

 Угу. На рабочие сервера поставить побоялся - там нагрузки больше, чем
 на бекапах, где zfs таки успешно подвешивала систему (возможно
 исправили, конечно, но осадок остался).

 --
 Stanislav

Re: Отзывы о практическом опыте использования ZFS на Linux

2015-05-12 Пенетрантность svx 
и на фре, и на солярисе скорости нет. 

Уж извольте, с Вами тут совсем не согласиться.
Вот у меня, на пуле из 20 дисков 900x10krpm с 2мя ссд для зил и 120 гб 
арк, всё летает. Задержки ~до 10 мс.



   capacity operations bandwidth
poolalloc   free   read  write   read  write
--  -  -  -  -  -  -
fastank  881G  6.45T  6.35K 34   258M   207K
  mirror97.9G   734G566  0  22.9M  0
da4 -  -354  0  23.3M  0
da5 -  -365  0  23.1M  0
  mirror98.0G   734G672  0  26.4M  0
da6 -  -468  0  26.9M  0
da7 -  -468  0  26.4M  0
  mirror97.9G   734G758  0  28.4M  0
da8 -  -470  0  28.9M  0
da9 -  -473  0  29.4M  0
  mirror97.8G   734G799  0  30.7M  0
da10-  -480  0  31.1M  0
da11-  -495  0  30.9M  0
  mirror97.8G   734G781  0  29.8M  0
da12-  -478  0  30.3M  0
da13-  -476  0  30.6M  0
  mirror97.9G   734G765  0  32.4M  0
da14-  -497  0  32.6M  0
da15-  -504  0  33.8M  0
  mirror97.9G   734G764  0  32.0M  0
da16-  -481  0  32.4M  0
da17-  -500  0  32.8M  0
  mirror97.8G   734G703  0  28.3M  0
da18-  -416  0  28.9M  0
da19-  -443  0  30.4M  0
  mirror97.8G   734G688  0  26.6M  0
da20-  -405  0  26.8M  0
da21-  -398  0  26.8M  0
logs-  -  -  -  -  -
  mirror36.0M   186G  0 34  0   207K
da2 -  -  0 34  0   207K
da3 -  -  0 34  0   207K
--  -  -  -  -  -  -

Рекомендую посмотреть например это:
https://events.yandex.ru/lib/talks/2694/
https://events.yandex.ru/lib/talks/2680/
и
https://events.yandex.ru/lib/talks/2677/
И делать выводы о производительности ZFS самостоятельно.

On 12.05.2015 11:35, Vasiliy P. Melnik wrote:

давайте и своих пять копеек добавлю:
и на фре, и на солярисе скорости нет. Использую для raid1, на 
ненагруженных серверах. Даже на очень небольшом хостинге просто умирает.


Хорошо использовать для рейда и стореджа на офисных серверах 
небольших, быстро загружается после резета, позволяет хранить 
достаточно много снапшотов данных и очень просто пользоваться этим. Все.


На солярисе пробовал поднимать оракл - установка оракла датабейз 
заняла пол дня. Забил, снес солярис, поставил линукс на md-raid


Надежность хорошая, скорости нет: как-то так.


12 мая 2015 г., 11:28 пользователь Stanislav Vlasov 
stanislav@gmail.com mailto:stanislav@gmail.com написал:


12 мая 2015 г., 13:22 пользователь Фахретдинов Руслан
ruan...@gmail.com mailto:ruan...@gmail.com написал:

  1)  Да  на счет использования памяти есть такое, у самого стоит
16Гб,
  массив  raidz1  ака раид5 с 4 винтами по 2Тб, вижу жрет и не
мало, но
  дедупликацию  не  использую.  Но об этом и в руководстве
написано, но
  есть и свои +, которых я думаю больше.

Из того, что было возможно - использовал только снапшоты на
сервере бекапов.
При бекапах через rsync --inplace место использовалось эффективнее,
чем в случае rsnapshot с его хардлинками.
История изменений стала не полмесяца, а полтора.

  2) Надо озадачиться на сброс всего массива, проверить, вот
только где
  бы еще емкости найти.

Угу. На рабочие сервера поставить побоялся - там нагрузки больше, чем
на бекапах, где zfs таки успешно подвешивала систему (возможно
исправили, конечно, но осадок остался).

--
Stanislav

Re: Отзывы о практическом опыте использования ZFS на Linux

2015-05-12 Пенетрантность Stanislav Vlasov 
12 мая 2015 г., 14:26 пользователь svx s...@live.ru написал:

По поводу дедупликации, подумайте ещё пару раз, стоит ли вам вообще
 заморачиваться на эту тему, если не отошло, то вот, просвящяйтесь(вообще не
 уверен, что дедуп есть на ZOL):
 https://blogs.oracle.com/roch/entry/dedup_performance_considerations1


dedup там есть. На малом разделе (порядка 100Гб) - работал нормально.

-- 
Stanislav

Re: Отзывы о практическом опыте использования ZFS на Linux

2015-05-12 Пенетрантность зоррыч 

Использую zfs уже около полу года.
Из плюшек, которых нет у btrfs -  это отправка снапшотов по сети на 
другой сервер. lxc виртуалки из-за этого бекапятся очень просто  и 
снапшот сразу сливается на удаленный сервер.


Чтобы не жрало оперативку -  раз в сутки очищаю файловый кеш через 
Konsole output /proc/sys/vm/drop_caches. В противном случае 32 гига 
опертивки при 500 гиговом raid1 забиваются полностью за  2-3 дня и само 
не высобождается.



Из проблем заметил падение iops при обращении к большому количеству 
мелких файлов. К примеру apt-get upgrade выполняется в разы дольше, чем 
на ext4.  Больше проблем нет.


К слову root раздел btrfs у меня посыпался сразу после выключения 
ноутбука по питанию с  zfs у меня таких проблем не было. Да и в случае 
проблем можно вытащить сохраненный snapshot с другого сервера.







12.05.2015 12:09, Vasiliy P. Melnik пишет:
Спасибо за  статистику - интересно, конечно. Но я не говорил о 
космических аппаратах :)


Я рассказывал про свои наблюдения, у меня конфигурации чаще всего 
другие: 2 винта, 4-8 гигов оперативки


12 мая 2015 г., 11:55 пользователь svx s...@live.ru 
mailto:s...@live.ru написал:


и на фре, и на солярисе скорости нет. 

Уж извольте, с Вами тут совсем не согласиться.
Вот у меня, на пуле из 20 дисков 900x10krpm с 2мя ссд для зил и
120 гб арк, всё летает. Задержки ~до 10 мс.


   capacity operationsbandwidth
poolalloc   free   read  write   read  write
--  -  -  -  -  -  -
fastank  881G  6.45T  6.35K 34   258M   207K
  mirror97.9G   734G566  0  22.9M  0
da4 -  -354  0  23.3M  0
da5 -  -365  0  23.1M  0
  mirror98.0G   734G672  0  26.4M  0
da6 -  -468  0  26.9M  0
da7 -  -468  0  26.4M  0
  mirror97.9G   734G758  0  28.4M  0
da8 -  -470  0  28.9M  0
da9 -  -473  0  29.4M  0
  mirror97.8G   734G799  0  30.7M  0
da10-  -480  0  31.1M  0
da11-  -495  0  30.9M  0
  mirror97.8G   734G781  0  29.8M  0
da12-  -478  0  30.3M  0
da13-  -476  0  30.6M  0
  mirror97.9G   734G765  0  32.4M  0
da14-  -497  0  32.6M  0
da15-  -504  0  33.8M  0
  mirror97.9G   734G764  0  32.0M  0
da16-  -481  0  32.4M  0
da17-  -500  0  32.8M  0
  mirror97.8G   734G703  0  28.3M  0
da18-  -416  0  28.9M  0
da19-  -443  0  30.4M  0
  mirror97.8G   734G688  0  26.6M  0
da20-  -405  0  26.8M  0
da21-  -398  0  26.8M  0
logs-  -  -  -  -  -
  mirror36.0M   186G  0 34  0   207K
da2 -  -  0 34  0   207K
da3 -  -  0 34  0   207K
--  -  -  -  -  -  -

Рекомендую посмотреть например это:
https://events.yandex.ru/lib/talks/2694/
https://events.yandex.ru/lib/talks/2680/
и
https://events.yandex.ru/lib/talks/2677/
И делать выводы о производительности ZFS самостоятельно.

On 12.05.2015 11:35, Vasiliy P. Melnik wrote:

давайте и своих пять копеек добавлю:
и на фре, и на солярисе скорости нет. Использую для raid1, на
ненагруженных серверах. Даже на очень небольшом хостинге просто
умирает.

Хорошо использовать для рейда и стореджа на офисных серверах
небольших, быстро загружается после резета, позволяет хранить
достаточно много снапшотов данных и очень просто пользоваться
этим. Все.

На солярисе пробовал поднимать оракл - установка оракла датабейз
заняла пол дня. Забил, снес солярис, поставил линукс на md-raid

Надежность хорошая, скорости нет: как-то так.


12 мая 2015 г., 11:28 пользователь Stanislav Vlasov
stanislav@gmail.com mailto:stanislav@gmail.com написал:

12 мая 2015 г., 13:22 пользователь Фахретдинов Руслан
ruan...@gmail.com mailto:ruan...@gmail.com написал:

  1)  Да  на счет использования памяти есть такое, у самого
стоит 16Гб,
  массив  raidz1  ака раид5 с 4 винтами по 2Тб, вижу жрет и
не мало, но
  дедупликацию  не  использую.  Но об этом и в руководстве
написано, но
  есть и свои +, которых я думаю больше.

Из того, что было возможно - использовал только снапшоты на
сервере бекапов.
При бекапах через rsync

Re: Отзывы о практическом опыте использования ZFS на Linux

2015-05-12 Пенетрантность Фахретдинов Руслан 
Title: Re:  ZFS  Linux


Здравствуйте, svx.

Вы писали 12 мая 2015 г., 14:55:17:





и на фре, и на солярисе скорости нет.
Уж извольте, с Вами тут совсем не согласиться.
Вот у меня, на пуле из 20 дисков 900x10krpm с 2мя ссд для зил и 120 гб арк, всё летает. Задержки ~до 10 мс.

   capacity   operations  bandwidth
poolalloc  free  read write  read write
-- - - - - - -
fastank   881G 6.45T 6.35K   34  258M  207K
 mirror  97.9G  734G  566   0 22.9M   0
  da4 -   -  354   0 23.3M   0
  da5 -   -  365   0 23.1M   0
 mirror  98.0G  734G  672   0 26.4M   0
  da6 -   -  468   0 26.9M   0
  da7 -   -  468   0 26.4M   0
 mirror  97.9G  734G  758   0 28.4M   0
  da8 -   -  470   0 28.9M   0
  da9 -   -  473   0 29.4M   0
 mirror  97.8G  734G  799   0 30.7M   0
  da10-   -  480   0 31.1M   0
  da11-   -  495   0 30.9M   0
 mirror  97.8G  734G  781   0 29.8M   0
  da12-   -  478   0 30.3M   0
  da13-   -  476   0 30.6M   0
 mirror  97.9G  734G  765   0 32.4M   0
  da14-   -  497   0 32.6M   0
  da15-   -  504   0 33.8M   0
 mirror  97.9G  734G  764   0 32.0M   0
  da16-   -  481   0 32.4M   0
  da17-   -  500   0 32.8M   0
 mirror  97.8G  734G  703   0 28.3M   0
  da18-   -  416   0 28.9M   0
  da19-   -  443   0 30.4M   0
 mirror  97.8G  734G  688   0 26.6M   0
  da20-   -  405   0 26.8M   0
  da21-   -  398   0 26.8M   0
logs  -   -   -   -   -   -
 mirror  36.0M  186G   0   34   0  207K
  da2 -   -   0   34   0  207K
  da3 -   -   0   34   0  207K
-- - - - - - -
Рекомендую посмотреть например это:
https://events.yandex.ru/lib/talks/2694/
https://events.yandex.ru/lib/talks/2680/
и
https://events.yandex.ru/lib/talks/2677/
И делать выводы о производительности ZFS самостоятельно.

On 12.05.2015 11:35, Vasiliy P. Melnik wrote:
давайте и своих пять копеек добавлю:
и на фре, и на солярисе скорости нет. Использую для raid1, на ненагруженных серверах. Даже на очень небольшом хостинге просто умирает.

Хорошо использовать для рейда и стореджа на офисных серверах небольших, быстро загружается после резета, позволяет хранить достаточно много снапшотов данных и очень просто пользоваться этим. Все.

На солярисе пробовал поднимать оракл - установка оракла датабейз заняла пол дня. Забил, снес солярис, поставил линукс на md-raid

Надежность хорошая, скорости нет: как-то так.


12 мая 2015 г., 11:28 пользователь Stanislav Vlasov stanislav@gmail.com написал:
12 мая 2015 г., 13:22 пользователь Фахретдинов Руслан
ruan...@gmail.com написал:

 1) Да на счет использования памяти есть такое, у самого стоит 16Гб,
 массив raidz1 ака раид5 с 4 винтами по 2Тб, вижу жрет и не мало, но
 дедупликацию не использую. Но об этом и в руководстве написано, но
 есть и свои +, которых я думаю больше.

Из того, что было возможно - использовал только снапшоты на сервере бекапов.
При бекапах через rsync --inplace место использовалось эффективнее,
чем в случае rsnapshot с его хардлинками.
История изменений стала не полмесяца, а полтора.

 2) Надо озадачиться на сброс всего массива, проверить, вот только где
 бы еще емкости найти.

Угу. На рабочие сервера поставить побоялся - там нагрузки больше, чем
на бекапах, где zfs таки успешно подвешивала систему (возможно
исправили, конечно, но осадок остался).

--
Stanislav



Разница в том что вы используете зеркало, тоже подумывал перейти на зеркало, скорость по тестам в разы лучше

--
С уважением,
Фахретдинов mailto:ruan...@gmail.com


--
To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org
with a subject of "unsubscribe". Trouble? Contact listmas...@lists.debian.org
Archive: https://lists.debian.org/19510600431.20150512150...@gmail.com

Re: Отзывы о практическом опыте использования ZFS на Linux

2015-05-12 Пенетрантность svx 
Разница в том что вы используете зеркало, тоже подумывал перейти на 
зеркало, скорость по тестам в разы лучше

Для быстрого raidz{1..3}
Требования к железу растут очень сильно. У меня например ctl(iscsi) 
демон кушал ресурсов меньше, чем система постоянно производящая выгребку 
данных из zil и записью на диск(3 raidz2 по 6 дисков в jbod), порой 
драматически опускаясь до 10 мб/с; попросту не справлялся 
процессор(2xE5-2609).

По железкам посмотрите вот здесь:
http://www.solarisinternals.com/wiki/index.php/ZFS_Best_Practices_Guide#RAIDZ_Configuration_Requirements_and_Recommendations
По поводу дедупликации, подумайте ещё пару раз, стоит ли вам вообще 
заморачиваться на эту тему, если не отошло, то вот, просвящяйтесь(вообще 
не уверен, что дедуп есть на ZOL):

https://blogs.oracle.com/roch/entry/dedup_performance_considerations1
Спасибо за  статистику - интересно, конечно. Но я не говорил о 
космических аппаратах :)


Я рассказывал про свои наблюдения, у меня конфигурации чаще всего 
другие: 2 винта, 4-8 гигов оперативки
Также напоминаю, что ZFS требует, чтобы память была хотя-бы ECC, иначе 
вас может постичь Scrub of death

http://blog.brianmoses.net/2014/03/why-i-chose-non-ecc-ram-for-my-freenas.html
http://jrs-s.net/2015/02/03/will-zfs-and-non-ecc-ram-kill-your-data/
Но это опять же, можно обойти(на свой страх и риск разумеется):
http://arstechnica.com/civis/viewtopic.php?f=2t=1235679p=26303271#p26303271

После всех ужастей(потеря пула при апгрейде версии пула[из личного, так 
сказать]) и прочего(требования по железу), не проще по старинке 
ext4/xfs+lvm2 или просто btrfs?


On 12.05.2015 12:07, Фахретдинов Руслан wrote:
Re: Отзывы о практическом опыте использования ZFS на Linux 
Здравствуйте, svx.


Вы писали 12 мая 2015 г., 14:55:17:


и на фре, и на солярисе скорости нет.
Уж извольте, с Вами тут совсем не согласиться.
Вот у меня, на пуле из 20 дисков 900x10krpm с 2мя ссд для зил и 120 гб 
арк, всё летает. Задержки ~до 10 мс.


   capacity operationsbandwidth
poolalloc   free   read  write   read  write
--  -  -  -  -  -  -
fastank  881G  6.45T  6.35K 34   258M   207K
  mirror97.9G   734G566  0  22.9M  0
da4 -  -354  0  23.3M  0
da5 -  -365  0  23.1M  0
  mirror98.0G   734G672  0  26.4M  0
da6 -  -468  0  26.9M  0
da7 -  -468  0  26.4M  0
  mirror97.9G   734G758  0  28.4M  0
da8 -  -470  0  28.9M  0
da9 -  -473  0  29.4M  0
  mirror97.8G   734G799  0  30.7M  0
da10-  -480  0  31.1M  0
da11-  -495  0  30.9M  0
  mirror97.8G   734G781  0  29.8M  0
da12-  -478  0  30.3M  0
da13-  -476  0  30.6M  0
  mirror97.9G   734G765  0  32.4M  0
da14-  -497  0  32.6M  0
da15-  -504  0  33.8M  0
  mirror97.9G   734G764  0  32.0M  0
da16-  -481  0  32.4M  0
da17-  -500  0  32.8M  0
  mirror97.8G   734G703  0  28.3M  0
da18-  -416  0  28.9M  0
da19-  -443  0  30.4M  0
  mirror97.8G   734G688  0  26.6M  0
da20-  -405  0  26.8M  0
da21-  -398  0  26.8M  0
logs-  -  -  -  -  -
  mirror36.0M   186G  0 34  0   207K
da2 -  -  0 34  0   207K
da3 -  -  0 34  0   207K
--  -  -  -  -  -  -
Рекомендую посмотреть например это:
https://events.yandex.ru/lib/talks/2694/
https://events.yandex.ru/lib/talks/2680/
и
https://events.yandex.ru/lib/talks/2677/
И делать выводы о производительности ZFS самостоятельно.

On 12.05.2015 11:35, Vasiliy P. Melnik wrote:
давайте и своих пять копеек добавлю:
и на фре, и на солярисе скорости нет. Использую для raid1, на 
ненагруженных серверах. Даже на очень небольшом хостинге просто умирает.


Хорошо использовать для рейда и стореджа на офисных серверах 
небольших, быстро загружается после резета, позволяет хранить 
достаточно много снапшотов данных и очень просто пользоваться этим. Все.


На солярисе пробовал поднимать оракл - установка оракла датабейз 
заняла пол дня. Забил, снес солярис, поставил линукс на md-raid


Надежность хорошая, скорости нет: как-то так.


12 мая 2015 г., 11:28 пользователь Stanislav Vlasov 
stanislav@gmail.com mailto:stanislav@gmail.com написал:

12 мая 2015 г., 13:22 пользователь Фахретдинов Руслан
ruan...@gmail.com mailto:ruan...@gmail.com написал:

  1)  Да  на счет использования памяти есть такое, у самого стоит 16Гб

Re: Отзывы о практическом опыте использования ZFS на Linux

2015-05-12 Пенетрантность Vasiliy P. Melnik 
у меня один раз развалился пул из-за умершей планки памяти. В машине было
две планки, машина видела их обе и память считалась общая, но одна из
планок самостоятельно напрочь отказывалась работать.Я создаю два пула -
один для системы, другой для данных. Развалился системный пул - при
монтировании кернел паник и ребут. Спасло то, что пул с данными
примонтировался.
Единственный раз была проблема, и она возникла из-за железа.

Один сервер даже залило водой, материнка умерла - а винты живые и пулы
живые. Питание выбило - но сервер был на упсе.

А сколько сервера пережили отключений питания - я даже затрудняюсь сказать.
Так что с надежностью у зфс-а все ок.

Re: Отзывы о практическом опыте использования ZFS на Linux

2015-05-12 Пенетрантность Vasiliy P. Melnik 
Спасибо за  статистику - интересно, конечно. Но я не говорил о космических
аппаратах :)

Я рассказывал про свои наблюдения, у меня конфигурации чаще всего другие: 2
винта, 4-8 гигов оперативки

12 мая 2015 г., 11:55 пользователь svx s...@live.ru написал:

  и на фре, и на солярисе скорости нет.

 Уж извольте, с Вами тут совсем не согласиться.
 Вот у меня, на пуле из 20 дисков 900x10krpm с 2мя ссд для зил и 120 гб
 арк, всё летает. Задержки ~до 10 мс.

capacity operationsbandwidth
 poolalloc   free   read  write   read  write
 --  -  -  -  -  -  -
 fastank  881G  6.45T  6.35K 34   258M   207K
   mirror97.9G   734G566  0  22.9M  0
 da4 -  -354  0  23.3M  0
 da5 -  -365  0  23.1M  0
   mirror98.0G   734G672  0  26.4M  0
 da6 -  -468  0  26.9M  0
 da7 -  -468  0  26.4M  0
   mirror97.9G   734G758  0  28.4M  0
 da8 -  -470  0  28.9M  0
 da9 -  -473  0  29.4M  0
   mirror97.8G   734G799  0  30.7M  0
 da10-  -480  0  31.1M  0
 da11-  -495  0  30.9M  0
   mirror97.8G   734G781  0  29.8M  0
 da12-  -478  0  30.3M  0
 da13-  -476  0  30.6M  0
   mirror97.9G   734G765  0  32.4M  0
 da14-  -497  0  32.6M  0
 da15-  -504  0  33.8M  0
   mirror97.9G   734G764  0  32.0M  0
 da16-  -481  0  32.4M  0
 da17-  -500  0  32.8M  0
   mirror97.8G   734G703  0  28.3M  0
 da18-  -416  0  28.9M  0
 da19-  -443  0  30.4M  0
   mirror97.8G   734G688  0  26.6M  0
 da20-  -405  0  26.8M  0
 da21-  -398  0  26.8M  0
 logs-  -  -  -  -  -
   mirror36.0M   186G  0 34  0   207K
 da2 -  -  0 34  0   207K
 da3 -  -  0 34  0   207K
 --  -  -  -  -  -  -

 Рекомендую посмотреть например это:
 https://events.yandex.ru/lib/talks/2694/
 https://events.yandex.ru/lib/talks/2680/
 и
 https://events.yandex.ru/lib/talks/2677/
 И делать выводы о производительности ZFS самостоятельно.

 On 12.05.2015 11:35, Vasiliy P. Melnik wrote:

 давайте и своих пять копеек добавлю:
 и на фре, и на солярисе скорости нет. Использую для raid1, на
 ненагруженных серверах. Даже на очень небольшом хостинге просто умирает.

  Хорошо использовать для рейда и стореджа на офисных серверах небольших,
 быстро загружается после резета, позволяет хранить достаточно много
 снапшотов данных и очень просто пользоваться этим. Все.

  На солярисе пробовал поднимать оракл - установка оракла датабейз заняла
 пол дня. Забил, снес солярис, поставил линукс на md-raid

  Надежность хорошая, скорости нет: как-то так.


 12 мая 2015 г., 11:28 пользователь Stanislav Vlasov 
 stanislav@gmail.com написал:

 12 мая 2015 г., 13:22 пользователь Фахретдинов Руслан
 ruan...@gmail.com написал:

   1)  Да  на счет использования памяти есть такое, у самого стоит 16Гб,
   массив  raidz1  ака раид5 с 4 винтами по 2Тб, вижу жрет и не мало, но
   дедупликацию  не  использую.  Но об этом и в руководстве написано, но
   есть и свои +, которых я думаю больше.

 Из того, что было возможно - использовал только снапшоты на сервере
 бекапов.
 При бекапах через rsync --inplace место использовалось эффективнее,
 чем в случае rsnapshot с его хардлинками.
 История изменений стала не полмесяца, а полтора.

   2) Надо озадачиться на сброс всего массива, проверить, вот только где
   бы еще емкости найти.

 Угу. На рабочие сервера поставить побоялся - там нагрузки больше, чем
 на бекапах, где zfs таки успешно подвешивала систему (возможно
 исправили, конечно, но осадок остался).

 --
 Stanislav

Re: Отзывы о практическом опыте использования ZFS на Linux

2015-05-12 Пенетрантность Bogdan 
Привет.
Спасибо всем за отзывы.
Пожалуйста, без нужды не поминайте btrfs и zfs на других системах. Мне
интересен вопрос именно стабильности и совместимость ZFS на Linux. Пока что
пошарил ZFS с компрессией по СIFS - суточные бэкапы пережило.

2015-05-12 13:16 GMT+03:00 Vasiliy P. Melnik ba...@vpm.net.ua:

 у меня один раз развалился пул из-за умершей планки памяти. В машине было
 две планки, машина видела их обе и память считалась общая, но одна из
 планок самостоятельно напрочь отказывалась работать.Я создаю два пула -
 один для системы, другой для данных. Развалился системный пул - при
 монтировании кернел паник и ребут. Спасло то, что пул с данными
 примонтировался.
 Единственный раз была проблема, и она возникла из-за железа.

 Один сервер даже залило водой, материнка умерла - а винты живые и пулы
 живые. Питание выбило - но сервер был на упсе.

 А сколько сервера пережили отключений питания - я даже затрудняюсь
 сказать. Так что с надежностью у зфс-а все ок.




-- 
WBR,  Bogdan B. Rudas

Отзывы о практическом опыте использования ZFS на Linux

2015-05-11 Пенетрантность Bogdan 
Привет.

Поставил ZFS с http://zfsonlinux.org, на первый взгляд - работает. Если
кто-то использовал линуксовый порт в продакшене, под нагрузкой либо просто
продолжительное время - расскажите плс., какие проблемы возникали,
насколько надёжным получилось решение.

Спасибо.

-- 
WBR,  Bogdan B. Rudas

Re: Отзывы о практическом опыте использования ZFS на Linux

2015-05-11 Пенетрантность Andrey Tataranovich 
Приветствую,

On Mon, 11 May 2015 11:56:25 +0300
Bogdan bog...@gmail.com wrote:

 Поставил ZFS с http://zfsonlinux.org, на первый взгляд - работает.
 Если кто-то использовал линуксовый порт в продакшене, под нагрузкой
 либо просто продолжительное время - расскажите плс., какие проблемы
 возникали, насколько надёжным получилось решение.

Я игрался пару месяцев назад - из того, что помню:

 - mysql из коробки не запускается (решается через
   innodb_use_native_aio = 0)
 - монтирование в zfs проходит после или сразу в процессе старта
   сервисов, которые зависят от томов zfs.
 - пробовал монтировать zfs через fstab, но то же не получилось

По последнему пункту не помню подробности.

-- 
WBR, Andrey Tataranovich


--
To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org
with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org
Archive: https://lists.debian.org/20150511131359.565f0d3e@dragoncore.local

Re: Отзывы о практическом опыте использования ZFS на Linux

2015-05-11 Пенетрантность Wladimir Krawtschunowski 
 

Am 2015-05-11 10:56, schrieb Bogdan: 

 Привет. 
 
 Поставил ZFS с http://zfsonlinux.org [1], на первый взгляд - работает. Если 
 кто-то использовал линуксовый порт в продакшене, под нагрузкой либо просто 
 продолжительное время - расскажите плс., какие проблемы возникали, насколько 
 надёжным получилось решение. 
 
 Спасибо.
 
 -- 
 
 WBR, Bogdan B. Rudas

Не поймите неправильно - не флейма ради а действительно интересно: А
почему ZFS под Linux? Есть какието конкретные требования? Вы смотрели в
сторону btrfs? 

С уважением 

Владимир Кравчуновский 
 

Links:
--
[1] http://zfsonlinux.org

Re: Отзывы о практическом опыте использования ZFS на Linux

2015-05-11 Пенетрантность Фахретдинов Руслан 
Здравствуйте, Andrey.

Вы писали 11 мая 2015 г., 16:13:59:

 Приветствую,

 On Mon, 11 May 2015 11:56:25 +0300
 Bogdan bog...@gmail.com wrote:

 Поставил ZFS с http://zfsonlinux.org, на первый взгляд - работает.
 Если кто-то использовал линуксовый порт в продакшене, под нагрузкой
 либо просто продолжительное время - расскажите плс., какие проблемы
 возникали, насколько надёжным получилось решение.

 Я игрался пару месяцев назад - из того, что помню:

  - mysql из коробки не запускается (решается через
innodb_use_native_aio = 0)
  - монтирование в zfs проходит после или сразу в процессе старта
сервисов, которые зависят от томов zfs.
  - пробовал монтировать zfs через fstab, но то же не получилось

 По последнему пункту не помню подробности.

 -- 
 WBR, Andrey Tataranovich
Всем добрый день,
 Стоит  на  домашнем  NAS,  все без нареканий уже год. Были проблемы с
 первыми  версиями  по  загрузке  томов, сейчас на debian 8 исправил в
 загрузочном скрипте параметр -Oa и все монтируется нормально.


-- 
С уважением,
 Фахретдинов  mailto:ruan...@gmail.com


--
To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org
with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org
Archive: https://lists.debian.org/1825003238.20150512112...@gmail.com

Re: kfreebsd-image или zfs-on-linux?

2013-11-18 Пенетрантность Dmitrii Kashin 
Stanislav Vlasov stanislav@gmail.com writes:

 17 ноября 2013 г., 14:11 пользователь alexander barakin (aka sash-kan)
 a...@barak.in написал:

  Или использовать систему контроля версий, например Git.

 Это для более огранизованной системы, когда git вписывается в рабочий
 процесс. Тут же есть риск удаления .git.

 каталог с самим репозиторием (каталог .git) может располагаться и
 вдалеке от рабочей копии.  и называться произвольно.

 git не поможет в случае нетекстовых (бинарных) файлов:

 Да и бинарники там целиком лежат, коих будет больше половины.

Весьма спорное утверждение. Git-то в отличие от большинства VCS очень
даже подходит для контроля версий бинарных файлов, ибо как известно,
хранит не diff'ы.



pgp55Sige08D7.pgp
Description: PGP signature

Re: kfreebsd-image или zfs-on-linux?

2013-11-18 Пенетрантность Stanislav Vlasov 
18 ноября 2013 г., 14:52 пользователь Dmitrii Kashin
free...@freehck.ru написал:

 git не поможет в случае нетекстовых (бинарных) файлов:

 Да и бинарники там целиком лежат, коих будет больше половины.

 Весьма спорное утверждение. Git-то в отличие от большинства VCS очень
 даже подходит для контроля версий бинарных файлов, ибо как известно,
 хранит не diff'ы.

Ну хорошо. Порядка 1Тб файлов размера от 0 байт до ~10Гб на одном сервере.
История требуется за месяц с контрольными точками в среднем 2 раза в день.
Изменяется порядка 10% количества и 1% объёма в день.
Объём считался по количеству операций записи, а не суммарный объём
изменных файлов (этих - таки 10%).
Какой объём репозитория git потребуется и накой так извращаться, если
нужный результат достигается при меньшем потреблении ресурсов?

-- 
Stanislav

Re: kfreebsd-image или zfs-on-linux?

2013-11-18 Пенетрантность Dmitrii Kashin 
Stanislav Vlasov stanislav@gmail.com writes:

 18 ноября 2013 г., 14:52 пользователь Dmitrii Kashin
 free...@freehck.ru написал:

 git не поможет в случае нетекстовых (бинарных) файлов:

 Да и бинарники там целиком лежат, коих будет больше половины.

 Весьма спорное утверждение. Git-то в отличие от большинства VCS очень
 даже подходит для контроля версий бинарных файлов, ибо как известно,
 хранит не diff'ы.

 Ну хорошо. Порядка 1Тб файлов размера от 0 байт до ~10Гб на одном сервере.
 История требуется за месяц с контрольными точками в среднем 2 раза в день.
 Изменяется порядка 10% количества и 1% объёма в день.
 Объём считался по количеству операций записи, а не суммарный объём
 изменных файлов (этих - таки 10%).
 Какой объём репозитория git потребуется и накой так извращаться, если
 нужный результат достигается при меньшем потреблении ресурсов?

Круто. Напомню, что в первом письме говорилось:

 требуется хранить историю слабо меняющихся данных в виде мелких файлов

Разные задачи, разные и подходы.


pgpj0oyaWNorQ.pgp
Description: PGP signature

Re: kfreebsd-image или zfs-on-linux?

2013-11-18 Пенетрантность Said Chavkin 
Здравствуйте.

Для git нельзя будет органичить глубину истории.
Посмотрите на lvm snapshot, но надо иметь ввиду, что записи на
файловую систему со снапшотами будут генерировать дополнительную
дисковую нагрузку для сохранения состояния снапшота.


2013/11/18 Dmitrii Kashin free...@freehck.ru:
 Stanislav Vlasov stanislav@gmail.com writes:

 18 ноября 2013 г., 14:52 пользователь Dmitrii Kashin
 free...@freehck.ru написал:

 git не поможет в случае нетекстовых (бинарных) файлов:

 Да и бинарники там целиком лежат, коих будет больше половины.

 Весьма спорное утверждение. Git-то в отличие от большинства VCS очень
 даже подходит для контроля версий бинарных файлов, ибо как известно,
 хранит не diff'ы.

 Ну хорошо. Порядка 1Тб файлов размера от 0 байт до ~10Гб на одном сервере.
 История требуется за месяц с контрольными точками в среднем 2 раза в день.
 Изменяется порядка 10% количества и 1% объёма в день.
 Объём считался по количеству операций записи, а не суммарный объём
 изменных файлов (этих - таки 10%).
 Какой объём репозитория git потребуется и накой так извращаться, если
 нужный результат достигается при меньшем потреблении ресурсов?

 Круто. Напомню, что в первом письме говорилось:

 требуется хранить историю слабо меняющихся данных в виде мелких файлов

 Разные задачи, разные и подходы.

Re: kfreebsd-image или zfs-on-linux?

2013-11-18 Пенетрантность Stanislav Vlasov 
18 ноября 2013 г., 15:51 пользователь Dmitrii Kashin
free...@freehck.ru написал:

 Ну хорошо. Порядка 1Тб файлов размера от 0 байт до ~10Гб на одном сервере.
 История требуется за месяц с контрольными точками в среднем 2 раза в день.
 Изменяется порядка 10% количества и 1% объёма в день.
 Объём считался по количеству операций записи, а не суммарный объём
 изменных файлов (этих - таки 10%).
 Какой объём репозитория git потребуется и накой так извращаться, если
 нужный результат достигается при меньшем потреблении ресурсов?

 Круто. Напомню, что в первом письме говорилось:

 требуется хранить историю слабо меняющихся данных в виде мелких файлов

 Разные задачи, разные и подходы.

Ну да, но про количество в первом письме ничего не говорилось.
И 1% в день - это таки слабо меняющиеся, на самом деле :-)
Особенно, если вспомнить логи БД...

-- 
Stanislav

Re: kfreebsd-image или zfs-on-linux?

2013-11-18 Пенетрантность Stanislav Vlasov 
18 ноября 2013 г., 16:12 пользователь Said Chavkin schav...@gmail.com написал:

 Для git нельзя будет органичить глубину истории.
 Посмотрите на lvm snapshot, но надо иметь ввиду, что записи на
 файловую систему со снапшотами будут генерировать дополнительную
 дисковую нагрузку для сохранения состояния снапшота.

А также прекращение работы с диском при переполнении снапшота, что
значительно хуже дисковых тормозов...
Поэтому и была выбрана zfs.
Возможно, в btrfs можно было бы сделать подобное, но роль сыграло как
отсутствие опыта работы с ней, так и то, что она недостаточно высохла
:-)

 2013/11/18 Dmitrii Kashin free...@freehck.ru:

Просьба не писать в режиме топ-менеджера в техническую рассылку.

-- 
Stanislav

Re: kfreebsd-image или zfs-on-linux?

2013-11-18 Пенетрантность Alexander 

18.11.2013, 14:55, Stanislav Vlasov stanislav@gmail.com:
 18 ноября 2013 г., 16:12 пользователь Said Chavkin schav...@gmail.com 
 написал:

  Для git нельзя будет органичить глубину истории.
  Посмотрите на lvm snapshot, но надо иметь ввиду, что записи на
  файловую систему со снапшотами будут генерировать дополнительную
  дисковую нагрузку для сохранения состояния снапшота.

 А также прекращение работы с диском при переполнении снапшота, что
 значительно хуже дисковых тормозов...
 Поэтому и была выбрана zfs.
 Возможно, в btrfs можно было бы сделать подобное, но роль сыграло как
 отсутствие опыта работы с ней, так и то, что она недостаточно высохла
 :-)


ZFS рулит и педалит, LVM тут курит, все правильно делаешь


-- 
To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org
with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org
Archive: http://lists.debian.org/5491384773...@web19g.yandex.ru

Re: kfreebsd-image или zfs-on-linux?

2013-11-18 Пенетрантность Dmitrii Kashin 
Said Chavkin schav...@gmail.com writes:

 Для git нельзя будет органичить глубину истории.

Неправда ваша. Есть же опция --depth. Впрочем, я тут отвечаю в режиме
топ-менеджера, так что стоит ли меня слушать...


pgpqB7yvpOicD.pgp
Description: PGP signature

Re: kfreebsd-image или zfs-on-linux?

2013-11-17 Пенетрантность alexander barakin (aka sash-kan) 


13.11.13, 08:22, Stanislav Vlasov stanislav@gmail.com:
 
 12 ноября 2013 г., 19:38 пользователь Dmitrii Kashin
 free...@freehck.ru написал:
  В связи с тем, что требуется хранить историю слабо меняющихся данных в
  виде мелких файлов за большой период времени, возникла идея
  использоваться zfs с её дедупликацией и снапшотами.
 
  Или использовать систему контроля версий, например Git.
 
 Это для более огранизованной системы, когда git вписывается в рабочий
 процесс. Тут же есть риск удаления .git.

каталог с самим репозиторием (каталог .git) может располагаться и вдалеке от 
рабочей копии.
и называться произвольно.

 Да и бинарники там целиком
 лежат, коих будет больше половины.
 Сам по себе git у нас используется, но на серверах - для
 развёртывания, а не для отслеживания версий пользовательских файлов.
 
  Можно ли поставить kfreebsd-image в имеющуюся систему и получить
  возможность работать с zfs с минимальным даунтаймом сервера без опыта
  такого апгрейда на реальном железе?
 
  Насколько мне известно, миграция между архитектурами - вещь не
  неподдерживаемая. Если надо мигрировать на другую архитектуру, будет
  разумно развернуть новый сервер, поставить там те же пакеты с теми же
  настройками, удостовериться, что всё работает, и прозрачно подменить
  один сервер другим.
 
 Ясно, благодарю.
 
 -- 
 Stanislav


-- 
без подписи


-- 
To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org
with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org
Archive: http://lists.debian.org/128041384675...@web28h.yandex.ru

Re: kfreebsd-image или zfs-on-linux?

2013-11-17 Пенетрантность Stanislav Vlasov 
17 ноября 2013 г., 14:11 пользователь alexander barakin (aka sash-kan)
a...@barak.in написал:

  Или использовать систему контроля версий, например Git.
 Это для более огранизованной системы, когда git вписывается в рабочий
 процесс. Тут же есть риск удаления .git.

 каталог с самим репозиторием (каталог .git) может располагаться и вдалеке 
 от рабочей копии.
 и называться произвольно.

git не поможет в случае нетекстовых (бинарных) файлов:

 Да и бинарники там целиком
 лежат, коих будет больше половины.


-- 
Stanislav

kfreebsd-image или zfs-on-linux?

2013-11-12 Пенетрантность Stanislav Vlasov 
В связи с тем, что требуется хранить историю слабо меняющихся данных в
виде мелких файлов за большой период времени, возникла идея
использоваться zfs с её дедупликацией и снапшотами.
С самой zfs знаком по freebsd, так что реализовать то, что требуется, смогу.
Собственно вопросы:
Можно ли поставить kfreebsd-image в имеющуюся систему и получить
возможность работать с zfs с минимальным даунтаймом сервера без опыта
такого апгрейда на реальном железе?
И будет ли результат лучше в плане стабильности работы файлового
сервера NFS3, чем линуксовое ядро из репозитория + модуль с
zfsonlinux.org?

-- 
Stanislav

Re: kfreebsd-image или zfs-on-linux?

2013-11-12 Пенетрантность Dmitrii Kashin 
Stanislav Vlasov stanislav@gmail.com writes:

 В связи с тем, что требуется хранить историю слабо меняющихся данных в
 виде мелких файлов за большой период времени, возникла идея
 использоваться zfs с её дедупликацией и снапшотами.

Или использовать систему контроля версий, например Git.

 С самой zfs знаком по freebsd, так что реализовать то, что требуется,
 смогу.

Понятно, почему хочется сделать выбор именно в сторону знакомой zfs.

 Можно ли поставить kfreebsd-image в имеющуюся систему и получить
 возможность работать с zfs с минимальным даунтаймом сервера без опыта
 такого апгрейда на реальном железе?

Насколько мне известно, миграция между архитектурами - вещь не
неподдерживаемая. Если надо мигрировать на другую архитектуру, будет
разумно развернуть новый сервер, поставить там те же пакеты с теми же
настройками, удостовериться, что всё работает, и прозрачно подменить
один сервер другим.



pgpBGFX2uBWcn.pgp
Description: PGP signature

Re: kfreebsd-image или zfs-on-linux?

2013-11-12 Пенетрантность Stanislav Vlasov 
12 ноября 2013 г., 19:38 пользователь Dmitrii Kashin
free...@freehck.ru написал:
 В связи с тем, что требуется хранить историю слабо меняющихся данных в
 виде мелких файлов за большой период времени, возникла идея
 использоваться zfs с её дедупликацией и снапшотами.

 Или использовать систему контроля версий, например Git.

Это для более огранизованной системы, когда git вписывается в рабочий
процесс. Тут же есть риск удаления .git. Да и бинарники там целиком
лежат, коих будет больше половины.
Сам по себе git у нас используется, но на серверах - для
развёртывания, а не для отслеживания версий пользовательских файлов.

 Можно ли поставить kfreebsd-image в имеющуюся систему и получить
 возможность работать с zfs с минимальным даунтаймом сервера без опыта
 такого апгрейда на реальном железе?

 Насколько мне известно, миграция между архитектурами - вещь не
 неподдерживаемая. Если надо мигрировать на другую архитектуру, будет
 разумно развернуть новый сервер, поставить там те же пакеты с теми же
 настройками, удостовериться, что всё работает, и прозрачно подменить
 один сервер другим.

Ясно, благодарю.

-- 
Stanislav