Re: shared fs
On Mon, Apr 14, 2008 at 06:50:34PM +0200, Alex Mestiashvili wrote: Сейчас проверил на GFS1 под RedHate 4, такого не происходит. GFS2 похоже не очень рабочий :-/ совсем пропустил про RedHat 4 :) там будет ядерный cman . а узла c debian-ом нет ? Нет, сейчас нет. Пробовали это всё N лет назад, конечно на debian, но тогда столкнулись с рядом трудностей (неработающий мультипасинг с Clariion, нет пакетов с RHCS) и перешли на RedHate. например в faq-е упоминается /proc/cluster , который у меня вообше отсутствует , кажется оно переехало в /sys/kernel/config/dlm/cluster/ . несколько раздражает эта неопределенность . Сейчас RHCS это Вторая Система по Бруксу в чистом виде :( -- To UNSUBSCRIBE, email to [EMAIL PROTECTED] with a subject of unsubscribe. Trouble? Contact [EMAIL PROTECTED]
Re: shared fs
Alexander GQ Gerasiov wrote: На Sat, 12 Apr 2008 14:02:39 +0200 Alex Mestiashvili [EMAIL PROTECTED] записано: Hi ALL . есть желание использовать shared fs , пока кандидатами являлись ocfs2 и gfs/gfs2 . честно говоря , впечатление обе производят довольно сырое . сервера используют QLogic Corp. ISP2432-based 4Gb Fibre Channel для соединения cо storage . пока сконяюсь больше к gfs , так как на сайте есть более-менее нормальная документация . в отличие от OCFS2 которая хоть и работает из коробки , но документации гораздо меньше ( или я не нашел ) . с gfs2 дело не пошло , пробовал как пакеты из testing , так и redhat-cluster-suite из cvs . сделал все как было описано в оффициальном мануале , диски смонтировал , при этом если создать файл на одной ноде , этот файл видно и на другой , как и должно быть , но если писать что-то в файл то на другом узле не видно что размер файла меняется . вполне вероятно что дело в кривых руках , но посоветоваться не скем . так-же по некоторым тестам bonnie++ gfs несколько шустрее ocfs2 . shared storage нужен для разных задач , одной из самых тяжелых будет mysql c innodb базами ~ 1- 4 G . интересно кто что думает об этих fs . какие плюсы, минусы , и вообше можно ли их использовать в производстве ? Одно время тоже присматривались к кластерным фс, но как-то не впечатлило на первый взгляд. Будет очень неплохо, если потом какую-то выжимку из своих экспериментов расскажешь. да , наверное запишу , а то забуду что к чему . Насчет сырости... у нас редхэтовский кластер работает заради clvm на стораджевых томах. Более-менее стабильно, но не так давно было, что перезапустили один из серверов, а он в кластер войти не может. Хотя на остальных вроде cman ничего криминального не сообщает. В итоге пришлось рестартовать cman на всех машинах. -- To UNSUBSCRIBE, email to [EMAIL PROTECTED] with a subject of unsubscribe. Trouble? Contact [EMAIL PROTECTED]
Re: shared fs
Pavel Ammosov wrote: On Sat, Apr 12, 2008 at 02:02:39PM +0200, Alex Mestiashvili wrote: сделал все как было описано в оффициальном мануале , диски смонтировал , при этом если создать файл на одной ноде , этот файл видно и на другой , как и должно быть , но если писать что-то в файл то на другом узле не видно что размер файла меняется . Там кеширование метаданных, скорее всего. ну например если отмонтировать , и примонтировать назад , то размер файла все равно 0 или нечто левое. #mount /dev/sda1 on / type ext3 (rw,errors=remount-ro) tmpfs on /lib/init/rw type tmpfs (rw,nosuid,mode=0755) proc on /proc type proc (rw,noexec,nosuid,nodev) sysfs on /sys type sysfs (rw,noexec,nosuid,nodev) procbususb on /proc/bus/usb type usbfs (rw) udev on /dev type tmpfs (rw,mode=0755) tmpfs on /dev/shm type tmpfs (rw,nosuid,nodev) devpts on /dev/pts type devpts (rw,noexec,nosuid,gid=5,mode=620) /dev/sda6 on /tmp type ext3 (rw) /dev/sda7 on /var type ext3 (rw) none on /sys/kernel/config type configfs (rw) */dev/sdb1 on /gfs type gfs2 (rw,hostdata=jid=0:id=786433:first=1)* # dd if=/dev/urandom of=/gfs/tests1 bs=1024 count=16384 16384+0 records in 16384+0 records out 16777216 bytes (17 MB) copied, 3.3048 s, 5.1 MB/s #ls -lh /gfs #sync -rw-r--r-- 1 root root 16M 2008-04-14 08:51 tests1 node10:/# umount /gfs node10:/# mount /dev/sdb1 /gfs node10:/# ls -lh /gfs total 494M -rw-r--r-- 1 root root 3.0K 2008-04-14 08:51 tests1 откуда 3.0 k ??? cp /gfs/tests1 /root #ls -lh /root/tests1 -rw-r--r-- 1 root root 3.0K 2008-04-14 08:53 /root/tests1 lsmod | egrep gfs|dlm gfs 278908 0 lock_dlm 28168 2 gfs2 494892 3 gfs,lock_dlm dlm 124704 7 lock_dlm configfs 34588 2 dlm что-то здесь не так ? . вполне вероятно что дело в кривых руках , но посоветоваться не скем . так-же по некоторым тестам bonnie++ gfs несколько шустрее ocfs2 . shared storage нужен для разных задач , одной из самых тяжелых будет mysql c innodb базами ~ 1- 4 G . Базу в 4G сложно назвать тяжёлой. Её можно раза 3-4 уложить в оперативную память недорого. Учти, что с innodb нельзя использовать несколько серверов на одной базе, такое можно только на myisam и при выключенном query cache. ясно , как раз об этом в фак-е читал . интересно кто что думает об этих fs . какие плюсы, минусы , и вообше можно ли их использовать в производстве ? Можно. а все же что лучше по вашему gfs или ocfs2 ? -- To UNSUBSCRIBE, email to [EMAIL PROTECTED] with a subject of unsubscribe. Trouble? Contact [EMAIL PROTECTED]
Re: shared fs
Mon, 14 Apr 2008 09:02:22 +0200 Alex Mestiashvili [EMAIL PROTECTED] wrote: Pavel Ammosov wrote: On Sat, Apr 12, 2008 at 02:02:39PM +0200, Alex Mestiashvili wrote: сделал все как было описано в оффициальном мануале , диски смонтировал , при этом если создать файл на одной ноде , этот файл видно и на другой , как и должно быть , но если писать что-то в файл то на другом узле не видно что размер файла меняется . Там кеширование метаданных, скорее всего. ну например если отмонтировать , и примонтировать назад , то размер файла все равно 0 или нечто левое. А если на него flock сделать? -- Best regards, Alexander GQ Gerasiov Contacts: e-mail:[EMAIL PROTECTED] Jabber: [EMAIL PROTECTED] Homepage: http://gq.net.ru ICQ: 7272757 PGP fingerprint: 0628 ACC7 291A D4AA 6D7D 79B8 0641 D82A E3E3 CE1D -- To UNSUBSCRIBE, email to [EMAIL PROTECTED] with a subject of unsubscribe. Trouble? Contact [EMAIL PROTECTED]
Re: shared fs
Alexander GQ Gerasiov wrote: Mon, 14 Apr 2008 09:02:22 +0200 Alex Mestiashvili [EMAIL PROTECTED] wrote: Pavel Ammosov wrote: On Sat, Apr 12, 2008 at 02:02:39PM +0200, Alex Mestiashvili wrote: сделал все как было описано в оффициальном мануале , диски смонтировал , при этом если создать файл на одной ноде , этот файл видно и на другой , как и должно быть , но если писать что-то в файл то на другом узле не видно что размер файла меняется . Там кеширование метаданных, скорее всего. ну например если отмонтировать , и примонтировать назад , то размер файла все равно 0 или нечто левое. А если на него flock сделать? а как ? поясните пожалуйста . я пробовал вот так . flock -x /gfs/test3 -c yes /gfs/test3 при этом скорость неслабая , но после ремаунта все то-же самое . -- To UNSUBSCRIBE, email to [EMAIL PROTECTED] with a subject of unsubscribe. Trouble? Contact [EMAIL PROTECTED]
Re: shared fs
On Mon, Apr 14, 2008 at 09:02:22AM +0200, Alex Mestiashvili wrote: Pavel Ammosov wrote: ну например если отмонтировать , и примонтировать назад , то размер # dd if=/dev/urandom of=/gfs/tests1 bs=1024 count=16384 16384+0 records in 16384+0 records out 16777216 bytes (17 MB) copied, 3.3048 s, 5.1 MB/s cp /gfs/tests1 /root #ls -lh /root/tests1 -rw-r--r-- 1 root root 3.0K 2008-04-14 08:53 /root/tests1 Сейчас проверил на GFS1 под RedHate 4, такого не происходит. GFS2 похоже не очень рабочий :-/ Лучше это написать в лист: https://www.redhat.com/mailman/listinfo/linux-cluster а все же что лучше по вашему gfs или ocfs2 ? Нет опыта с ocfs2. А GFS работает нормально. -- To UNSUBSCRIBE, email to [EMAIL PROTECTED] with a subject of unsubscribe. Trouble? Contact [EMAIL PROTECTED]
Re: shared fs
Pavel Ammosov wrote: On Mon, Apr 14, 2008 at 09:02:22AM +0200, Alex Mestiashvili wrote: Pavel Ammosov wrote: ну например если отмонтировать , и примонтировать назад , то размер # dd if=/dev/urandom of=/gfs/tests1 bs=1024 count=16384 16384+0 records in 16384+0 records out 16777216 bytes (17 MB) copied, 3.3048 s, 5.1 MB/s cp /gfs/tests1 /root #ls -lh /root/tests1 -rw-r--r-- 1 root root 3.0K 2008-04-14 08:53 /root/tests1 Сейчас проверил на GFS1 под RedHate 4, такого не происходит. GFS2 похоже не очень рабочий :-/ Лучше это написать в лист: https://www.redhat.com/mailman/listinfo/linux-cluster а все же что лучше по вашему gfs или ocfs2 ? Нет опыта с ocfs2. А GFS работает нормально. понятно , а какие версии пакетов вы используете ? например в stable как я глянул cman еще в ядре , и т.д. а в testinge уже libcman2 , openais и прочие улучшения , но при этом gfs ( не gfs2) вроде работает . например в faq-е упоминается /proc/cluster , который у меня вообше отсутствует , кажется оно переехало в /sys/kernel/config/dlm/cluster/ . несколько раздражает эта неопределенность . -- To UNSUBSCRIBE, email to [EMAIL PROTECTED] with a subject of unsubscribe. Trouble? Contact [EMAIL PROTECTED]
Re: shared fs
Alex Mestiashvili wrote: Pavel Ammosov wrote: On Mon, Apr 14, 2008 at 09:02:22AM +0200, Alex Mestiashvili wrote: Pavel Ammosov wrote: ну например если отмонтировать , и примонтировать назад , то размер # dd if=/dev/urandom of=/gfs/tests1 bs=1024 count=16384 16384+0 records in 16384+0 records out 16777216 bytes (17 MB) copied, 3.3048 s, 5.1 MB/s cp /gfs/tests1 /root #ls -lh /root/tests1 -rw-r--r-- 1 root root 3.0K 2008-04-14 08:53 /root/tests1 Сейчас проверил на GFS1 под RedHate 4, такого не происходит. GFS2 похоже не очень рабочий :-/ совсем пропустил про RedHat 4 :) там будет ядерный cman . а узла c debian-ом нет ? Лучше это написать в лист: https://www.redhat.com/mailman/listinfo/linux-cluster а все же что лучше по вашему gfs или ocfs2 ? Нет опыта с ocfs2. А GFS работает нормально. понятно , а какие версии пакетов вы используете ? например в stable как я глянул cman еще в ядре , и т.д. а в testinge уже libcman2 , openais и прочие улучшения , но при этом gfs ( не gfs2) вроде работает . например в faq-е упоминается /proc/cluster , который у меня вообше отсутствует , кажется оно переехало в /sys/kernel/config/dlm/cluster/ . несколько раздражает эта неопределенность . -- To UNSUBSCRIBE, email to [EMAIL PROTECTED] with a subject of unsubscribe. Trouble? Contact [EMAIL PROTECTED]
Re: shared fs
On Sat, Apr 12, 2008 at 02:02:39PM +0200, Alex Mestiashvili wrote: сделал все как было описано в оффициальном мануале , диски смонтировал , при этом если создать файл на одной ноде , этот файл видно и на другой , как и должно быть , но если писать что-то в файл то на другом узле не видно что размер файла меняется . Там кеширование метаданных, скорее всего. вполне вероятно что дело в кривых руках , но посоветоваться не скем . так-же по некоторым тестам bonnie++ gfs несколько шустрее ocfs2 . shared storage нужен для разных задач , одной из самых тяжелых будет mysql c innodb базами ~ 1- 4 G . Базу в 4G сложно назвать тяжёлой. Её можно раза 3-4 уложить в оперативную память недорого. Учти, что с innodb нельзя использовать несколько серверов на одной базе, такое можно только на myisam и при выключенном query cache. интересно кто что думает об этих fs . какие плюсы, минусы , и вообше можно ли их использовать в производстве ? Можно. -- To UNSUBSCRIBE, email to [EMAIL PROTECTED] with a subject of unsubscribe. Trouble? Contact [EMAIL PROTECTED]
shared fs
Hi ALL . есть желание использовать shared fs , пока кандидатами являлись ocfs2 и gfs/gfs2 . честно говоря , впечатление обе производят довольно сырое . сервера используют QLogic Corp. ISP2432-based 4Gb Fibre Channel для соединения cо storage . пока сконяюсь больше к gfs , так как на сайте есть более-менее нормальная документация . в отличие от OCFS2 которая хоть и работает из коробки , но документации гораздо меньше ( или я не нашел ) . с gfs2 дело не пошло , пробовал как пакеты из testing , так и redhat-cluster-suite из cvs . сделал все как было описано в оффициальном мануале , диски смонтировал , при этом если создать файл на одной ноде , этот файл видно и на другой , как и должно быть , но если писать что-то в файл то на другом узле не видно что размер файла меняется . вполне вероятно что дело в кривых руках , но посоветоваться не скем . так-же по некоторым тестам bonnie++ gfs несколько шустрее ocfs2 . shared storage нужен для разных задач , одной из самых тяжелых будет mysql c innodb базами ~ 1- 4 G . интересно кто что думает об этих fs . какие плюсы, минусы , и вообше можно ли их использовать в производстве ? -- To UNSUBSCRIBE, email to [EMAIL PROTECTED] with a subject of unsubscribe. Trouble? Contact [EMAIL PROTECTED]
Re: shared fs
На Sat, 12 Apr 2008 14:02:39 +0200 Alex Mestiashvili [EMAIL PROTECTED] записано: Hi ALL . есть желание использовать shared fs , пока кандидатами являлись ocfs2 и gfs/gfs2 . честно говоря , впечатление обе производят довольно сырое . сервера используют QLogic Corp. ISP2432-based 4Gb Fibre Channel для соединения cо storage . пока сконяюсь больше к gfs , так как на сайте есть более-менее нормальная документация . в отличие от OCFS2 которая хоть и работает из коробки , но документации гораздо меньше ( или я не нашел ) . с gfs2 дело не пошло , пробовал как пакеты из testing , так и redhat-cluster-suite из cvs . сделал все как было описано в оффициальном мануале , диски смонтировал , при этом если создать файл на одной ноде , этот файл видно и на другой , как и должно быть , но если писать что-то в файл то на другом узле не видно что размер файла меняется . вполне вероятно что дело в кривых руках , но посоветоваться не скем . так-же по некоторым тестам bonnie++ gfs несколько шустрее ocfs2 . shared storage нужен для разных задач , одной из самых тяжелых будет mysql c innodb базами ~ 1- 4 G . интересно кто что думает об этих fs . какие плюсы, минусы , и вообше можно ли их использовать в производстве ? Одно время тоже присматривались к кластерным фс, но как-то не впечатлило на первый взгляд. Будет очень неплохо, если потом какую-то выжимку из своих экспериментов расскажешь. Насчет сырости... у нас редхэтовский кластер работает заради clvm на стораджевых томах. Более-менее стабильно, но не так давно было, что перезапустили один из серверов, а он в кластер войти не может. Хотя на остальных вроде cman ничего криминального не сообщает. В итоге пришлось рестартовать cman на всех машинах. -- Best regards, Alexander GQ Gerasiov Contacts: e-mail:[EMAIL PROTECTED] Jabber: [EMAIL PROTECTED] Homepage: http://gq.net.ru ICQ: 7272757 PGP fingerprint: 0628 ACC7 291A D4AA 6D7D 79B8 0641 D82A E3E3 CE1D signature.asc Description: PGP signature
