Re[2]: OFF: Вопрос про кластеризацию
Привет! Ну вообще-то, как я уже говорил, на _ЧИСТОМ_ кластере ВООБЩЕ делать с классиком ничего не надо - для него это просто будет машина с 24-48-120 процессорами. А где можно чтото почитать про ето ? http://www.beowulf.org/ -- Best regards, Sergeymailto:[EMAIL PROTECTED]
Re[2]: OFF: Вопрос про кластеризацию
Привет! Решение для нищебродов - выделить одну из машин (с рэйдом) под файл-сервер, к нему прочие узлы подключить через гигабитный эзернет. Мега-кластер не выйдет, конечно, но пару тысяч средненагруженных коннектов должно потянуть. Фи, Дмитрий, как это мало - пара тыщ :)) Хотя гигабитовые контроллеры нынче очень дешевы и их к тому же можно пообъядинять - все равно тормознутее и дешевле инфинибанда будет (там только кабель стоит от 50 до 600 баксов и сами карточки по 1-2к). Но с таким же успехом можно заюзать чистый кластер с кластерной ФС. Только по-моему овчинка все равно выделки не стоит :) P/S У меня стойкое впечатление что сегодня-таки пятница. -- Best regards, Sergeymailto:[EMAIL PROTECTED]
Re[2]: OFF: Вопрос про кластеризацию
Привет! Решение для нищебродов - выделить одну из машин (с рэйдом) под файл-сервер, к нему прочие узлы подключить через гигабитный эзернет. Мега-кластер не выйдет, конечно, но пару тысяч средненагруженных коннектов должно потянуть. Да но тут то разговор шёл вроде как FB заставить на таком кластере работать чтоб база была одна a клиентам заставить распеделятся по кластерным процессорам ? Ну вообще-то, как я уже говорил, на _ЧИСТОМ_ кластере ВООБЩЕ делать с классиком ничего не надо - для него это просто будет машина с 24-48-120 процессорами. НО. Так как решение не будет нативным, то тут есть несколько узких мест: 1) Для надежности потребуется бОльшее количество узлов, чем будет задействованно собственно самим Птицем. 2) В случае сбоя - очень много вопросов - от восстановления самой CFS до восстановления размазанной таким образом базы. У меня все руки не дойдут добраться до университетского кластера о 48 головах. 3) Заточенные под кластер приложения могут работать намного быстрее обычных - именно за счет того, что при их создании учтены фичи кластеров. Именно об этом говорил Дмитрий Еманов, когда упоминал о замене лок-менеджера в классике. 4) Менеджер узлов может взять и мигрировать процесс с одного узла на другой - поэтому привязываться к чему-либо на машине - самоубийство чистой воды. И миграция тоже процесс не мгновенный. К тому же учитывайте еще один ньюанс - когда говорят о рассчете какой-нибудь задачи на кластере путем разбиения ее на множество параллельных задач - то, как правило, время рассчета самой задачи намного больше как переключения узла кластера на эту задачу, так и на подкачку данных для нее - там 1-2 минуты или даже часа особой роли не играют. В случае же с СУБД никогда нелья точно заранее сказать, что эти данные надо сложить сюда, а те - туда, потому что и те и другие данные могут потребоваться одновременно (причем, одновременность тут истинная) всем. И получим ситуацию, когда всех много, а всего - мало. И именно поэтому вариант с общим хранилищем данных - для такого - самое то. Т.е. кластер просто превращается в кучу процов с почти что эксклюзивным использованием памяти и более-менее размазанным среди запросов винтом. З.Ы. А вообще, это скучно, нудно и никакого экстрима. Вот собрать кластер с винтом только у одного-двух узлов и поделить части данных среди бездисковых нод - вот это уже интереснее :)) -- Best regards, Sergeymailto:[EMAIL PROTECTED]
Re[2]: OFF: Вопрос про кластеризацию
Привет! Фи, Дмитрий, как это мало - пара тыщ :)) Я мог бы назвать и 100 тыщ :-) Сам понимаешь, все зависит от штатной нагрузки на дисковую. Угу. Дисковая подсистема и есть то бутылочное горлышко, куда слон не пролезает. Но с таким же успехом можно заюзать чистый кластер с кластерной ФС. И как работу узлов с базой синхронизировать? А нафига? Для этого есть ПО кластера. Для приложения ты видишь диск (раздел). Если ты к физической структуре ФС не привязан - то для тебя все функции I/O будут работать так, как ты ожидаешь. И даже работа с блокировками файлов и семафорами будет выглядеть точно также - хотя именно вот тут у меня в свое время возникли сомнения, которые мне никто и не опроверг и не подтвердил, все крутили пальцем у виска и утверждали, что что разведение травы подобной крепости преследуется по закону :) На практике - надо мучать, но у меня пока ограниченные ресурсы по железу - приходится все на вмвари пробовать, а с кластерами там не поиграешься. Попробую на днях в родные пенаты пролезть - может меня еще там не забыли - и выбить рутовский шелл у кластера :) -- Best regards, Sergeymailto:[EMAIL PROTECTED]
Re[2]: OFF: Вопрос про кластеризацию
Привет! Ето Я так вот Я понемаю :) :) :) И что - на данны момент вот чтото такое возможно сотворить с FB ? Угу. Чуть-чуть доработав напильником. Под Линухом точно, под виндой - хз, тут я доку не курил и курить в ближайшее время не буду. Но еще раз повторю - чудес не бывает и это надо понимать. Тут надо проводить исследования на предметы падений самого кластера, конкретных его узлов и т.д. Есть желающие? ;-) -- Best regards, Sergeymailto:[EMAIL PROTECTED]
Re[2]: OFF: Вопрос про кластеризацию
Привет! Слушайте. Вот еще вопрос. Объясните такое шаманство. Вот есть двух- узловый кластер. Издеваешься? Двухядерная машина будет дешевле. К кому подключается новый клиент? Ни к кому. В том-то и дело, что в кластере (где узлы равноправны) - кто на 1 нс раньше включился - тот и главный. В том случае, когда главный один - ты подключаешься к нему и все идет через него. Грубо говоря - ты подключаешься к некоему IP адресу. Я так понимаю - сначала он подключается к некоему менеджеру, который оценивает загрузку узлов и выбирает наименее загруженный - а потом подключается к этому узлу. Или это все делается прозрачно. Если прозрачно, то - менеджер маршрутизирует вызовы (перекачивает через себя)? - есть некая технология переназначения на системном (сетевом) уровне? Прозрачно. Для тебя кластер - просто Одна Большая Машина. У которой есть IP адрес. Подойти и ткнуть пальцем в конкретную ноду и сказать вот мы сейчас подключены сюда - низзя. -- Best regards, Sergeymailto:[EMAIL PROTECTED]
Re[2]: OFF: Вопрос про кластеризацию
Привет! Не я вообще про кластер как таковой. Общий дисковый массив - это не интересно. Чем ОДМ не кластер? Что такое ОДМ Общий Дисковый Массив. :) Тебе шашечки или ехать? :-) На текущий момент - шашечки. Эх, кому шашечки, а кому ехать надо. -- Best regards, Sergeymailto:[EMAIL PROTECTED]
Re[2]: OFF: Вопрос про кластеризацию
Привет! Но еще раз повторю - чудес не бывает и это надо понимать. Тут надо проводить исследования на предметы падений самого кластера, конкретных его узлов и т.д. Есть желающие? ;-) Есть, есть. Я знаю таких. Они этим на хлеб зарабатывают. Угу. На тонкий такой слой хлебушка с ТОЛСТЫМ слоем ИКРЫ. :) Вот SUN доставляет кластер в любую точку мира за 20 с копейками рабочих дней. Стоит всего лишь 3М вечнозеленых :)) -- Best regards, Sergeymailto:[EMAIL PROTECTED]
