On Sat, Dec 15, 2012 at 01:34:51AM +0400, Владимир Друзенко wrote:
> 15.12.2012 01:06, Slawa Olhovchenkov пишет: > > On Sat, Dec 15, 2012 at 12:56:30AM +0400, Владимир Друзенко wrote: > > > >> Гугление показывает, что под топик нет файловой системы для совместного > >> доступа к блочному устройству нескольких различных серверов. > >> Не путать с распределёнными и сетевыми ФС. Ищу аналоги GFS/GFS2 для > >> FreeBSD. > >> > >> Цель: подключить 2 (3, 4, N?) сервера с FreeBSD к одной хранилке по > >> FC/SAS и иметь доступ к одним и тем же данным, например для Live > >> Migration виртуалок. > >> GigabitEthernet уступает в линейном доступе почти в 2 раза даже обычным > >> современным десктопным винтам SATA 7200rpm. Стоит ли говорить об IOPS и > >> latency, а если ещё хранилка с RAID из N современных SAS 15krpm? В таком > > а давайте поговорим об iops и latency. > > у гигабитного езернета задержка 4мкс, 230Kiops. > Спасибо, посмеялся - не стоит так верить маркетинговым материалам. > В реально жизни хорошо если будет 40мкс и то, только для мелких пакетов. я посчитал для 512 байт > Для 1500 байт будет поболе, что уж говорить о Jumbo frames. у винта задержка так же растет с размером запрашиваемого блока > С IOPS примерно такая же ситуация - достигается только сферическими > пакетами в вакууме. вообще-то у винта iopsы так же падают с размером, даже если seek не нужен. > На всякий случай уточню - меня не волнует "скорость электричества в > проводах и тд", важен суммарный latency и IOPS при обращении приложения > к данным на хранилке блоками не менее 4 килобайт. Сюда кроме этих > маркетингвых 4мс добавляется большое количество других протоколов и > подсистем. > А важен-то итоговый overhead. В FC и SAS он существенно меньше, чем в > Ethernet. горшок помощнее и будет нивелированно. > > что не устраивает? > Тон отвечающего. а тон спрашивающего типа образец идеальности? > >> случае разница будет на порядок. > > в пользу езернета? согласен. > Цифры сравнения FC 8Gbit и SAS 6Gbit с 1GbitEthernet в студию! а чего мы именно такое соотношение берем, FC на 8, а езернет на 1? FC бывает на 2, а езернет 10, почему берем именно такое соотношение? ну и кроме SAS на 6 есть и sata на 1.5. > По NFS через гигабит больше 120Mbytes/s я не видел, а вот по FC видел и > более 600Mbytes/s. В 2 раза больше винтов и мы увидим разницу в 10 раз. > >> lagg здесь не поможет - один сервер с хранилки всё равно не сможет > >> читать/писать быстрее чем 1Gbit/s, при этом с тем же IOPS и latency. > >> Есть ещё вариант с 10GigabitEthernet, но цена вопроса по сравнению с FC > >> оставляет желать лучшего... > > IP и поверх FC бывает. > Чем в данном случае поможет лишний уровень инкапсуляции? Повысит > пропускную способность канала, уменьшит latency или увеличит IOPS? > >> :-D позволит применить NFS поверх FC, раз дешевые 10G езернетовские карты тебе недоступны. хотя супермикровская X9DRG-HTF с двумя 10G дырками на борту стоит согласно гуглу $562. > Ещё бы iSCSI предложили бы... :-\ iSCSI не решает данную задачу > В общем даже не смешно - гигабит всё равно остаётся узким местом. > > >> Так что пока я вижу единственный адекватный вариант - это такая ФС. > >> > >> P.S. Интересны любые мысли в тему. :-] > >> > P.S. Давайте всё же вернёмся к ФС, т.к. гигабит медленный для таких > задач, а FC 8Gbit вполне устраивает. >
