Re: I/O alrendszer teszteles

2006-10-31 bef zés Szalai Ferenc
Zoltan NAGY wrote:
 Szalai Ferenc wrote:
 Zoltan NAGY wrote:
  
 korkerdes: ki mit hasznalna 2T felett? marmint fajlrendszert.
 ext2,ext3 -at felejtsuk el, mert 8T azert mar nem egy nagyon nagy
 dolog manapsag.
 es streamingre, ahogy mostanaban latom itt a nagyoktol :P

 
 Nekunk van egybefuggo cca. 19T XFS-el, sw RAID6-al, LVM-el + 64 bites
 geppel.
   
 lehet tudni meg valamit a hwrol? gondolom scsi, de valami
 konkretabbat? :)
 meg h mennyire van kiterhelve..?
Nem SCSI. Ez konkretan ATA (hw: sok, sok disk Coriad dobozok, AoE
protokolon ket IBM x326 AMD procis gepen terminalva amik HA-ba vannak
kotve). Van ilyenunk SATA-bol is azok sok szerveren vannak terminalva 
jellemzoen 2T-4T adagoban osztva a diskek, XFS, ext3-al. Ami a terhelest
illeti a konkret eset
egy elsosorban backup-ra es felhasznalok nagy adatainak tarolasara
szolgal, amit rsync, ftp, scp tudnak
elerni. Nem fileserver ez teny.

--
Udv
Feri

_
linux lista  -  linux@mlf.linux.rulez.org
http://mlf2.linux.rulez.org/mailman/listinfo/linux


Re: I/O alrendszer teszteles

2006-10-30 bef zés Szalai Ferenc
Zoltan NAGY wrote:
 korkerdes: ki mit hasznalna 2T felett? marmint fajlrendszert.
 ext2,ext3 -at felejtsuk el, mert 8T azert mar nem egy nagyon nagy
 dolog manapsag.
 es streamingre, ahogy mostanaban latom itt a nagyoktol :P

Nekunk van egybefuggo cca. 19T XFS-el, sw RAID6-al, LVM-el + 64 bites
geppel.
Allomanyrendszer szintu problemaink meg sosem voltak vele.

--
Udv
Feri
_
linux lista  -  linux@mlf.linux.rulez.org
http://mlf2.linux.rulez.org/mailman/listinfo/linux


Re: I/O alrendszer teszteles

2006-10-30 bef zés Zoltan NAGY

Szalai Ferenc wrote:

Zoltan NAGY wrote:
  

korkerdes: ki mit hasznalna 2T felett? marmint fajlrendszert.
ext2,ext3 -at felejtsuk el, mert 8T azert mar nem egy nagyon nagy
dolog manapsag.
es streamingre, ahogy mostanaban latom itt a nagyoktol :P



Nekunk van egybefuggo cca. 19T XFS-el, sw RAID6-al, LVM-el + 64 bites
geppel.
  

lehet tudni meg valamit a hwrol? gondolom scsi, de valami konkretabbat? :)
meg h mennyire van kiterhelve..?

udv,

Z
_
linux lista  -  linux@mlf.linux.rulez.org
http://mlf2.linux.rulez.org/mailman/listinfo/linux


Re: I/O alrendszer teszteles [Volt: Nagyforgalmu web szerver...]

2006-10-27 bef zés Kiss Gabor

In article [EMAIL PROTECTED],
Zoltan NAGY [EMAIL PROTECTED] writes:
 Ezert mondjak a tobbiek is, hogy meg kellene vizsgalni a
 raid-vezerlo beallitasait, teszteket futtatni (kulonbozo
 fajlrendszerekkel), hogy kideruljon, mit tudnak a diszkek,
 nem-e megis az a szuk keresztmetszet. Ezen eredmenyek nelkul
 ennel nem nagyon lehet tobbet mondani...
   
 akkor ezeket megfogom tenni mihamarabb, es kirakom publicba az eredmenyeket.
 most mar csak az kell, h dobjatok meg otletekkel, h miket nezzek :-)
 parameterezesek, filerendszer-opciok, barmi, es akkor megcsinalom a 
 teszteket.

Annak idejen en ilyemiket csinaltam:
http://gatling.ikk.sztaki.hu/~kissg/plan/terabyte/
Talan ad egy-ket otletet.

kissg
_
linux lista  -  linux@mlf.linux.rulez.org
http://mlf2.linux.rulez.org/mailman/listinfo/linux


Re: Re: I/O alrendszer teszteles

2006-10-27 bef zés Gyula P. Szokoly
Sziasztok,

 Annak idejen en ilyemiket csinaltam:
 http://gatling.ikk.sztaki.hu/~kissg/plan/terabyte/

  En most szivtam orbitalisat, mert probaltam 4T koruli rendszert
osszerakni (hosszu, miert, de egy Neconas HW RAID doboz).

  Alapvetoen a 2T hatar atlepese egy nagyon nem trivialis feladat,
sok buktatoval:

- SCSI vagy mukodik vele, vagy nem (64 bites blokk cimzes kell, ami
  csak nehany kartyan tamogatott).
- LUN cimzessel is lehetnek problemak (nekem kapasbol nem talalta meg
  a LUN=1 diszket, de turkalas helyett atraktam masik SCSI Id-re).
- Ha megis mukodik, akkor sem trivialis particionalni. Jo oreg MS-DOS
  particios tabla nem kepes kezelni 2T felett, az uj particios tabla
  mechanizmus tooljai meg nekem elszallnak egy float point erroral
  (igen, kivettem a CD-t).
- 2.6.x kernellel az LVM segitsegevel le tudtam kezelni (2T alatti
  diszkek osszefuzese). Ez 2.4.x kernellel nem megy igazan.
- File systemb sem trivialis, ext[23] peldaul 8T felett nem eletbiztositas
  es 16T felett nem kezeli.
- NFS-t nem probaltam (nekem nem kell, azota mar uton van a doboz a
  vegleges helyere).

  Szoval megint sikeresen megleptek a software fejlesztoket a hardware
fejlesztok...

Gyula

_
linux lista  -  linux@mlf.linux.rulez.org
http://mlf2.linux.rulez.org/mailman/listinfo/linux


Re: Re: I/O alrendszer teszteles

2006-10-27 bef zés Gabor Gombas
On Fri, Oct 27, 2006 at 12:41:17PM +0200, Gyula P. Szokoly wrote:

 - Ha megis mukodik, akkor sem trivialis particionalni. Jo oreg MS-DOS
   particios tabla nem kepes kezelni 2T felett, az uj particios tabla
   mechanizmus tooljai meg nekem elszallnak egy float point erroral
   (igen, kivettem a CD-t).

Ha esetleg nem errol akarsz bootolni, es egyebkent is LVM-et hasznalsz,
akkor akar ki is hagyhatod a particiosdit a jatekbol...

 - 2.6.x kernellel az LVM segitsegevel le tudtam kezelni (2T alatti
   diszkek osszefuzese). Ez 2.4.x kernellel nem megy igazan.

Ha mar 2.6, akkor

config LBD
[...]
  Say Y here if you want to attach large (bigger than 2TB) discs to
  your machine, or if you want to have a raid or loopback device
  bigger than 2TB.  Otherwise say N.

 - File systemb sem trivialis, ext[23] peldaul 8T felett nem eletbiztositas
   es 16T felett nem kezeli.

Arra sem art gondolni, hogy eleg lesz-e a memoria az fsck-nak, ha pl.
egy memoria-hiba miatt[*] megserul a file system es ossze kell
szedegetni a maradek darabokat. Pl. 32 bites processzoron kellemetlen
lehet, ha az fsck 4G-nal tobb memoriat akar hasznalni...

Gabor

[*] Csak hogy ne mondjatok, hogy journaling eseten ugysem kell fsck-zni

-- 
 -
 MTA SZTAKI Computer and Automation Research Institute
Hungarian Academy of Sciences
 -
_
linux lista  -  linux@mlf.linux.rulez.org
http://mlf2.linux.rulez.org/mailman/listinfo/linux


Re: I/O alrendszer teszteles

2006-10-27 bef zés Zoltan NAGY

Gabor Gombas wrote:

- 2.6.x kernellel az LVM segitsegevel le tudtam kezelni (2T alatti
  diszkek osszefuzese). Ez 2.4.x kernellel nem megy igazan.



Ha mar 2.6, akkor

config LBD
[...]
  Say Y here if you want to attach large (bigger than 2TB) discs to
  your machine, or if you want to have a raid or loopback device
  bigger than 2TB.  Otherwise say N.
  

ennek van valami penaltyja?

- File systemb sem trivialis, ext[23] peldaul 8T felett nem eletbiztositas
  es 16T felett nem kezeli.



Arra sem art gondolni, hogy eleg lesz-e a memoria az fsck-nak, ha pl.
egy memoria-hiba miatt[*] megserul a file system es ossze kell
szedegetni a maradek darabokat. Pl. 32 bites processzoron kellemetlen
lehet, ha az fsck 4G-nal tobb memoriat akar hasznalni...
  

korkerdes: ki mit hasznalna 2T felett? marmint fajlrendszert.
ext2,ext3 -at felejtsuk el, mert 8T azert mar nem egy nagyon nagy dolog 
manapsag.

es streamingre, ahogy mostanaban latom itt a nagyoktol :P

[a teszteket ettol fuggetlenul majd megcsinalom, csak meg inteznem kell 
hozza hwt kolcson :-)]


udv,

Z
_
linux lista  -  linux@mlf.linux.rulez.org
http://mlf2.linux.rulez.org/mailman/listinfo/linux


Re: I/O alrendszer teszteles

2006-10-27 bef zés Gábriel Ákos

Zoltan NAGY írta:


korkerdes: ki mit hasznalna 2T felett? marmint fajlrendszert.
ext2,ext3 -at felejtsuk el, mert 8T azert mar nem egy nagyon nagy dolog 


buta kerdes, de nem lehet darabolni a fs-t?
mondjuk a-z ig alkvt-k, mondjuk filenev kezdobetunkent.
esakkor mar csak 26-oda per fs, az meg mar kezelheto
perszetudom marad akkor sok kis terulet esetleg
ez csak egy otlet :)
8T valoban kegyetlenul hangzik, plane raidben :)


manapsag.
es streamingre, ahogy mostanaban latom itt a nagyoktol :P




--
Üdvözlettel,
Gábriel Ákos
-=E-Mail :[EMAIL PROTECTED]|Web:  http://www.i-logic.hu=-
-=Tel/fax:+3612367353/200|Mobil:+36209278894=-
_
linux lista  -  linux@mlf.linux.rulez.org
http://mlf2.linux.rulez.org/mailman/listinfo/linux


Re: I/O alrendszer teszteles

2006-10-27 bef zés Andras HORVATH

Zoltan NAGY [EMAIL PROTECTED] wrote:

 korkerdes: ki mit hasznalna 2T felett? marmint fajlrendszert.

xfs-t. (vagy solaris zfs-t :)

 es streamingre, ahogy mostanaban latom itt a nagyoktol :P

arra meg foleg xfs-t, merthogy arra talaltak ki.

raas
-- 
Those who say it cannot be done should not interrupt the person doing it.
   -- Chinese proverb

_
linux lista  -  linux@mlf.linux.rulez.org
http://mlf2.linux.rulez.org/mailman/listinfo/linux


Re: I/O alrendszer teszteles

2006-10-27 bef zés Kiss Gabor

In article [EMAIL PROTECTED],
Zoltan NAGY [EMAIL PROTECTED] writes:
 korkerdes: ki mit hasznalna 2T felett? marmint fajlrendszert.
 ext2,ext3 -at felejtsuk el, mert 8T azert mar nem egy nagyon nagy dolog 

ext4-et! 1 exabyte-ig jo. :-)
(emlekeztetoul: http://en.wikipedia.org/wiki/Si_prefix)

kissg
_
linux lista  -  linux@mlf.linux.rulez.org
http://mlf2.linux.rulez.org/mailman/listinfo/linux


Re: I/O alrendszer teszteles

2006-10-27 bef zés Zoltan NAGY

Andras HORVATH wrote:

Zoltan NAGY [EMAIL PROTECTED] wrote:

  

korkerdes: ki mit hasznalna 2T felett? marmint fajlrendszert.



xfs-t. (vagy solaris zfs-t :)

  

es streamingre, ahogy mostanaban latom itt a nagyoktol :P



arra meg foleg xfs-t, merthogy arra talaltak ki.
  

kiraly, mostis xfs van, megis fos :P

udv,

Z
_
linux lista  -  linux@mlf.linux.rulez.org
http://mlf2.linux.rulez.org/mailman/listinfo/linux


Re: I/O alrendszer teszteles

2006-10-27 bef zés Zoltan NAGY

Kiss Gabor wrote:

In article [EMAIL PROTECTED],
Zoltan NAGY [EMAIL PROTECTED] writes:
  

korkerdes: ki mit hasznalna 2T felett? marmint fajlrendszert.
ext2,ext3 -at felejtsuk el, mert 8T azert mar nem egy nagyon nagy dolog 



ext4-et! 1 exabyte-ig jo. :-)
(emlekeztetoul: http://en.wikipedia.org/wiki/Si_prefix)

  
meg icipicit instabil, meg fejlesztoi, de rogton rarakom az osszes 
fontos adatom,

mar megy is az mv! :-)

udv,

Z
_
linux lista  -  linux@mlf.linux.rulez.org
http://mlf2.linux.rulez.org/mailman/listinfo/linux


Re: I/O alrendszer teszteles

2006-10-27 bef zés Gabor HALASZ

Zoltan NAGY wrote:


arra meg foleg xfs-t, merthogy arra talaltak ki.
  


kiraly, mostis xfs van, megis fos :P



Ha olvasni kell, (es van backup :), akkor reiser4.


--
Gabor HALASZ [EMAIL PROTECTED]
_
linux lista  -  linux@mlf.linux.rulez.org
http://mlf2.linux.rulez.org/mailman/listinfo/linux


Re: I/O alrendszer teszteles

2006-10-27 bef zés Zoltan NAGY

Gabor HALASZ wrote:

Zoltan NAGY wrote:


arra meg foleg xfs-t, merthogy arra talaltak ki.
  


kiraly, mostis xfs van, megis fos :P



Ha olvasni kell, (es van backup :), akkor reiser4.

most fejlesztik azt, vagy mi van vele?
meg mindig csak -mm -ben van?

hasznalna'd productionben? :PP

amugy eleg korulmenyes 5-6T adatrol backupot tartani.. :(

udv,

Z
_
linux lista  -  linux@mlf.linux.rulez.org
http://mlf2.linux.rulez.org/mailman/listinfo/linux


Re: I/O alrendszer teszteles

2006-10-27 bef zés Gabor HALASZ

Zoltan NAGY wrote:

Ha olvasni kell, (es van backup :), akkor reiser4.

most fejlesztik azt, vagy mi van vele?
meg mindig csak -mm -ben van?

Valamelyik kovetkezo releaseban. Sajnos mindig a kovetkezoben :)


hasznalna'd productionben? :PP


Nem :)

amugy eleg korulmenyes 5-6T adatrol backupot tartani.. :(
devicemapper snapshot, aztan a snapshotot tovabb lehet menteni szalagra 
vagy akarmire


_
linux lista  -  linux@mlf.linux.rulez.org
http://mlf2.linux.rulez.org/mailman/listinfo/linux


Re: I/O alrendszer teszteles [Volt: Nagyforgalmu web szerver...]

2006-10-26 bef zés Kosa Attila
On Thu, Oct 26, 2006 at 06:33:59PM +0200, Zoltan NAGY wrote:
 akkor ezeket megfogom tenni mihamarabb, es kirakom publicba az eredmenyeket.
 most mar csak az kell, h dobjatok meg otletekkel, h miket nezzek :-)
 parameterezesek, filerendszer-opciok, barmi, es akkor megcsinalom a 
 teszteket.

Mintha Kissg csinalt volna egy tesztet, na, meg is van:
http://gatling.ikk.sztaki.hu/~kissg/plan/terabyte/

-- 
Udvozlettel
Zsiga
_
linux lista  -  linux@mlf.linux.rulez.org
http://mlf2.linux.rulez.org/mailman/listinfo/linux