Fwd: LVM2 snapshots - niska wydajność

2011-06-30 Wątek TooMeeK

dobiję temat:

Software RAID10: 4 x SAMSUNG HD502HJ, chunk 32kB.
LVM allocation block: 32kB.
EXT4 parameters: RAID stride: 8kB, RAID stripe width: 16kB.

sudo lvm version
  LVM version: 2.02.54(1) (2009-10-26)
  Library version: 1.02.39 (2009-10-26)
  Driver version:  4.17.0

ze snapshotem:
user@smalltestenv:/var/lib/libvirt/images$ sudo dd if=/dev/zero 
of=pliczek.tmp bs=1M count=2000

2000+0 przeczytanych recordów
2000+0 zapisanych recordów
skopiowane 2097152000 bajtów (2,1 GB), 124,318 s, 16,9 MB/s

Device:tps   Blk_read/s   Blk_wrtn/s   Blk_read   Blk_wrtn
sdb  38,45  3467,52  1437,07  987349929  409194072
sdc  39,92  3452,50  1437,07  983072729  409194072
sdd  34,29  3467,85  1434,24  987444747  408388624
sde  51,53  3452,64  1434,24  983111075  408388624
md0 370,67   118,93  2857,05   33864634  813521584
dm-0361,7285,99  2825,86   24484890  804641904
dm-1  0,00 0,00 0,00704  8
dm-2  1,50 5,99 5,9817067041702040
dm-3  0,75 0,00 6,031841717808


bez snapshota:
user@smalltestenv:/var/lib/libvirt/images$ sudo dd if=/dev/zero 
of=pliczek.tmp bs=1M count=2000

2000+0 przeczytanych recordów
2000+0 zapisanych recordów
skopiowane 2097152000 bajtów (2,1 GB), 7,41776 s, 283 MB/s
user@smalltestenv:/var/lib/libvirt/images$ sudo dd if=/dev/zero 
of=pliczek.tmp bs=1M count=2

2+0 przeczytanych recordów
2+0 zapisanych recordów
skopiowane 2097152 bajtów (21 GB), 93,8431 s, 223 MB/s

Device:tps   Blk_read/s   Blk_wrtn/s   Blk_read   Blk_wrtn
sdb  38,18  3467,54  1408,21  986746240  400729808
sdc  39,66  3453,74  1408,21  982820528  400729808
sdd  34,02  3467,94  1405,38  986862210  399925112
sde  51,29  3453,81  1405,38  982840186  399925112
md0 362,71   113,00  2799,33   32155458  796595296
dm-0354,7086,04  2769,67   24484162  788157528

Jak jeszcze można zastąpić snapshot?
Rozważam DRBD + iSCSI + multipath i 2 storage.


pozdr.
TG


--
To UNSUBSCRIBE, email todebian-user-polish-requ...@lists.debian.org
with a subject of "unsubscribe". Trouble? contactlistmas...@lists.debian.org
Archive:http://lists.debian.org/4de42b39.20...@o2.pl



--
To UNSUBSCRIBE, email to debian-user-polish-requ...@lists.debian.org
with a subject of "unsubscribe". Trouble? Contact listmas...@lists.debian.org
Archive: http://lists.debian.org/4e0cf9d2.4060...@o2.pl



Re: LVM2 snapshots - niska wydajność

2011-05-31 Wątek Marcin Kasperski
> Dlaczego tak się dzieje, że zapis na volumin LVM2 jest koszmarnie wolny? Bez
> snapshota jest dużo szybciej.

Właśnie o snapshot chodzi

Pod spodem praca ze snapshotem oznacza podwójny zapis w różnych
miejscach dysku (czyli jeszcze seek...). Fakt, że daje to sporego
negatywnego kopa wydajności zapisów jest znany od dawna, up to porady
by snapshotów przesadnie nie używać. Googlnij za "LVM slow snapshot"
czy "LVM snapshot performance" to znajdziesz masę wątków czy
blogonotek.

U Ciebie trochę duży ten narzut (pamietam bardziej szacunki typu 5x)
ale może to specyfika testu a może konfiguracji. Plus, o ile pamiętam,
właśnie sekwencyjne zapisy są szczególnie wolne, modyfikacje
istniejących plików (czyli np. update baz danych) wypadają lepiej.

W praktyce może to boleć ale nie musi, "normalne" aplikacje raczej nie
zapisują aż tak intensywnie, robiłbym raczej benchmark pod oczekiwane
zastosowanie.


--
To UNSUBSCRIBE, email to debian-user-polish-requ...@lists.debian.org
with a subject of "unsubscribe". Trouble? Contact listmas...@lists.debian.org
Archive: 
http://lists.debian.org/BANLkTi=o-tcbrgjkl37xkvqsd8v5g6b...@mail.gmail.com



LVM2 snapshots - niska wydajność

2011-05-30 Wątek TooMeeK
user@server:~$ dd if=/dev/zero of=/raw_raid1_volume/test.tmp bs=1M 
count=5000

5000+0 przeczytanych recordów
5000+0 zapisanych recordów
skopiowane 524288 bajtów (5,2 GB), 42,2325 s, 124 MB/s

user@server:~$ dd if=/dev/zero of=/raw_raid1_volume/test.tmp bs=1M 
count=5000 conv=sync

5000+0 przeczytanych recordów
5000+0 zapisanych recordów
skopiowane 524288 bajtów (5,2 GB), 43,9126 s, 119 MB/s

user@server:~$ sudo dd if=/dev/zero of=/snapshoted_raid1_volume/test.tmp 
bs=1M count=5000

^C786+0 przeczytanych recordów
786+0 zapisanych recordów
skopiowane 824180736 bajtów (824 MB), 62,6888 s, 13,1 MB/s

user@server:~$ sudo dd if=/dev/zero of=/snapshoted_raid1_volume/test.tmp 
bs=1M count=1000 conv=sync

1000+0 przeczytanych recordów
1000+0 zapisanych recordów
skopiowane 1048576000 bajtów (1,0 GB), 72,2223 s, 14,5 MB/s

user@server:~$ sudo lvm version
  LVM version: 2.02.66(2) (2010-05-20)
  Library version: 1.02.48 (2010-05-20)
  Driver version:  4.15.0

user@server:~$ uname -r
2.6.32-5-amd64

Dlaczego tak się dzieje, że zapis na volumin LVM2 jest koszmarnie wolny? 
Bez snapshota jest dużo szybciej.
Liczba transakcji (tps) nie przekracza 100 dla pojedynczego dysku SATA 
(w iostat).
I to niezależnie, czy jest to desktop, serwer, czy cokolwiek... zawsze 
dostęp do snapshotowanego voluminu jest wolniejszy.

Spróbuję to jeszcze sprawdzić na SASach, jak tylko jakieś puste dorwę.

pozdr.
TG


--
To UNSUBSCRIBE, email to debian-user-polish-requ...@lists.debian.org
with a subject of "unsubscribe". Trouble? Contact listmas...@lists.debian.org
Archive: http://lists.debian.org/4de42b39.20...@o2.pl