Re: XenServer guest alatt magas iowait
2011-06-07 01:00 keltezéssel, Simon Imre írta: két 500-as SATA HDD SW raid1-ben. Akkor most az a kerdes, hogy belassul a dom0 (host) sebessegere a domU? Szia! A 80 megával, amit a dd mond, természetesen nem lenne problémám ebben a felállásban. Viszont ha elkezdek mc-vel másolni egyik lvm kötetről a másikra domU-ban egy 1G-s filet, akkor 15-20MB/s-re áll be a sebesség. Ennél azért a sata sw raid-nek is többet kellene muzsikálnia Egyelőre tesztelgetek, mert a time cp a.iso b.iso parancs egyelőre nem megy 30M alá egyik domU-n sem, a szekvenciális olvasás meg ~85M körül van. Csak az MC-vel való másoláskor nagyon kevés az a 15-20M Attesz _ linux lista - linux@mlf.linux.rulez.org http://mlf2.linux.rulez.org/mailman/listinfo/linux
Re: XenServer guest alatt magas iowait
2011-06-03 17:54 keltezéssel, Simon Imre írta: Talan, ha hasonlo a rendes xen-hez: dom0 --an: xm dmesg | grep -i i/o\ virtu (XEN) I/O virtualisation enabled ha disabled, bekapcsolod a vt-d -t az alaplapon, aztan vagy megy vagy nem (van olyan leiras, hogy bios allitgatas utan ki kell kapcsolni nehany percre a gepet teljesen:) A dmesg-ben nincs erre utalóan semmi, de BIOS-ban bekapcsoltam a VT-d-t. meg dom-U ban cat /sys/block/*/queue/scheduler es utana echo deadline /sys/block/xvda1/queue/scheduler Na ez eddig a kulcs, másolás VT-D bekapcsolása után is lassú volt, de amikor ezt bekapcsoltam, akkor felgyorsult. Már nagyságrendekkel jobb a helyzet. Ezt hol tudom állítani, hogy melyik scheduler legyen az alapértelmezett? Van erre config, vagy belerakjam boot során valahova az echo-t? meg lehetne nezni, hogy hasznal-e tap2 drivert, de ezek mind sima xen-re ervenyesek.. Ezt hogy tudom megnézni? Köszönöm! Attesz _ linux lista - linux@mlf.linux.rulez.org http://mlf2.linux.rulez.org/mailman/listinfo/linux
Re: XenServer guest alatt magas iowait
On Jun 6, 8:58 am, Gyurman Attila attila.gyur...@it-crowd.hu wrote: 2011-06-03 17:54 keltezéssel, Simon Imre írta: Talan, ha hasonlo a rendes xen-hez: dom0 --an: xm dmesg | grep -i i/o\ virtu (XEN) I/O virtualisation enabled ha disabled, bekapcsolod a vt-d -t az alaplapon, aztan vagy megy vagy nem (van olyan leiras, hogy bios allitgatas utan ki kell kapcsolni nehany percre a gepet teljesen:) A dmesg-ben nincs erre utalóan semmi, de BIOS-ban bekapcsoltam a VT-d-t. meg dom-U ban xm dmesg -ben kell keresni, a hypervisor dmesg-jeben. cat /sys/block/*/queue/scheduler es utana echo deadline /sys/block/xvda1/queue/scheduler Na ez eddig a kulcs, másolás VT-D bekapcsolása után is lassú volt, de amikor ezt bekapcsoltam, akkor felgyorsult. Már nagyságrendekkel jobb a helyzet. Ezt hol tudom állítani, hogy melyik scheduler legyen az alapértelmezett? bootnal,grubnal: elevator=deadline Van erre config, vagy belerakjam boot során valahova az echo-t? meg lehetne nezni, hogy hasznal-e tap2 drivert, de ezek mind sima xen-re ervenyesek.. Ezt hogy tudom megnézni? meg kell nezni, hogy hanyas xen verziot foglal magaban a xenserver, 4.0.akarmitol a tap2 alapertelmezett. De szerintem te blkfront- blkback -et hasznalsz, ott meg a legjobb, ha varsz (amig megirjak rendesen), vagy lenny-t hasznalsz, vagy egyszeruen lenny-s kernelt hasznalsz. (De javitson ki, lecci valaki, remelem, hogy rosszul tudom es igazabol lehet hasznalni squeeze-t is normalis sebesseggel:) Simon Imre _ linux lista - linux@mlf.linux.rulez.org http://mlf2.linux.rulez.org/mailman/listinfo/linux
Re: XenServer guest alatt magas iowait
2011-06-06 09:55 keltezéssel, Simon Imre írta: meg kell nezni, hogy hanyas xen verziot foglal magaban a xenserver, 4.0.akarmitol a tap2 alapertelmezett. De szerintem te blkfront- blkback -et hasznalsz, ott meg a legjobb, ha varsz (amig megirjak rendesen), vagy lenny-t hasznalsz, vagy egyszeruen lenny-s kernelt hasznalsz. (De javitson ki, lecci valaki, remelem, hogy rosszul tudom es igazabol lehet hasznalni squeeze-t is normalis sebesseggel:) Köszönöm a sok ötletet, végülis az ideális megoldás a lenny lett, a telepítő álltal felrakott kernel és a xenserver-tools által felrakott kernel is tökéletesen muzsikál. Valószínüleg majd a kernelen kívül mindent upgradelek, egyelőre örülök hogy megy :-) Üdv: Attesz _ linux lista - linux@mlf.linux.rulez.org http://mlf2.linux.rulez.org/mailman/listinfo/linux
Re: XenServer guest alatt magas iowait
2011-06-06 13:21 keltezéssel, Gyurman Attila írta: 2011-06-06 09:55 keltezéssel, Simon Imre írta: meg kell nezni, hogy hanyas xen verziot foglal magaban a xenserver, 4.0.akarmitol a tap2 alapertelmezett. De szerintem te blkfront- blkback -et hasznalsz, ott meg a legjobb, ha varsz (amig megirjak rendesen), vagy lenny-t hasznalsz, vagy egyszeruen lenny-s kernelt hasznalsz. (De javitson ki, lecci valaki, remelem, hogy rosszul tudom es igazabol lehet hasznalni squeeze-t is normalis sebesseggel:) Köszönöm a sok ötletet, végülis az ideális megoldás a lenny lett, a telepítő álltal felrakott kernel és a xenserver-tools által felrakott kernel is tökéletesen muzsikál. Sajnos megint elkiabáltam a dolgot. Számomra egyre érdekesebb a dolog. 32-bites Lenny (64bites template nincs lenny-hez xenserverben), xs-tools-ban lévő 2.6.32-5-686-bigmem kernellel. A kernel felrakása után reboot, és tökéletesnek látszik minden. DD-vel olvasva a /dev/xvda1-ről átlag 500MB/s felett mutat folyamatosan. Elkezdek dolgozni a szerveren, mysql telepítés, ilyesmi, és nekiállt belassulni. párszáz mega tényleges IO művelet után az 500MB leesett ~80MB-ra, és ennyi. Se reboot, se másik io scheduler, semmi nem segít. Alapból CFQ a scheduler, de próbáltam deadline-al is. Ha egyszer már megy, akkor mitől lassúl be??? Egyébként ugyan ez a helyzet a 64 bites queeze-re rakott lenny-s xenserver-toolsban lévő kernellel. Első boot után ott is gyors, majd belassult, és onnantól semmi változás. A debian kernel ennyire bugos a xenserverrel, vagy hol lehet a hiba? Megpróbálok egy CentOS-t felrakni, ahhoz van mindenféle template-t, de addig is várok mindenféle ötletet. Köszi: Attesz _ linux lista - linux@mlf.linux.rulez.org http://mlf2.linux.rulez.org/mailman/listinfo/linux
Re: XenServer guest alatt magas iowait
On Jun 6, 8:23 pm, Gyurman Attila attila.gyur...@it-crowd.hu wrote: 2011-06-06 13:21 keltezéssel, Gyurman Attila írta: 2011-06-06 09:55 keltezéssel, Simon Imre írta: meg kell nezni, hogy hanyas xen verziot foglal magaban a xenserver, 4.0.akarmitol a tap2 alapertelmezett. De szerintem te blkfront- blkback -et hasznalsz, ott meg a legjobb, ha varsz (amig megirjak rendesen), vagy lenny-t hasznalsz, vagy egyszeruen lenny-s kernelt hasznalsz. (De javitson ki, lecci valaki, remelem, hogy rosszul tudom es igazabol lehet hasznalni squeeze-t is normalis sebesseggel:) Köszönöm a sok ötletet, végülis az ideális megoldás a lenny lett, a telepítő álltal felrakott kernel és a xenserver-tools által felrakott kernel is tökéletesen muzsikál. Sajnos megint elkiabáltam a dolgot. Számomra egyre érdekesebb a dolog. 32-bites Lenny (64bites template nincs lenny-hez xenserverben), xs-tools-ban lévő 2.6.32-5-686-bigmem kernellel. A kernel felrakása után reboot, és tökéletesnek látszik minden. DD-vel olvasva a /dev/xvda1-ről átlag 500MB/s felett mutat folyamatosan. Elkezdek dolgozni a szerveren, mysql telepítés, ilyesmi, és nekiállt belassulni. párszáz mega tényleges IO művelet után az 500MB leesett ~80MB-ra, és ennyi. Se reboot, se másik io scheduler, semmi nem segít. Alapból CFQ a scheduler, de próbáltam deadline-al is. Ha egyszer már megy, akkor mitől lassúl be??? két 500-as SATA HDD SW raid1-ben. Akkor most az a kerdes, hogy belassul a dom0 (host) sebessegere a domU? Simon Imre _ linux lista - linux@mlf.linux.rulez.org http://mlf2.linux.rulez.org/mailman/listinfo/linux
Re: XenServer guest alatt magas iowait
On Jun 6, 8:23 pm, Gyurman Attila attila.gyur...@it-crowd.hu wrote: 2011-06-06 13:21 keltezéssel, Gyurman Attila írta: 2011-06-06 09:55 keltezéssel, Simon Imre írta: meg kell nezni, hogy hanyas xen verziot foglal magaban a xenserver, 4.0.akarmitol a tap2 alapertelmezett. De szerintem te blkfront- blkback -et hasznalsz, ott meg a legjobb, ha varsz (amig megirjak rendesen), vagy lenny-t hasznalsz, vagy egyszeruen lenny-s kernelt hasznalsz. (De javitson ki, lecci valaki, remelem, hogy rosszul tudom es igazabol lehet hasznalni squeeze-t is normalis sebesseggel:) Köszönöm a sok ötletet, végülis az ideális megoldás a lenny lett, a telepítő álltal felrakott kernel és a xenserver-tools által felrakott kernel is tökéletesen muzsikál. Sajnos megint elkiabáltam a dolgot. Számomra egyre érdekesebb a dolog. 32-bites Lenny (64bites template nincs lenny-hez xenserverben), xs-tools-ban lévő 2.6.32-5-686-bigmem kernellel. A kernel felrakása után reboot, és tökéletesnek látszik minden. DD-vel olvasva a /dev/xvda1-ről átlag 500MB/s felett mutat folyamatosan. Elkezdek dolgozni a szerveren, mysql telepítés, ilyesmi, és nekiállt belassulni. párszáz mega tényleges IO művelet után az 500MB leesett ~80MB-ra, és ennyi. Se reboot, se másik io scheduler, semmi nem segít. Alapból CFQ a scheduler, de próbáltam deadline-al is. Ha egyszer már megy, akkor mitől lassúl be??? két 500-as SATA HDD SW raid1-ben. Akkor most az a kerdes, hogy belassul a dom0 (host) sebessegere a domU? Simon Imre _ linux lista - linux@mlf.linux.rulez.org http://mlf2.linux.rulez.org/mailman/listinfo/linux
Re: XenServer guest alatt magas iowait
Talan, ha hasonlo a rendes xen-hez: dom0 --an: xm dmesg | grep -i i/o\ virtu (XEN) I/O virtualisation enabled ha disabled, bekapcsolod a vt-d -t az alaplapon, aztan vagy megy vagy nem (van olyan leiras, hogy bios allitgatas utan ki kell kapcsolni nehany percre a gepet teljesen:) meg dom-U ban cat /sys/block/*/queue/scheduler es utana echo deadline /sys/block/xvda1/queue/scheduler Igy elolvasva, hogy mit irtam: a dom0 -nak is lehet echo deadline /sys/block/jokishardwerraid/queue/scheduler adni. Es a PV-s lenny kernel gyorsabb, mint a squeeze. Foleg, amig ilyenek vannak:) http://xen.1045712.n5.nabble.com/PATCH-blkback-Fix-block-I-O-latency-issue-td4364102.html Es addig is erdemesebb imageket hasznalni, blkback-blkfront helyett... blkback-blkfront (squeeze domU): dd if=/dev/xvdb1 bs=1M skip=5000 count=1000 of=/dev/null 1000+0 records in 1000+0 records out 1048576000 bytes (1.0 GB) copied, 4.90723 s, 214 MB/s image (loop) (squeeze domU): dd if=/dev/xvda1 bs=1M skip=1000 count=1000 of=/dev/null 1000+0 records in 1000+0 records out 1048576000 bytes (1.0 GB) copied, 2.00951 s, 522 MB/s blkback-blkfront (lenny domU): if=/dev/xvdb1 bs=1M count=1000 of=/dev/null 1000+0 records in 1000+0 records out 1048576000 bytes (1.0 GB) copied, 2.37935 s, 441 MB/ Image (loop) (lenny domU): dd if=/dev/xvda1 bs=1M count=1000 of=/dev/null 1000+0 records in 1000+0 records out 1048576000 bytes (1.0 GB) copied, 1.47349 s, 712 MB/s (mikozben a dom0: dd if=/dev/md200 bs=1M count=1000 of=/dev/null 1000+0 records in 1000+0 records out 1048576000 bytes (1.0 GB) copied, 1.12475 s, 932 MB/s) Simon Imre _ linux lista - linux@mlf.linux.rulez.org http://mlf2.linux.rulez.org/mailman/listinfo/linux
Re: XenServer guest alatt magas iowait
On Jun 3, 5:54 pm, Simon Imre simon.i...@gmail.com wrote: On Jun 3, 11:34 am, Gyurman Attila attila.gyur...@it-crowd.hu wrote: 2011-06-02 20:42 keltezéssel, Gyurman Attila írta: A probléma megoldódni látszik. A 64bit-es debian-t a template helyett other install media-val telepítettem, ami nem PV módban, hanem HVM módban telepítette a guestet, és mivel a xen-tools PV-ra megírva, ebből adódtak a problémák. Sajnos elkiabáltam a dolgot. A helyzet a következő: Template-ből telepített debian 32 és 64bit is kipróbálva, mindegyiken a következőt csinálja: Elkezdek másolni nagy file-t, az első 10-20mp-ben még gyors, majd egyre lassul a sebesség, és olyan 15MByte/sec-en áll be. Eközben az iowait 1 magot teljesen megfog, tehát 2 core esetén 50%, 3core esetén 33%-on áll folyamatosan. A host-on egy nagy file másolása így néz ki dstat-al: total-cpu-usage -dsk/total- usr sys idl wai hiq siq| read writ 0 0 75 25 0 0| 82M 169M 0 0 75 25 0 0| 80M 156M 0 0 76 24 0 0| 82M 169M 0 0 75 25 0 0| 86M 167M 0 0 76 24 0 0| 80M 161M Ez szerintem tök normális, ugyan fog 1 magot (25% wait), gyors is. Viszont a guest-eken ugyan ez a másolás így néz ki: 0 0 68 32 0 0| 16M 13M 0 0 71 28 0 0| 16M 15M 0 0 65 35 0 0| 16M 15M 0 0 58 42 0 0|8360k 15M 0 0 71 29 0 0| 16M 13M 0 0 60 39 0 0| 16M 14M^C Nagyságrendekkel lassabb, és ugyan úgy teljesen fog egy core-t. Erre van ötlete valakinek? Talan, ha hasonlo a rendes xen-hez: dom0 --an: xm dmesg | grep -i i/o\ virtu (XEN) I/O virtualisation enabled ha disabled, bekapcsolod a vt-d -t az alaplapon, aztan vagy megy vagy nem (van olyan leiras, hogy bios allitgatas utan ki kell kapcsolni nehany percre a gepet teljesen:) meg dom-U ban cat /sys/block/*/queue/scheduler es utana echo deadline /sys/block/xvda1/queue/scheduler Igy elolvasva, hogy mit irtam: a dom0 -nak is lehet echo deadline /sys/block/jokishardwerraid/queue/scheduler adni. _ linux lista - linux@mlf.linux.rulez.org http://mlf2.linux.rulez.org/mailman/listinfo/linux
Re: XenServer guest alatt magas iowait
2011-06-02 20:42 keltezéssel, Gyurman Attila írta: A probléma megoldódni látszik. A 64bit-es debian-t a template helyett other install media-val telepítettem, ami nem PV módban, hanem HVM módban telepítette a guestet, és mivel a xen-tools PV-ra megírva, ebből adódtak a problémák. Sajnos elkiabáltam a dolgot. A helyzet a következő: Template-ből telepített debian 32 és 64bit is kipróbálva, mindegyiken a következőt csinálja: Elkezdek másolni nagy file-t, az első 10-20mp-ben még gyors, majd egyre lassul a sebesség, és olyan 15MByte/sec-en áll be. Eközben az iowait 1 magot teljesen megfog, tehát 2 core esetén 50%, 3core esetén 33%-on áll folyamatosan. A host-on egy nagy file másolása így néz ki dstat-al: total-cpu-usage -dsk/total- usr sys idl wai hiq siq| read writ 0 0 75 25 0 0| 82M 169M 0 0 75 25 0 0| 80M 156M 0 0 76 24 0 0| 82M 169M 0 0 75 25 0 0| 86M 167M 0 0 76 24 0 0| 80M 161M Ez szerintem tök normális, ugyan fog 1 magot (25% wait), gyors is. Viszont a guest-eken ugyan ez a másolás így néz ki: 0 0 68 32 0 0| 16M 13M 0 0 71 28 0 0| 16M 15M 0 0 65 35 0 0| 16M 15M 0 0 58 42 0 0|8360k 15M 0 0 71 29 0 0| 16M 13M 0 0 60 39 0 0| 16M 14M^C Nagyságrendekkel lassabb, és ugyan úgy teljesen fog egy core-t. Erre van ötlete valakinek? Üdv: Attest _ linux lista - linux@mlf.linux.rulez.org http://mlf2.linux.rulez.org/mailman/listinfo/linux
Re: XenServer guest alatt magas iowait
On Jun 3, 11:34 am, Gyurman Attila attila.gyur...@it-crowd.hu wrote: 2011-06-02 20:42 keltezéssel, Gyurman Attila írta: A probléma megoldódni látszik. A 64bit-es debian-t a template helyett other install media-val telepítettem, ami nem PV módban, hanem HVM módban telepítette a guestet, és mivel a xen-tools PV-ra megírva, ebből adódtak a problémák. Sajnos elkiabáltam a dolgot. A helyzet a következő: Template-ből telepített debian 32 és 64bit is kipróbálva, mindegyiken a következőt csinálja: Elkezdek másolni nagy file-t, az első 10-20mp-ben még gyors, majd egyre lassul a sebesség, és olyan 15MByte/sec-en áll be. Eközben az iowait 1 magot teljesen megfog, tehát 2 core esetén 50%, 3core esetén 33%-on áll folyamatosan. A host-on egy nagy file másolása így néz ki dstat-al: total-cpu-usage -dsk/total- usr sys idl wai hiq siq| read writ 0 0 75 25 0 0| 82M 169M 0 0 75 25 0 0| 80M 156M 0 0 76 24 0 0| 82M 169M 0 0 75 25 0 0| 86M 167M 0 0 76 24 0 0| 80M 161M Ez szerintem tök normális, ugyan fog 1 magot (25% wait), gyors is. Viszont a guest-eken ugyan ez a másolás így néz ki: 0 0 68 32 0 0| 16M 13M 0 0 71 28 0 0| 16M 15M 0 0 65 35 0 0| 16M 15M 0 0 58 42 0 0|8360k 15M 0 0 71 29 0 0| 16M 13M 0 0 60 39 0 0| 16M 14M^C Nagyságrendekkel lassabb, és ugyan úgy teljesen fog egy core-t. Erre van ötlete valakinek? Talan, ha hasonlo a rendes xen-hez: dom0 --an: xm dmesg | grep -i i/o\ virtu (XEN) I/O virtualisation enabled ha disabled, bekapcsolod a vt-d -t az alaplapon, aztan vagy megy vagy nem (van olyan leiras, hogy bios allitgatas utan ki kell kapcsolni nehany percre a gepet teljesen:) meg dom-U ban cat /sys/block/*/queue/scheduler es utana echo deadline /sys/block/xvda1/queue/scheduler meg lehetne nezni, hogy hasznal-e tap2 drivert, de ezek mind sima xen-re ervenyesek.. Simon Imre _ linux lista - linux@mlf.linux.rulez.org http://mlf2.linux.rulez.org/mailman/listinfo/linux
Re: XenServer guest alatt magas iowait
Sziasztok! Kis fejlemény: Lelőttünk minden sql-t, így nyilván visszaállt 0-ra minden. A guest-en: root@mysql:~# hdparm -Tt /dev/xvda1 /dev/xvda1: Timing cached reads: 15354 MB in 2.00 seconds = 7687.05 MB/sec Timing buffered disk reads: 220 MB in 3.02 seconds = 72.90 MB/sec Ugyan ez a host-on: /dev/md1: Timing cached reads: 27320 MB in 1.99 seconds = 13706.73 MB/sec Timing buffered disk reads: 350 MB in 3.01 seconds = 116.42 MB/sec [root@xenserver ~]# hdparm -Tt /dev/md0 Ezzel elvileg nincs gond ha jól sejtem. Elkezdtem lemásolni egy 1G-s file-t guest-en belül, és egyből felmegy az iowait 50% körülire: root@mysql:~# dstat -cd total-cpu-usage -dsk/total- usr sys idl wai hiq siq| read writ 4 0 65 30 0 0| 67k 6585k 0 0 46 54 0 0|3072k 24M 0 3 53 44 0 0| 47M 15M 0 7 48 43 1 0| 150M 624k 0 3 49 48 1 0| 50M 6296k 0 4 48 48 0 0| 72M 3736k 0 0 50 50 0 0|8200k 5432k 0 0 50 49 0 0|8200k 12M 0 0 52 47 0 0| 16M 8456k 0 0 48 52 0 0|8200k 10M 0 0 50 49 0 0|8200k 10M 0 1 50 49 1 0|8200k 11M 0 0 52 48 0 0| 11M 11M 0 1 49 50 0 0| 14M 8192k 0 0 52 48 0 0|8200k 10M 0 0 48 52 0 0|8200k 7808k 0 0 50 49 0 0|8200k 9388k 0 1 50 49 0 0|8200k 11M 0 0 50 49 0 0|8200k 8520k 0 1 52 47 0 0| 12M 11M 0 2 48 50 0 0| 12M 8896k 0 0 50 50 0 0|8200k 7664k 0 1 50 49 0 0|6696k 8896k^C Üdv: Attesz _ linux lista - linux@mlf.linux.rulez.org http://mlf2.linux.rulez.org/mailman/listinfo/linux
Re: XenServer guest alatt magas iowait
2011-06-02 16:27 keltezéssel, Gyurman Attila írta: Sziasztok! Kis fejlemény: Lelőttünk minden sql-t, így nyilván visszaállt 0-ra minden. A guest-en: root@mysql:~# hdparm -Tt /dev/xvda1 /dev/xvda1: Timing cached reads: 15354 MB in 2.00 seconds = 7687.05 MB/sec Timing buffered disk reads: 220 MB in 3.02 seconds = 72.90 MB/sec Sziasztok! A probléma megoldódni látszik. A 64bit-es debian-t a template helyett other install media-val telepítettem, ami nem PV módban, hanem HVM módban telepítette a guestet, és mivel a xen-tools PV-ra megírva, ebből adódtak a problémák. Üdv: Attesz _ linux lista - linux@mlf.linux.rulez.org http://mlf2.linux.rulez.org/mailman/listinfo/linux
