Re: Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢
谢谢各位的耐心解答。我猜测这和KVM底层操作系统版本以及CS版本有关。 张雷(Evan) 中航信华东数据中心有限责任公司 Mail:evanitsh...@gmail.com 发件人： Wei ZHOU 发送时间： 2014-07-11 17:16 收件人： users-cn 主题： Re: Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢 这么说就不是virtual router的问题了。 vm的配置文件是用的virtio网卡么？还是e1000？ vm里面ethtool显示的speed是千兆的么 在 2014年7月11日 上午10:28，evanitsharp 写道： > 你说改成2我试过了，还是老样子。 > 200其实够了，同样的配置，在XenServer和VMware平台下，速度就很快 > > > > > 张雷(Evan) > > 中航信华东数据中心有限责任公司 > > Mail:evanitsh...@gmail.com > >
Re: Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢
这么说就不是virtual router的问题了。 vm的配置文件是用的virtio网卡么？还是e1000？ vm里面ethtool显示的speed是千兆的么 在 2014年7月11日 上午10:28，evanitsharp 写道： > 你说改成2我试过了，还是老样子。 > 200其实够了，同样的配置，在XenServer和VMware平台下，速度就很快 > > > > > 张雷(Evan) > > 中航信华东数据中心有限责任公司 > > Mail:evanitsh...@gmail.com > >
Re: Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢
你说改成2我试过了，还是老样子。 200其实够了，同样的配置，在XenServer和VMware平台下，速度就很快 张雷(Evan) 中航信华东数据中心有限责任公司 Mail:evanitsh...@gmail.com 发件人： Wei ZHOU 发送时间： 2014-07-11 15:28 收件人： users-cn 主题： Re: Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢 这么看可能是跟限速有关系。 200不够，你改大点，比如2000，2都可以。然后重启vm和router 在 2014年7月11日 上午9:11，evanitsharp 写道： > basic 和 advanced zone我们都测试过，I/O速度差不多，都很慢。 > > virtual router和vm的bandwidth配置都是： > > > > global > setting里面的network.throttling.rate和vm.network.throttling.rate的默认值都是200 > > 好像没有问题啊 > > > > > 张雷(Evan) > > 中航信华东数据中心有限责任公司 > > Mail:evanitsh...@gmail.com > > 发件人： Wei ZHOU > 发送时间： 2014-07-11 14:48 > 收件人： users-cn > 主题： Re: Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢 > 你用的是advanced zone? 还是basic或者advanced zone with security group? > 如果是后两个，流量不经过virtual router，所以可能跟cs没关系。 > 如果是第一个，流量都要经过virtual router，建议到virtual router上测试一下。 > > 另外，看看virtual router和vm的配置（virsh > dumpxml），看看里面的bandwidth设置，inbound和outbound的单位都是KBps。 > global > > setting里面的network.throttling.rate和vm.network.throttling.rate的默认值都是200Mbps（25MBps）。建议修改，然后stop/start > virtualrouter和vm. > > > 在 2014年7月11日 上午8:17，evanitsharp 写道： > > > 大家好，这是我最近的测试数据。经测试发现KVM下新建的虚机与局域网内其他机器交互的速度仍然不正常。 > > > > 我们公司经过了多伦测试，每次装好的CS4.2.1+KVM环境，都存在这个问题。 > > 各位在KVM环境下都没遇到过这个性能问题（使用KVM作虚级化平台，KVM上的虚拟机与外界交换数据的速度很慢）？ > > > > 我感觉这不是我们环境的问题，是CS自身的问题。 > > > > > > > > 1.从FTP服务器上下载文件到被测试的KVM主机： > > 平均速度63M/S > > > > ftp> get centos.iso > > local: centos.iso remote: centos.iso > > 227 Entering Passive Mode (192,168,10,48,144,252). > > 150 Opening BINARY mode data connection for centos.iso (4353378304 > bytes). > > 226 Transfer complete. > > 4353378304 bytes received in 66.5 secs (65433.85 Kbytes/sec) > > > > 2. 从FTP服务器上下载文件到被测试的VM(KVM)： > > 平均速度14.0M/S > > > > ftp> get test.iso > > local: test.iso remote: testiso > > 227 Entering Passive Mode (192,168,10,48,144,252). > > 150 Opening BINARY mode data connection for test.iso (140616708 bytes). > > 226 Transfer complete. > > 140616708 bytes received in 9.76 secs (14401.34 Kbytes/sec) > > > > > > 3.从被测试虚机Web服务器上下载文件到本地 > > 速度：1.0M/S > > > > [root@committer39 tmp]# wget > > http://192.168.10.73/tcd2.1-2014.06.25.tar.bz2 > > --2014-07-11 14:09:59-- http://192.168.10.73/tcd2.1-2014.06.25.tar.bz2 > > Connecting to 192.168.10.73:80... connected. > > HTTP request sent, awaiting response... 200 OK > > Length: 117659860 (112M) [application/x-bzip2] > > Saving to: 鈥渢cd2.1-2014.06.25.tar.bz2鈥 > > > > > 100%[==>] > > 117,659,860 1015K/s in 1m 47s > > > > 2014-07-11 14:11:47 (1.05 MB/s) - 鈥渢cd2.1-2014.06.25.tar.bz2鈥saved > > [117659860/117659860] > > > > 4.从被测试KVM主机的Web服务器上下载文件到本地 > > 测试速度：83M/S > > > > [root@committer39 tmp]# wget > > http://192.168.10.7/rhel-server-6.3-x86_64-dvd.iso > > --2014-07-11 13:28:29-- > > http://192.168.10.7/rhel-server-6.3-x86_64-dvd.iso > > Connecting to 192.168.10.7:80... connected. > > HTTP request sent, awaiting response... 200 OK > > Length: 3679453184 (3.4G) [application/octet-stream] > > Saving to: 鈥渞hel-server-6.3-x86_64-dvd.iso鈥 > > > > > 100%[>] > > 3,679,453,184 79.8M/s in 42s > > > > 2014-07-11 13:29:11 (83.0 MB/s) - 鈥渞hel-server-6.3-x86_64-dvd.iso鈥saved > > [3679453184/3679453184] > > > > > > > > > > 张雷(Evan) > > > > 中航信华东数据中心有限责任公司 > > > > Mail:evanitsh...@gmail.com > > > > 发件人： 贝为标 > > 发送时间： 2014-07-10 14:11 > > 收件人： users-cn > > 主题： Re: Re: Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢 > > evanitsharp,您好！ > > > > dd数据看起来没什么问题，你是用wget来下载吗？试试ftp传输看看？ > > > > === 2014-07-10 13:51:30 您在来信中写道：======= > > > > >你好，按照你的意思，我测试的数据如下： > > > > > >KVM主机上： > > >[root@cs tmp]# dd bs=1M count=1000 if=/dev/zero of=test oflag=dsync > > >1000+0 records in > > >1000+0 records out > > >1048576000 bytes (1.0 GB) copied, 3.50706 s, 299 MB/s > > > > > >虚拟机（KVM）上： > > >[root@cs tmp]# dd bs=1M count=1000 if=/dev/zero of=test oflag=dsync > > >1000+0 records in > > >1000+0 records out > > >1048576000 bytes (1.0 GB) copied, 22.7811 s, 46.0 MB/s > > > > > > > > > > > > > > >张雷(Evan) > > > > > >中航信华东数据中心有限责任公司 > > > > > &
Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢
你现在的这个问题和我去年的11月发现的问题几乎一样，寻遍了所有可能的解答， 始终没有找到原因，后来研究了近一个月，做了几十次不同的安装组 合，终于绕 过去了，由于这个问题，差点让我们放弃再使用CS了，不过我认为这个问题与CS的 版本有关，在4.1.1上不会出现这个问题，只有 4.2以后会有。我碰到这个问题是 在Ubuntu做CS安装环境下出现的。后来发现在CentOS下就没有了。 说这些供你参 考吧。 于 2014/7/11 15:11, evanitsharp 写道: basic 和 advanced zone我们都测试过，I/O速度差不多，都很慢。 virtual router和vm的bandwidth配置都是： global setting里面的network.throttling.rate和vm.network.throttling.rate的默认值都是200 好像没有问题啊 张雷(Evan) 中航信华东数据中心有限责任公司 Mail:evanitsh...@gmail.com 发件人： Wei ZHOU 发送时间： 2014-07-11 14:48 收件人： users-cn 主题： Re: Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢 你用的是advanced zone? 还是basic或者advanced zone with security group? 如果是后两个，流量不经过virtual router，所以可能跟cs没关系。 如果是第一个，流量都要经过virtual router，建议到virtual router上测试一下。 另外，看看virtual router和vm的配置（virsh dumpxml），看看里面的bandwidth设置，inbound和outbound的单位都是KBps。 global setting里面的network.throttling.rate和vm.network.throttling.rate的默认值都是200Mbps（25MBps）。建议修改，然后stop/start virtualrouter和vm. 在 2014年7月11日 上午8:17，evanitsharp 写道： 大家好，这是我最近的测试数据。经测试发现KVM下新建的虚机与局域网内其他机器交互的速度仍然不正常。 我们公司经过了多伦测试，每次装好的CS4.2.1+KVM环境，都存在这个问题。 各位在KVM环境下都没遇到过这个性能问题（使用KVM作虚级化平台，KVM上的虚拟机与外界交换数据的速度很慢）？ 我感觉这不是我们环境的问题，是CS自身的问题。 1.从FTP服务器上下载文件到被测试的KVM主机： 平均速度63M/S ftp> get centos.iso local: centos.iso remote: centos.iso 227 Entering Passive Mode (192,168,10,48,144,252). 150 Opening BINARY mode data connection for centos.iso (4353378304 bytes). 226 Transfer complete. 4353378304 bytes received in 66.5 secs (65433.85 Kbytes/sec) 2. 从FTP服务器上下载文件到被测试的VM(KVM)： 平均速度14.0M/S ftp> get test.iso local: test.iso remote: testiso 227 Entering Passive Mode (192,168,10,48,144,252). 150 Opening BINARY mode data connection for test.iso (140616708 bytes). 226 Transfer complete. 140616708 bytes received in 9.76 secs (14401.34 Kbytes/sec) 3.从被测试虚机Web服务器上下载文件到本地 速度：1.0M/S [root@committer39 tmp]# wget http://192.168.10.73/tcd2.1-2014.06.25.tar.bz2 --2014-07-11 14:09:59-- http://192.168.10.73/tcd2.1-2014.06.25.tar.bz2 Connecting to 192.168.10.73:80... connected. HTTP request sent, awaiting response... 200 OK Length: 117659860 (112M) [application/x-bzip2] Saving to: 鈥渢cd2.1-2014.06.25.tar.bz2鈥 100%[==>] 117,659,860 1015K/s in 1m 47s 2014-07-11 14:11:47 (1.05 MB/s) - 鈥渢cd2.1-2014.06.25.tar.bz2鈥saved [117659860/117659860] 4.从被测试KVM主机的Web服务器上下载文件到本地 测试速度：83M/S [root@committer39 tmp]# wget http://192.168.10.7/rhel-server-6.3-x86_64-dvd.iso --2014-07-11 13:28:29-- http://192.168.10.7/rhel-server-6.3-x86_64-dvd.iso Connecting to 192.168.10.7:80... connected. HTTP request sent, awaiting response... 200 OK Length: 3679453184 (3.4G) [application/octet-stream] Saving to: 鈥渞hel-server-6.3-x86_64-dvd.iso鈥 100%[>] 3,679,453,184 79.8M/s in 42s 2014-07-11 13:29:11 (83.0 MB/s) - 鈥渞hel-server-6.3-x86_64-dvd.iso鈥saved [3679453184/3679453184] 张雷(Evan) 中航信华东数据中心有限责任公司 Mail:evanitsh...@gmail.com 发件人： 贝为标 发送时间： 2014-07-10 14:11 收件人： users-cn 主题： Re: Re: Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢 evanitsharp,您好！ dd数据看起来没什么问题，你是用wget来下载吗？试试ftp传输看看？ === 2014-07-10 13:51:30 您在来信中写道：=== 你好，按照你的意思，我测试的数据如下： KVM主机上： [root@cs tmp]# dd bs=1M count=1000 if=/dev/zero of=test oflag=dsync 1000+0 records in 1000+0 records out 1048576000 bytes (1.0 GB) copied, 3.50706 s, 299 MB/s 虚拟机（KVM）上： [root@cs tmp]# dd bs=1M count=1000 if=/dev/zero of=test oflag=dsync 1000+0 records in 1000+0 records out 1048576000 bytes (1.0 GB) copied, 22.7811 s, 46.0 MB/s 张雷(Evan) 中航信华东数据中心有限责任公司 Mail:evanitsh...@gmail.com 发件人： 贝为标 发送时间： 2014-07-10 13:22 收件人： users-cn 主题： Re: Re: Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢 evanitsharp,您好！ 你的dd命令可能不正确，应该这样测试： # dd bs=1M count=1000 if=/dev/zero of=test oflag=dsync === 2014-07-10 13:14:28 您在来信中写道：=== 之前我说了从网络和存储两个方面考虑，以下是我测试的数据： 1.KVM虚拟机下用dd命令测试磁盘读写性能: 144MB/S 2.KVM物理主机用dd命令测试磁盘读写性能: 185MB/S 3.通过Web服务器下载大文件到VM(KVM)磁盘时，VM上的统计数据： [root@evan2 ~]# iostat avg-cpu: %user %nice %system %iowait %steal %idle 0.030.000.070.020.01 99.88 Device:tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn vda 0.629.09 203.93 956122146106 dm-025.738.21 203.93 864342146088 dm-10.03 0.23 0.00 2376 0 [root@evan2 ~]# iostat -d -k 1 1 Device:tpskB_read/skB_wrtn/skB_readkB_wrtn xvda 0.684.41 118.54 478061286357 dm-0 29.863.98 118.54 432171286348 dm-1 0.030.11 0.00 1188 0 4.通过Web服务器下载大文件到KVM主机磁盘时，KVM主机上的统计数据： [root@cs ~]# iostat avg-cpu: %user %nice %system %iowait %steal %idle 0.500.000.470.010.00 99.02 Device:tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn sda
RE: Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢
不应该是限速的问题，现在的软件，哪儿还会默认设置成几K的速度？ 还是GOOGLE一下，看是不是哪儿有BUG ---对网络这儿也熟（以前没系统学过）- 说一下我们这儿用的情况，希望有帮助 ： 1. qemu-kvm版本：qemu-kvm-0.12.1.2-2.415.el6_5.10.x86_64 2. VM版本 Debian7 系统VM模板http://cloudstack.apt-get.eu/systemvm/systemvm64template-2014-01-14-master-kvm.qcow2.bz2 网络设置，eth0>DHCP 3.CloudStack版本 CloudStack4.3 4.Host的系统CentOS6.5 5.网络使用Basic默认设置 在VM实例运行Linux或Win7时，访问外网（通过代理）和公司内网，皆正常达到非VM主机访问相同资源的速度。 - 从GOOGLE到的结果都与BUG有关。 如果GOOGLE在大陆访问不了，那可以试试别的英文搜索引擎 附： http://www.pubyun.com/blog/openstack/%E9%87%8D%E8%B4%9F%E8%BD%BD%E4%B8%8B%EF%BC%8Ckvm-%E7%BD%91%E7%BB%9C%E4%B8%AD%E6%96%AD%E7%9A%84%E9%97%AE%E9%A2%98/ -Original Message- From: Wei ZHOU [mailto:ustcweiz...@gmail.com] Sent: Friday, July 11, 2014 4:28 PM To: users-cn@cloudstack.apache.org Subject: Re: Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢 这么看可能是跟限速有关系。 200不够，你改大点，比如2000，2都可以。然后重启vm和router 在 2014年7月11日 上午9:11，evanitsharp 写道： > basic 和 advanced zone我们都测试过，I/O速度差不多，都很慢。 > > virtual router和vm的bandwidth配置都是： > > > > global > setting里面的network.throttling.rate和vm.network.throttling.rate的默认值都是200 > > 好像没有问题啊 > > > > > 张雷(Evan) > > 中航信华东数据中心有限责任公司 > > Mail:evanitsh...@gmail.com > > 发件人： Wei ZHOU > 发送时间： 2014-07-11 14:48 > 收件人： users-cn > 主题： Re: Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢 > 你用的是advanced zone? 还是basic或者advanced zone with security group? > 如果是后两个，流量不经过virtual router，所以可能跟cs没关系。 > 如果是第一个，流量都要经过virtual router，建议到virtual router上测试一下。 > > 另外，看看virtual router和vm的配置（virsh > dumpxml），看看里面的bandwidth设置，inbound和outbound的单位都是KBps。 > global > > setting里面的network.throttling.rate和vm.network.throttling.rate的默认值都是200M > bps（25MBps）。建议修改，然后stop/start > virtualrouter和vm. > > > 在 2014年7月11日 上午8:17，evanitsharp 写道： > > > 大家好，这是我最近的测试数据。经测试发现KVM下新建的虚机与局域网内其他机器交互的速度仍然不正常。 > > > > 我们公司经过了多伦测试，每次装好的CS4.2.1+KVM环境，都存在这个问题。 > > 各位在KVM环境下都没遇到过这个性能问题（使用KVM作虚级化平台，KVM上的虚拟机与外界交换数据的速度很慢）？ > > > > 我感觉这不是我们环境的问题，是CS自身的问题。 > > > > > > > > 1.从FTP服务器上下载文件到被测试的KVM主机： > > 平均速度63M/S > > > > ftp> get centos.iso > > local: centos.iso remote: centos.iso > > 227 Entering Passive Mode (192,168,10,48,144,252). > > 150 Opening BINARY mode data connection for centos.iso (4353378304 > bytes). > > 226 Transfer complete. > > 4353378304 bytes received in 66.5 secs (65433.85 Kbytes/sec) > > > > 2. 从FTP服务器上下载文件到被测试的VM(KVM)： > > 平均速度14.0M/S > > > > ftp> get test.iso > > local: test.iso remote: testiso > > 227 Entering Passive Mode (192,168,10,48,144,252). > > 150 Opening BINARY mode data connection for test.iso (140616708 bytes). > > 226 Transfer complete. > > 140616708 bytes received in 9.76 secs (14401.34 Kbytes/sec) > > > > > > 3.从被测试虚机Web服务器上下载文件到本地 > > 速度：1.0M/S > > > > [root@committer39 tmp]# wget > > http://192.168.10.73/tcd2.1-2014.06.25.tar.bz2 > > --2014-07-11 14:09:59-- > > http://192.168.10.73/tcd2.1-2014.06.25.tar.bz2 > > Connecting to 192.168.10.73:80... connected. > > HTTP request sent, awaiting response... 200 OK > > Length: 117659860 (112M) [application/x-bzip2] Saving to: > > 鈥渢cd2.1-2014.06.25.tar.bz2鈥 > > > > > 100%[= > =>] > > 117,659,860 1015K/s in 1m 47s > > > > 2014-07-11 14:11:47 (1.05 MB/s) - 鈥渢cd2.1-2014.06.25.tar.bz2鈥saved > > [117659860/117659860] > > > > 4.从被测试KVM主机的Web服务器上下载文件到本地 > > 测试速度：83M/S > > > > [root@committer39 tmp]# wget > > http://192.168.10.7/rhel-server-6.3-x86_64-dvd.iso > > --2014-07-11 13:28:29-- > > http://192.168.10.7/rhel-server-6.3-x86_64-dvd.iso > > Connecting to 192.168.10.7:80... connected. > > HTTP request sent, awaiting response... 200 OK > > Length: 3679453184 (3.4G) [application/octet-stream] Saving to: > > 鈥渞hel-server-6.3-x86_64-dvd.iso鈥 > > > > > 100%[= > ===>] > > 3,679,453,184 79.8M/s in 42s > > > > 2014-07-11 13:29:11 (83.0 MB/s) - > > 鈥渞hel-server-6.3-x86_64-dvd.iso鈥saved > > [3679453184/3679453184] > > > > > > > > > > 张雷(Evan) > > > > 中航信华东数据中心有限责任公司 > > > > Mail:evanitsh...@gmail.com > > > > 发件人： 贝为标 > > 发送时间： 2014-07-10 14:11 > > 收件人： users-cn > > 主题： Re: Re: Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢 > > evanitsharp,您好！ > > > > dd数据看起来没什么问题，你是用wget来下载吗？试试ftp传输看看？ > > > > ======= 2014-07-10 13:51:30 您在来信中写道：=== > > > > >你好，按照你的意思，我测试的数据如下： > > > > >
Re: Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢
这么看可能是跟限速有关系。 200不够，你改大点，比如2000，2都可以。然后重启vm和router 在 2014年7月11日 上午9:11，evanitsharp 写道： > basic 和 advanced zone我们都测试过，I/O速度差不多，都很慢。 > > virtual router和vm的bandwidth配置都是： > > > > global > setting里面的network.throttling.rate和vm.network.throttling.rate的默认值都是200 > > 好像没有问题啊 > > > > > 张雷(Evan) > > 中航信华东数据中心有限责任公司 > > Mail:evanitsh...@gmail.com > > 发件人： Wei ZHOU > 发送时间： 2014-07-11 14:48 > 收件人： users-cn > 主题： Re: Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢 > 你用的是advanced zone? 还是basic或者advanced zone with security group? > 如果是后两个，流量不经过virtual router，所以可能跟cs没关系。 > 如果是第一个，流量都要经过virtual router，建议到virtual router上测试一下。 > > 另外，看看virtual router和vm的配置（virsh > dumpxml），看看里面的bandwidth设置，inbound和outbound的单位都是KBps。 > global > > setting里面的network.throttling.rate和vm.network.throttling.rate的默认值都是200Mbps（25MBps）。建议修改，然后stop/start > virtualrouter和vm. > > > 在 2014年7月11日 上午8:17，evanitsharp 写道： > > > 大家好，这是我最近的测试数据。经测试发现KVM下新建的虚机与局域网内其他机器交互的速度仍然不正常。 > > > > 我们公司经过了多伦测试，每次装好的CS4.2.1+KVM环境，都存在这个问题。 > > 各位在KVM环境下都没遇到过这个性能问题（使用KVM作虚级化平台，KVM上的虚拟机与外界交换数据的速度很慢）？ > > > > 我感觉这不是我们环境的问题，是CS自身的问题。 > > > > > > > > 1.从FTP服务器上下载文件到被测试的KVM主机： > > 平均速度63M/S > > > > ftp> get centos.iso > > local: centos.iso remote: centos.iso > > 227 Entering Passive Mode (192,168,10,48,144,252). > > 150 Opening BINARY mode data connection for centos.iso (4353378304 > bytes). > > 226 Transfer complete. > > 4353378304 bytes received in 66.5 secs (65433.85 Kbytes/sec) > > > > 2. 从FTP服务器上下载文件到被测试的VM(KVM)： > > 平均速度14.0M/S > > > > ftp> get test.iso > > local: test.iso remote: testiso > > 227 Entering Passive Mode (192,168,10,48,144,252). > > 150 Opening BINARY mode data connection for test.iso (140616708 bytes). > > 226 Transfer complete. > > 140616708 bytes received in 9.76 secs (14401.34 Kbytes/sec) > > > > > > 3.从被测试虚机Web服务器上下载文件到本地 > > 速度：1.0M/S > > > > [root@committer39 tmp]# wget > > http://192.168.10.73/tcd2.1-2014.06.25.tar.bz2 > > --2014-07-11 14:09:59-- http://192.168.10.73/tcd2.1-2014.06.25.tar.bz2 > > Connecting to 192.168.10.73:80... connected. > > HTTP request sent, awaiting response... 200 OK > > Length: 117659860 (112M) [application/x-bzip2] > > Saving to: 鈥渢cd2.1-2014.06.25.tar.bz2鈥 > > > > > 100%[==>] > > 117,659,860 1015K/s in 1m 47s > > > > 2014-07-11 14:11:47 (1.05 MB/s) - 鈥渢cd2.1-2014.06.25.tar.bz2鈥saved > > [117659860/117659860] > > > > 4.从被测试KVM主机的Web服务器上下载文件到本地 > > 测试速度：83M/S > > > > [root@committer39 tmp]# wget > > http://192.168.10.7/rhel-server-6.3-x86_64-dvd.iso > > --2014-07-11 13:28:29-- > > http://192.168.10.7/rhel-server-6.3-x86_64-dvd.iso > > Connecting to 192.168.10.7:80... connected. > > HTTP request sent, awaiting response... 200 OK > > Length: 3679453184 (3.4G) [application/octet-stream] > > Saving to: 鈥渞hel-server-6.3-x86_64-dvd.iso鈥 > > > > > 100%[>] > > 3,679,453,184 79.8M/s in 42s > > > > 2014-07-11 13:29:11 (83.0 MB/s) - 鈥渞hel-server-6.3-x86_64-dvd.iso鈥saved > > [3679453184/3679453184] > > > > > > > > > > 张雷(Evan) > > > > 中航信华东数据中心有限责任公司 > > > > Mail:evanitsh...@gmail.com > > > > 发件人： 贝为标 > > 发送时间： 2014-07-10 14:11 > > 收件人： users-cn > > 主题： Re: Re: Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢 > > evanitsharp,您好！ > > > > dd数据看起来没什么问题，你是用wget来下载吗？试试ftp传输看看？ > > > > === 2014-07-10 13:51:30 您在来信中写道：======= > > > > >你好，按照你的意思，我测试的数据如下： > > > > > >KVM主机上： > > >[root@cs tmp]# dd bs=1M count=1000 if=/dev/zero of=test oflag=dsync > > >1000+0 records in > > >1000+0 records out > > >1048576000 bytes (1.0 GB) copied, 3.50706 s, 299 MB/s > > > > > >虚拟机（KVM）上： > > >[root@cs tmp]# dd bs=1M count=1000 if=/dev/zero of=test oflag=dsync > > >1000+0 records in > > >1000+0 records out > > >1048576000 bytes (1.0 GB) copied, 22.7811 s, 46.0 MB/s > > > > > > > > > > > > > > >张雷(Evan) > > > > > >中航信华东数据中心有限责任公司 > > > > > >Mail:evanitsh...@gmail.com > > > > > >发件人： 贝为标 > > >发送时间： 2014-07-10 13:22 > > >收件人： users-cn > > >主题： Re: Re: Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢 > > >evanitsharp,您好！ >
Re: Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢
basic 和 advanced zone我们都测试过，I/O速度差不多，都很慢。 virtual router和vm的bandwidth配置都是： global setting里面的network.throttling.rate和vm.network.throttling.rate的默认值都是200 好像没有问题啊 张雷(Evan) 中航信华东数据中心有限责任公司 Mail:evanitsh...@gmail.com 发件人： Wei ZHOU 发送时间： 2014-07-11 14:48 收件人： users-cn 主题： Re: Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢 你用的是advanced zone? 还是basic或者advanced zone with security group? 如果是后两个，流量不经过virtual router，所以可能跟cs没关系。 如果是第一个，流量都要经过virtual router，建议到virtual router上测试一下。 另外，看看virtual router和vm的配置（virsh dumpxml），看看里面的bandwidth设置，inbound和outbound的单位都是KBps。 global setting里面的network.throttling.rate和vm.network.throttling.rate的默认值都是200Mbps（25MBps）。建议修改，然后stop/start virtualrouter和vm. 在 2014年7月11日 上午8:17，evanitsharp 写道： > 大家好，这是我最近的测试数据。经测试发现KVM下新建的虚机与局域网内其他机器交互的速度仍然不正常。 > > 我们公司经过了多伦测试，每次装好的CS4.2.1+KVM环境，都存在这个问题。 > 各位在KVM环境下都没遇到过这个性能问题（使用KVM作虚级化平台，KVM上的虚拟机与外界交换数据的速度很慢）？ > > 我感觉这不是我们环境的问题，是CS自身的问题。 > > > > 1.从FTP服务器上下载文件到被测试的KVM主机： > 平均速度63M/S > > ftp> get centos.iso > local: centos.iso remote: centos.iso > 227 Entering Passive Mode (192,168,10,48,144,252). > 150 Opening BINARY mode data connection for centos.iso (4353378304 bytes). > 226 Transfer complete. > 4353378304 bytes received in 66.5 secs (65433.85 Kbytes/sec) > > 2. 从FTP服务器上下载文件到被测试的VM(KVM)： > 平均速度14.0M/S > > ftp> get test.iso > local: test.iso remote: testiso > 227 Entering Passive Mode (192,168,10,48,144,252). > 150 Opening BINARY mode data connection for test.iso (140616708 bytes). > 226 Transfer complete. > 140616708 bytes received in 9.76 secs (14401.34 Kbytes/sec) > > > 3.从被测试虚机Web服务器上下载文件到本地 > 速度：1.0M/S > > [root@committer39 tmp]# wget > http://192.168.10.73/tcd2.1-2014.06.25.tar.bz2 > --2014-07-11 14:09:59-- http://192.168.10.73/tcd2.1-2014.06.25.tar.bz2 > Connecting to 192.168.10.73:80... connected. > HTTP request sent, awaiting response... 200 OK > Length: 117659860 (112M) [application/x-bzip2] > Saving to: 鈥渢cd2.1-2014.06.25.tar.bz2鈥 > > 100%[==>] > 117,659,860 1015K/s in 1m 47s > > 2014-07-11 14:11:47 (1.05 MB/s) - 鈥渢cd2.1-2014.06.25.tar.bz2鈥saved > [117659860/117659860] > > 4.从被测试KVM主机的Web服务器上下载文件到本地 > 测试速度：83M/S > > [root@committer39 tmp]# wget > http://192.168.10.7/rhel-server-6.3-x86_64-dvd.iso > --2014-07-11 13:28:29-- > http://192.168.10.7/rhel-server-6.3-x86_64-dvd.iso > Connecting to 192.168.10.7:80... connected. > HTTP request sent, awaiting response... 200 OK > Length: 3679453184 (3.4G) [application/octet-stream] > Saving to: 鈥渞hel-server-6.3-x86_64-dvd.iso鈥 > > 100%[>] > 3,679,453,184 79.8M/s in 42s > > 2014-07-11 13:29:11 (83.0 MB/s) - 鈥渞hel-server-6.3-x86_64-dvd.iso鈥saved > [3679453184/3679453184] > > > > > 张雷(Evan) > > 中航信华东数据中心有限责任公司 > > Mail:evanitsh...@gmail.com > > 发件人： 贝为标 > 发送时间： 2014-07-10 14:11 > 收件人： users-cn > 主题： Re: Re: Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢 > evanitsharp,您好！ > > dd数据看起来没什么问题，你是用wget来下载吗？试试ftp传输看看？ > > === 2014-07-10 13:51:30 您在来信中写道：=== > > >你好，按照你的意思，我测试的数据如下： > > > >KVM主机上： > >[root@cs tmp]# dd bs=1M count=1000 if=/dev/zero of=test oflag=dsync > >1000+0 records in > >1000+0 records out > >1048576000 bytes (1.0 GB) copied, 3.50706 s, 299 MB/s > > > >虚拟机（KVM）上： > >[root@cs tmp]# dd bs=1M count=1000 if=/dev/zero of=test oflag=dsync > >1000+0 records in > >1000+0 records out > >1048576000 bytes (1.0 GB) copied, 22.7811 s, 46.0 MB/s > > > > > > > > > >张雷(Evan) > > > >中航信华东数据中心有限责任公司 > > > >Mail:evanitsh...@gmail.com > > > >发件人： 贝为标 > >发送时间： 2014-07-10 13:22 > >收件人： users-cn > >主题： Re: Re: Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢 > >evanitsharp,您好！ > > > >你的dd命令可能不正确，应该这样测试： > > > ># dd bs=1M count=1000 if=/dev/zero of=test oflag=dsync > > > > > > > >=== 2014-07-10 13:14:28 您在来信中写道：=== > > > >>之前我说了从网络和存储两个方面考虑，以下是我测试的数据： > >> > >>1.KVM虚拟机下用dd命令测试磁盘读写性能: > >>144MB/S > >> > >>2.KVM物理主机用dd命令测试磁盘读写性能: > >>185MB/S > >> > >>3.通过Web服务器下载大文件到VM(KVM)磁盘时，VM上的统计数据： > >>[root@evan2 ~]# iostat > >>avg-cpu: %user %nice %system %iowait %steal %idle > >> 0.030.000.070.020.01 99.88 > >>Device:tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn > >>vda 0.629.09 203.93 956122146106 > >>dm-025.738.21
Re: Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢
哦，对，即使是basic或者advanced-sg，vm.network.throttling.rate也会影响vm 在 2014年7月11日 上午8:48，Wei ZHOU 写道： > 你用的是advanced zone? 还是basic或者advanced zone with security group? > 如果是后两个，流量不经过virtual router，所以可能跟cs没关系。 > 如果是第一个，流量都要经过virtual router，建议到virtual router上测试一下。 > > 另外，看看virtual router和vm的配置（virsh > dumpxml），看看里面的bandwidth设置，inbound和outbound的单位都是KBps。 > global > setting里面的network.throttling.rate和vm.network.throttling.rate的默认值都是200Mbps（25MBps）。建议修改，然后stop/start > virtualrouter和vm. > > > 在 2014年7月11日 上午8:17，evanitsharp 写道： > > 大家好，这是我最近的测试数据。经测试发现KVM下新建的虚机与局域网内其他机器交互的速度仍然不正常。 >> >> 我们公司经过了多伦测试，每次装好的CS4.2.1+KVM环境，都存在这个问题。 >> 各位在KVM环境下都没遇到过这个性能问题（使用KVM作虚级化平台，KVM上的虚拟机与外界交换数据的速度很慢）？ >> >> 我感觉这不是我们环境的问题，是CS自身的问题。 >> >> >> >> 1.从FTP服务器上下载文件到被测试的KVM主机： >> 平均速度63M/S >> >> ftp> get centos.iso >> local: centos.iso remote: centos.iso >> 227 Entering Passive Mode (192,168,10,48,144,252). >> 150 Opening BINARY mode data connection for centos.iso (4353378304 >> bytes). >> 226 Transfer complete. >> 4353378304 bytes received in 66.5 secs (65433.85 Kbytes/sec) >> >> 2. 从FTP服务器上下载文件到被测试的VM(KVM)： >> 平均速度14.0M/S >> >> ftp> get test.iso >> local: test.iso remote: testiso >> 227 Entering Passive Mode (192,168,10,48,144,252). >> 150 Opening BINARY mode data connection for test.iso (140616708 bytes). >> 226 Transfer complete. >> 140616708 bytes received in 9.76 secs (14401.34 Kbytes/sec) >> >> >> 3.从被测试虚机Web服务器上下载文件到本地 >> 速度：1.0M/S >> >> [root@committer39 tmp]# wget >> http://192.168.10.73/tcd2.1-2014.06.25.tar.bz2 >> --2014-07-11 <http://192.168.10.73/tcd2.1-2014.06.25.tar.bz2--2014-07-11> >> 14:09:59-- http://192.168.10.73/tcd2.1-2014.06.25.tar.bz2 >> Connecting to 192.168.10.73:80... connected. >> HTTP request sent, awaiting response... 200 OK >> Length: 117659860 (112M) [application/x-bzip2] >> Saving to: 鈥渢cd2.1-2014.06.25.tar.bz2鈥 >> >> 100%[==>] >> 117,659,860 1015K/s in 1m 47s >> >> 2014-07-11 14:11:47 (1.05 MB/s) - 鈥渢cd2.1-2014.06.25.tar.bz2鈥saved >> [117659860/117659860] >> >> 4.从被测试KVM主机的Web服务器上下载文件到本地 >> 测试速度：83M/S >> >> [root@committer39 tmp]# wget >> http://192.168.10.7/rhel-server-6.3-x86_64-dvd.iso >> --2014-07-11 >> <http://192.168.10.7/rhel-server-6.3-x86_64-dvd.iso--2014-07-11> >> 13:28:29-- http://192.168.10.7/rhel-server-6.3-x86_64-dvd.iso >> Connecting to 192.168.10.7:80... connected. >> HTTP request sent, awaiting response... 200 OK >> Length: 3679453184 (3.4G) [application/octet-stream] >> Saving to: 鈥渞hel-server-6.3-x86_64-dvd.iso鈥 >> >> 100%[>] >> 3,679,453,184 79.8M/s in 42s >> >> 2014-07-11 13:29:11 (83.0 MB/s) - 鈥渞hel-server-6.3-x86_64-dvd.iso鈥saved >> [3679453184/3679453184] >> >> >> >> >> 张雷(Evan) >> >> 中航信华东数据中心有限责任公司 >> >> Mail:evanitsh...@gmail.com >> >> 发件人： 贝为标 >> 发送时间： 2014-07-10 14:11 >> 收件人： users-cn >> 主题： Re: Re: Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢 >> evanitsharp,您好！ >> >> dd数据看起来没什么问题，你是用wget来下载吗？试试ftp传输看看？ >> >> === 2014-07-10 13:51:30 您在来信中写道：=== >> >> >你好，按照你的意思，我测试的数据如下： >> > >> >KVM主机上： >> >[root@cs tmp]# dd bs=1M count=1000 if=/dev/zero of=test oflag=dsync >> >1000+0 records in >> >1000+0 records out >> >1048576000 bytes (1.0 GB) copied, 3.50706 s, 299 MB/s >> > >> >虚拟机（KVM）上： >> >[root@cs tmp]# dd bs=1M count=1000 if=/dev/zero of=test oflag=dsync >> >1000+0 records in >> >1000+0 records out >> >1048576000 bytes (1.0 GB) copied, 22.7811 s, 46.0 MB/s >> > >> > >> > >> > >> >张雷(Evan) >> > >> >中航信华东数据中心有限责任公司 >> > >> >Mail:evanitsh...@gmail.com >> > >> >发件人： 贝为标 >> >发送时间： 2014-07-10 13:22 >> >收件人： users-cn >> >主题： Re: Re: Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢 >> >evanitsharp,您好！ >> > >> >你的dd命令可能不正确，应该这样测试： >> > >> ># dd bs=1M count=1000 if=/dev/zero of=test oflag=dsync >> > >> > >> > >> >=== 2014-07-10 13:14:28 您在来信中写道：=== >> > >> >>之前我说了从网络和存储两个方面考虑，以下是我测试的数据： >> >> >> >>1.KVM虚拟机下用dd命令测试磁盘读写性能: >> >>144MB/S >> >> >> >>2.K
Re: Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢
你用的是advanced zone? 还是basic或者advanced zone with security group? 如果是后两个，流量不经过virtual router，所以可能跟cs没关系。 如果是第一个，流量都要经过virtual router，建议到virtual router上测试一下。 另外，看看virtual router和vm的配置（virsh dumpxml），看看里面的bandwidth设置，inbound和outbound的单位都是KBps。 global setting里面的network.throttling.rate和vm.network.throttling.rate的默认值都是200Mbps（25MBps）。建议修改，然后stop/start virtualrouter和vm. 在 2014年7月11日 上午8:17，evanitsharp 写道： > 大家好，这是我最近的测试数据。经测试发现KVM下新建的虚机与局域网内其他机器交互的速度仍然不正常。 > > 我们公司经过了多伦测试，每次装好的CS4.2.1+KVM环境，都存在这个问题。 > 各位在KVM环境下都没遇到过这个性能问题（使用KVM作虚级化平台，KVM上的虚拟机与外界交换数据的速度很慢）？ > > 我感觉这不是我们环境的问题，是CS自身的问题。 > > > > 1.从FTP服务器上下载文件到被测试的KVM主机： > 平均速度63M/S > > ftp> get centos.iso > local: centos.iso remote: centos.iso > 227 Entering Passive Mode (192,168,10,48,144,252). > 150 Opening BINARY mode data connection for centos.iso (4353378304 bytes). > 226 Transfer complete. > 4353378304 bytes received in 66.5 secs (65433.85 Kbytes/sec) > > 2. 从FTP服务器上下载文件到被测试的VM(KVM)： > 平均速度14.0M/S > > ftp> get test.iso > local: test.iso remote: testiso > 227 Entering Passive Mode (192,168,10,48,144,252). > 150 Opening BINARY mode data connection for test.iso (140616708 bytes). > 226 Transfer complete. > 140616708 bytes received in 9.76 secs (14401.34 Kbytes/sec) > > > 3.从被测试虚机Web服务器上下载文件到本地 > 速度：1.0M/S > > [root@committer39 tmp]# wget > http://192.168.10.73/tcd2.1-2014.06.25.tar.bz2 > --2014-07-11 14:09:59-- http://192.168.10.73/tcd2.1-2014.06.25.tar.bz2 > Connecting to 192.168.10.73:80... connected. > HTTP request sent, awaiting response... 200 OK > Length: 117659860 (112M) [application/x-bzip2] > Saving to: 鈥渢cd2.1-2014.06.25.tar.bz2鈥 > > 100%[==>] > 117,659,860 1015K/s in 1m 47s > > 2014-07-11 14:11:47 (1.05 MB/s) - 鈥渢cd2.1-2014.06.25.tar.bz2鈥saved > [117659860/117659860] > > 4.从被测试KVM主机的Web服务器上下载文件到本地 > 测试速度：83M/S > > [root@committer39 tmp]# wget > http://192.168.10.7/rhel-server-6.3-x86_64-dvd.iso > --2014-07-11 13:28:29-- > http://192.168.10.7/rhel-server-6.3-x86_64-dvd.iso > Connecting to 192.168.10.7:80... connected. > HTTP request sent, awaiting response... 200 OK > Length: 3679453184 (3.4G) [application/octet-stream] > Saving to: 鈥渞hel-server-6.3-x86_64-dvd.iso鈥 > > 100%[>] > 3,679,453,184 79.8M/s in 42s > > 2014-07-11 13:29:11 (83.0 MB/s) - 鈥渞hel-server-6.3-x86_64-dvd.iso鈥saved > [3679453184/3679453184] > > > > > 张雷(Evan) > > 中航信华东数据中心有限责任公司 > > Mail:evanitsh...@gmail.com > > 发件人： 贝为标 > 发送时间： 2014-07-10 14:11 > 收件人： users-cn > 主题： Re: Re: Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢 > evanitsharp,您好！ > > dd数据看起来没什么问题，你是用wget来下载吗？试试ftp传输看看？ > > === 2014-07-10 13:51:30 您在来信中写道：=== > > >你好，按照你的意思，我测试的数据如下： > > > >KVM主机上： > >[root@cs tmp]# dd bs=1M count=1000 if=/dev/zero of=test oflag=dsync > >1000+0 records in > >1000+0 records out > >1048576000 bytes (1.0 GB) copied, 3.50706 s, 299 MB/s > > > >虚拟机（KVM）上： > >[root@cs tmp]# dd bs=1M count=1000 if=/dev/zero of=test oflag=dsync > >1000+0 records in > >1000+0 records out > >1048576000 bytes (1.0 GB) copied, 22.7811 s, 46.0 MB/s > > > > > > > > > >张雷(Evan) > > > >中航信华东数据中心有限责任公司 > > > >Mail:evanitsh...@gmail.com > > > >发件人： 贝为标 > >发送时间： 2014-07-10 13:22 > >收件人： users-cn > >主题： Re: Re: Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢 > >evanitsharp,您好！ > > > >你的dd命令可能不正确，应该这样测试： > > > ># dd bs=1M count=1000 if=/dev/zero of=test oflag=dsync > > > > > > > >=== 2014-07-10 13:14:28 您在来信中写道：=== > > > >>之前我说了从网络和存储两个方面考虑，以下是我测试的数据： > >> > >>1.KVM虚拟机下用dd命令测试磁盘读写性能: > >>144MB/S > >> > >>2.KVM物理主机用dd命令测试磁盘读写性能: > >>185MB/S > >> > >>3.通过Web服务器下载大文件到VM(KVM)磁盘时，VM上的统计数据： > >>[root@evan2 ~]# iostat > >>avg-cpu: %user %nice %system %iowait %steal %idle > >> 0.030.000.070.020.01 99.88 > >>Device:tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn > >>vda 0.629.09 203.93 956122146106 > >>dm-025.738.21 203.93 864342146088 > >>dm-10.03 0.23 0.00 2376 0 > >> > >>[root@evan2 ~]# iostat -d -k 1 1 > >>Device:tpskB_read/skB_wrtn/skB_readkB_wrtn > >>xvda 0.684.41 118.54 4
Re: Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢
大家好，这是我最近的测试数据。经测试发现KVM下新建的虚机与局域网内其他机器交互的速度仍然不正常。 我们公司经过了多伦测试，每次装好的CS4.2.1+KVM环境，都存在这个问题。 各位在KVM环境下都没遇到过这个性能问题（使用KVM作虚级化平台，KVM上的虚拟机与外界交换数据的速度很慢）？ 我感觉这不是我们环境的问题，是CS自身的问题。 1.从FTP服务器上下载文件到被测试的KVM主机： 平均速度63M/S ftp> get centos.iso local: centos.iso remote: centos.iso 227 Entering Passive Mode (192,168,10,48,144,252). 150 Opening BINARY mode data connection for centos.iso (4353378304 bytes). 226 Transfer complete. 4353378304 bytes received in 66.5 secs (65433.85 Kbytes/sec) 2. 从FTP服务器上下载文件到被测试的VM(KVM)： 平均速度14.0M/S ftp> get test.iso local: test.iso remote: testiso 227 Entering Passive Mode (192,168,10,48,144,252). 150 Opening BINARY mode data connection for test.iso (140616708 bytes). 226 Transfer complete. 140616708 bytes received in 9.76 secs (14401.34 Kbytes/sec) 3.从被测试虚机Web服务器上下载文件到本地 速度：1.0M/S [root@committer39 tmp]# wget http://192.168.10.73/tcd2.1-2014.06.25.tar.bz2 --2014-07-11 14:09:59-- http://192.168.10.73/tcd2.1-2014.06.25.tar.bz2 Connecting to 192.168.10.73:80... connected. HTTP request sent, awaiting response... 200 OK Length: 117659860 (112M) [application/x-bzip2] Saving to: 鈥渢cd2.1-2014.06.25.tar.bz2鈥 100%[==>] 117,659,860 1015K/s in 1m 47s 2014-07-11 14:11:47 (1.05 MB/s) - 鈥渢cd2.1-2014.06.25.tar.bz2鈥saved [117659860/117659860] 4.从被测试KVM主机的Web服务器上下载文件到本地 测试速度：83M/S [root@committer39 tmp]# wget http://192.168.10.7/rhel-server-6.3-x86_64-dvd.iso --2014-07-11 13:28:29-- http://192.168.10.7/rhel-server-6.3-x86_64-dvd.iso Connecting to 192.168.10.7:80... connected. HTTP request sent, awaiting response... 200 OK Length: 3679453184 (3.4G) [application/octet-stream] Saving to: 鈥渞hel-server-6.3-x86_64-dvd.iso鈥 100%[>] 3,679,453,184 79.8M/s in 42s 2014-07-11 13:29:11 (83.0 MB/s) - 鈥渞hel-server-6.3-x86_64-dvd.iso鈥saved [3679453184/3679453184] 张雷(Evan) 中航信华东数据中心有限责任公司 Mail:evanitsh...@gmail.com 发件人： 贝为标 发送时间： 2014-07-10 14:11 收件人： users-cn 主题： Re: Re: Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢 evanitsharp,您好！ dd数据看起来没什么问题，你是用wget来下载吗？试试ftp传输看看？ === 2014-07-10 13:51:30 您在来信中写道：=== >你好，按照你的意思，我测试的数据如下： > >KVM主机上： >[root@cs tmp]# dd bs=1M count=1000 if=/dev/zero of=test oflag=dsync >1000+0 records in >1000+0 records out >1048576000 bytes (1.0 GB) copied, 3.50706 s, 299 MB/s > >虚拟机（KVM）上： >[root@cs tmp]# dd bs=1M count=1000 if=/dev/zero of=test oflag=dsync >1000+0 records in >1000+0 records out >1048576000 bytes (1.0 GB) copied, 22.7811 s, 46.0 MB/s > > > > >张雷(Evan) > >中航信华东数据中心有限责任公司 > >Mail:evanitsh...@gmail.com > >发件人： 贝为标 >发送时间： 2014-07-10 13:22 >收件人： users-cn >主题： Re: Re: Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢 >evanitsharp,您好！ > >你的dd命令可能不正确，应该这样测试： > ># dd bs=1M count=1000 if=/dev/zero of=test oflag=dsync > > > >=== 2014-07-10 13:14:28 您在来信中写道：=== > >>之前我说了从网络和存储两个方面考虑，以下是我测试的数据： >> >>1.KVM虚拟机下用dd命令测试磁盘读写性能: >>144MB/S >> >>2.KVM物理主机用dd命令测试磁盘读写性能: >>185MB/S >> >>3.通过Web服务器下载大文件到VM(KVM)磁盘时，VM上的统计数据： >>[root@evan2 ~]# iostat >>avg-cpu: %user %nice %system %iowait %steal %idle >> 0.030.000.070.020.01 99.88 >>Device:tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn >>vda 0.629.09 203.93 956122146106 >>dm-025.738.21 203.93 864342146088 >>dm-10.03 0.23 0.00 2376 0 >> >>[root@evan2 ~]# iostat -d -k 1 1 >>Device:tpskB_read/skB_wrtn/skB_readkB_wrtn >>xvda 0.684.41 118.54 478061286357 >>dm-0 29.863.98 118.54 432171286348 >>dm-1 0.030.11 0.00 1188 0 >> >>4.通过Web服务器下载大文件到KVM主机磁盘时，KVM主机上的统计数据： >>[root@cs ~]# iostat >>avg-cpu: %user %nice %system %iowait %steal %idle >> 0.500.000.470.010.00 99.02 >> >>Device:tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn >>sda 5.6389.66 251.3714114523957284 >>dm-0 9.5487.72 251.3413809363956682 >>dm-1 0.02 0.16 0.00 2576 0 >>dm-2 0.04 0.27 0.04 4322560 >> >>[root@cs ~]# iostat -d -k 1 1 >>Device:tpskB_read/skB_wrtn/skB_readkB_wrtn >>sda 7.9444.71 396.31 7060266258666 >>dm-0 76.8443.74 396.29 6907686258365 >
Re: Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢
1.通过HTTP下载文件到KVM主机的情况 [root@cs tmp]# wget http://192.168.10.39/centos.iso --2014-07-10 14:33:48-- http://192.168.10.39/centos.iso Connecting to 192.168.10.39:80... connected. HTTP request sent, awaiting response... 200 OK Length: 4353378304 (4.1G) [application/octet-stream] 100%[===>] 4,353,378,304 101M/s in 47s 2014-07-10 14:34:35 (89.2 MB/s) - 鈥渃entos.iso鈥saved [4353378304/4353378304] 2.Web服务器搭建在KVM主机上时，从改服务器下载文件到开发机 2.通过HTTP下载文件到VM(KVM)的情况 因为很慢，具体数据略，平均速度为700K/S 如图： 因为公司暂没有可用的FTP服务器，所以FTP下载速度没有测试， 张雷(Evan) 中航信华东数据中心有限责任公司 Mail:evanitsh...@gmail.com 发件人： 贝为标 发送时间： 2014-07-10 14:11 收件人： users-cn 主题： Re: Re: Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢 evanitsharp,您好！ dd数据看起来没什么问题，你是用wget来下载吗？试试ftp传输看看？ === 2014-07-10 13:51:30 您在来信中写道：=== >你好，按照你的意思，我测试的数据如下： > >KVM主机上： >[root@cs tmp]# dd bs=1M count=1000 if=/dev/zero of=test oflag=dsync >1000+0 records in >1000+0 records out >1048576000 bytes (1.0 GB) copied, 3.50706 s, 299 MB/s > >虚拟机（KVM）上： >[root@cs tmp]# dd bs=1M count=1000 if=/dev/zero of=test oflag=dsync >1000+0 records in >1000+0 records out >1048576000 bytes (1.0 GB) copied, 22.7811 s, 46.0 MB/s > > > > >张雷(Evan) > >中航信华东数据中心有限责任公司 > >Mail:evanitsh...@gmail.com > >发件人： 贝为标 >发送时间： 2014-07-10 13:22 >收件人： users-cn >主题： Re: Re: Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢 >evanitsharp,您好！ > >你的dd命令可能不正确，应该这样测试： > ># dd bs=1M count=1000 if=/dev/zero of=test oflag=dsync > > > >=== 2014-07-10 13:14:28 您在来信中写道：=== > >>之前我说了从网络和存储两个方面考虑，以下是我测试的数据： >> >>1.KVM虚拟机下用dd命令测试磁盘读写性能: >>144MB/S >> >>2.KVM物理主机用dd命令测试磁盘读写性能: >>185MB/S >> >>3.通过Web服务器下载大文件到VM(KVM)磁盘时，VM上的统计数据： >>[root@evan2 ~]# iostat >>avg-cpu: %user %nice %system %iowait %steal %idle >> 0.030.000.070.020.01 99.88 >>Device:tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn >>vda 0.629.09 203.93 956122146106 >>dm-025.738.21 203.93 864342146088 >>dm-10.03 0.23 0.00 2376 0 >> >>[root@evan2 ~]# iostat -d -k 1 1 >>Device:tpskB_read/skB_wrtn/skB_readkB_wrtn >>xvda 0.684.41 118.54 478061286357 >>dm-0 29.863.98 118.54 432171286348 >>dm-1 0.030.11 0.00 1188 0 >> >>4.通过Web服务器下载大文件到KVM主机磁盘时，KVM主机上的统计数据： >>[root@cs ~]# iostat >>avg-cpu: %user %nice %system %iowait %steal %idle >> 0.500.000.470.010.00 99.02 >> >>Device:tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn >>sda 5.6389.66 251.3714114523957284 >>dm-0 9.5487.72 251.3413809363956682 >>dm-1 0.02 0.16 0.00 2576 0 >>dm-2 0.04 0.27 0.04 4322560 >> >>[root@cs ~]# iostat -d -k 1 1 >>Device:tpskB_read/skB_wrtn/skB_readkB_wrtn >>sda 7.9444.71 396.31 7060266258666 >>dm-0 76.8443.74 396.29 6907686258365 >>dm-1 0.02 0.08 0.00 1288 0 >>dm-2 0.04 0.14 0.02 2161 280 >> >>通过数据的比较，我感觉问题主要出在网络方面，很可能和Virtual Router有关系（但我们环境里的Virtual >>Router是默认配置）。交换机配置是没有问题的，因为局域网网其它XenServer、ESXi主机的网络读写性能都很正常。 >> >>我想了解下大家在用CS4.2.1+KVM时，有没有碰到KVM虚拟机读写I/O性能问题？你们是怎么解决的？ >> >> >> >> >>张雷(Evan) >> >>中航信华东数据中心有限责任公司 >> >>Mail:evanitsh...@gmail.com >> >>发件人： Wei ZHOU >>发送时间： 2014-07-09 16:12 >>收件人： users-cn >>主题： Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢 >>用dd和iostat测一下本机和虚拟机里面的磁盘性能看看差多少 >> >> >>在 2014年7月9日 下午3:58，evanitsharp 写道： >> >>> CS4.2.1+KVM环境下，存储使用local（即建好的虚机位于KVM本机上），新建的VM读写速度很慢 >>> >>> 1. 我在KVM上的新建的虚机上搭建好了web服务器，局域网内另外一台计算机上通过这台Web服务器下载文件，下载的平均速度只有1.2M/S >>> >>> 2. 我从局域网内的一台正常Web服务器下载文件到该KVM上的虚拟机，速度只有700K/S >>> >>> 而我们的局域网是千兆网络，从web服务器下载文件到自己本地的机器速度都有100M/S >>> >>> >>> 请问：CS4.2.1下，KVM下建好的虚机磁盘读写速度为什么会这么慢，怎么样解决这个问题？ >>> PS：从网络和存储两个方面考虑 >>> >>> 麻烦各位给个解决办法，谢谢 >>> >>> >>> >>> >>> 张雷(Evan) >>> >>> 中航信华东数据中心有限责任公司 >>> >>> Mail:evanitsh...@gmail.com > >= = = = = = = = = = = = = = = = = = = = > >致 >礼！ >贝为标 >beiweib...@163.com > 2014-07-10 = = = = = = = = = = = = = = = = = = = = 致 礼！ 贝为标 beiweib...@163.com 2014-07-10
Re: Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢
virtual router的默认限速是200Mbps（也就是25MBps） 在 2014年7月10日 下午1:13，evanitsharp 写道： > 之前我说了从网络和存储两个方面考虑，以下是我测试的数据： > > 1.KVM虚拟机下用dd命令测试磁盘读写性能: > 144MB/S > > 2.KVM物理主机用dd命令测试磁盘读写性能: > 185MB/S > > 3.通过Web服务器下载大文件到VM(KVM)磁盘时，VM上的统计数据： > [root@evan2 ~]# iostat > avg-cpu: %user %nice %system %iowait %steal %idle >0.030.000.070.020.01 99.88 > Device:tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn > vda 0.629.09 203.93 956122146106 > dm-025.738.21 203.93 864342146088 > dm-10.03 0.23 0.00 2376 0 > > [root@evan2 ~]# iostat -d -k 1 1 > Device:tpskB_read/skB_wrtn/skB_readkB_wrtn > xvda 0.684.41 118.54 478061286357 > dm-0 29.863.98 118.54 432171286348 > dm-1 0.030.11 0.00 1188 0 > > 4.通过Web服务器下载大文件到KVM主机磁盘时，KVM主机上的统计数据： > [root@cs ~]# iostat > avg-cpu: %user %nice %system %iowait %steal %idle >0.500.000.470.010.00 99.02 > > Device:tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn > sda 5.6389.66 251.3714114523957284 > dm-0 9.5487.72 251.3413809363956682 > dm-1 0.02 0.16 0.00 2576 0 > dm-2 0.04 0.27 0.04 4322560 > > [root@cs ~]# iostat -d -k 1 1 > Device:tpskB_read/skB_wrtn/skB_readkB_wrtn > sda 7.9444.71 396.31 7060266258666 > dm-0 76.8443.74 396.29 6907686258365 > dm-1 0.02 0.08 0.00 1288 0 > dm-2 0.04 0.14 0.02 2161280 > > 通过数据的比较，我感觉问题主要出在网络方面，很可能和Virtual Router有关系（但我们环境里的Virtual > Router是默认配置）。交换机配置是没有问题的，因为局域网网其它XenServer、ESXi主机的网络读写性能都很正常。 > > 我想了解下大家在用CS4.2.1+KVM时，有没有碰到KVM虚拟机读写I/O性能问题？你们是怎么解决的？ > > > > > 张雷(Evan) > > 中航信华东数据中心有限责任公司 > > Mail:evanitsh...@gmail.com > > 发件人： Wei ZHOU > 发送时间： 2014-07-09 16:12 > 收件人： users-cn > 主题： Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢 > 用dd和iostat测一下本机和虚拟机里面的磁盘性能看看差多少 > > > 在 2014年7月9日 下午3:58，evanitsharp 写道： > > > CS4.2.1+KVM环境下，存储使用local（即建好的虚机位于KVM本机上），新建的VM读写速度很慢 > > > > 1. 我在KVM上的新建的虚机上搭建好了web服务器，局域网内另外一台计算机上通过这台Web服务器下载文件，下载的平均速度只有1.2M/S > > > > 2. 我从局域网内的一台正常Web服务器下载文件到该KVM上的虚拟机，速度只有700K/S > > > > 而我们的局域网是千兆网络，从web服务器下载文件到自己本地的机器速度都有100M/S > > > > > > 请问：CS4.2.1下，KVM下建好的虚机磁盘读写速度为什么会这么慢，怎么样解决这个问题？ > > PS：从网络和存储两个方面考虑 > > > > 麻烦各位给个解决办法，谢谢 > > > > > > > > > > 张雷(Evan) > > > > 中航信华东数据中心有限责任公司 > > > > Mail:evanitsh...@gmail.com >
Re: Re: Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢
evanitsharp,您好！ dd数据看起来没什么问题，你是用wget来下载吗？试试ftp传输看看？ === 2014-07-10 13:51:30 您在来信中写道：=== >你好，按照你的意思，我测试的数据如下： > >KVM主机上： >[root@cs tmp]# dd bs=1M count=1000 if=/dev/zero of=test oflag=dsync >1000+0 records in >1000+0 records out >1048576000 bytes (1.0 GB) copied, 3.50706 s, 299 MB/s > >虚拟机（KVM）上： >[root@cs tmp]# dd bs=1M count=1000 if=/dev/zero of=test oflag=dsync >1000+0 records in >1000+0 records out >1048576000 bytes (1.0 GB) copied, 22.7811 s, 46.0 MB/s > > > > >张雷(Evan) > >中航信华东数据中心有限责任公司 > >Mail:evanitsh...@gmail.com > >发件人： 贝为标 >发送时间： 2014-07-10 13:22 >收件人： users-cn >主题： Re: Re: Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢 >evanitsharp,您好！ > >你的dd命令可能不正确，应该这样测试： > ># dd bs=1M count=1000 if=/dev/zero of=test oflag=dsync > > > >=== 2014-07-10 13:14:28 您在来信中写道：=== > >>之前我说了从网络和存储两个方面考虑，以下是我测试的数据： >> >>1.KVM虚拟机下用dd命令测试磁盘读写性能: >>144MB/S >> >>2.KVM物理主机用dd命令测试磁盘读写性能: >>185MB/S >> >>3.通过Web服务器下载大文件到VM(KVM)磁盘时，VM上的统计数据： >>[root@evan2 ~]# iostat >>avg-cpu: %user %nice %system %iowait %steal %idle >> 0.030.000.070.020.01 99.88 >>Device:tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn >>vda 0.629.09 203.93 956122146106 >>dm-025.738.21 203.93 864342146088 >>dm-10.03 0.23 0.00 2376 0 >> >>[root@evan2 ~]# iostat -d -k 1 1 >>Device:tpskB_read/skB_wrtn/skB_readkB_wrtn >>xvda 0.684.41 118.54 478061286357 >>dm-0 29.863.98 118.54 432171286348 >>dm-1 0.030.11 0.00 1188 0 >> >>4.通过Web服务器下载大文件到KVM主机磁盘时，KVM主机上的统计数据： >>[root@cs ~]# iostat >>avg-cpu: %user %nice %system %iowait %steal %idle >> 0.500.000.470.010.00 99.02 >> >>Device:tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn >>sda 5.6389.66 251.3714114523957284 >>dm-0 9.5487.72 251.3413809363956682 >>dm-1 0.02 0.16 0.00 2576 0 >>dm-2 0.04 0.27 0.04 4322560 >> >>[root@cs ~]# iostat -d -k 1 1 >>Device:tpskB_read/skB_wrtn/skB_readkB_wrtn >>sda 7.9444.71 396.31 7060266258666 >>dm-0 76.8443.74 396.29 6907686258365 >>dm-1 0.02 0.08 0.00 1288 0 >>dm-2 0.04 0.14 0.02 2161 280 >> >>通过数据的比较，我感觉问题主要出在网络方面，很可能和Virtual Router有关系（但我们环境里的Virtual >>Router是默认配置）。交换机配置是没有问题的，因为局域网网其它XenServer、ESXi主机的网络读写性能都很正常。 >> >>我想了解下大家在用CS4.2.1+KVM时，有没有碰到KVM虚拟机读写I/O性能问题？你们是怎么解决的？ >> >> >> >> >>张雷(Evan) >> >>中航信华东数据中心有限责任公司 >> >>Mail:evanitsh...@gmail.com >> >>发件人： Wei ZHOU >>发送时间： 2014-07-09 16:12 >>收件人： users-cn >>主题： Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢 >>用dd和iostat测一下本机和虚拟机里面的磁盘性能看看差多少 >> >> >>在 2014年7月9日 下午3:58，evanitsharp 写道： >> >>> CS4.2.1+KVM环境下，存储使用local（即建好的虚机位于KVM本机上），新建的VM读写速度很慢 >>> >>> 1. 我在KVM上的新建的虚机上搭建好了web服务器，局域网内另外一台计算机上通过这台Web服务器下载文件，下载的平均速度只有1.2M/S >>> >>> 2. 我从局域网内的一台正常Web服务器下载文件到该KVM上的虚拟机，速度只有700K/S >>> >>> 而我们的局域网是千兆网络，从web服务器下载文件到自己本地的机器速度都有100M/S >>> >>> >>> 请问：CS4.2.1下，KVM下建好的虚机磁盘读写速度为什么会这么慢，怎么样解决这个问题？ >>> PS：从网络和存储两个方面考虑 >>> >>> 麻烦各位给个解决办法，谢谢 >>> >>> >>> >>> >>> 张雷(Evan) >>> >>> 中航信华东数据中心有限责任公司 >>> >>> Mail:evanitsh...@gmail.com > >= = = = = = = = = = = = = = = = = = = = > >致 >礼！ >贝为标 >beiweib...@163.com > 2014-07-10 = = = = = = = = = = = = = = = = = = = = 致 礼！ 贝为标 beiweib...@163.com 2014-07-10
Re: Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢
你好，按照你的意思，我测试的数据如下： KVM主机上： [root@cs tmp]# dd bs=1M count=1000 if=/dev/zero of=test oflag=dsync 1000+0 records in 1000+0 records out 1048576000 bytes (1.0 GB) copied, 3.50706 s, 299 MB/s 虚拟机（KVM）上： [root@cs tmp]# dd bs=1M count=1000 if=/dev/zero of=test oflag=dsync 1000+0 records in 1000+0 records out 1048576000 bytes (1.0 GB) copied, 22.7811 s, 46.0 MB/s 张雷(Evan) 中航信华东数据中心有限责任公司 Mail:evanitsh...@gmail.com 发件人： 贝为标 发送时间： 2014-07-10 13:22 收件人： users-cn 主题： Re: Re: Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢 evanitsharp,您好！ 你的dd命令可能不正确，应该这样测试： # dd bs=1M count=1000 if=/dev/zero of=test oflag=dsync === 2014-07-10 13:14:28 您在来信中写道：=== >之前我说了从网络和存储两个方面考虑，以下是我测试的数据： > >1.KVM虚拟机下用dd命令测试磁盘读写性能: >144MB/S > >2.KVM物理主机用dd命令测试磁盘读写性能: >185MB/S > >3.通过Web服务器下载大文件到VM(KVM)磁盘时，VM上的统计数据： >[root@evan2 ~]# iostat >avg-cpu: %user %nice %system %iowait %steal %idle > 0.030.000.070.020.01 99.88 >Device:tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn >vda 0.629.09 203.93 956122146106 >dm-025.738.21 203.93 864342146088 >dm-10.03 0.23 0.00 2376 0 > >[root@evan2 ~]# iostat -d -k 1 1 >Device:tpskB_read/skB_wrtn/skB_readkB_wrtn >xvda 0.684.41 118.54 478061286357 >dm-0 29.863.98 118.54 432171286348 >dm-1 0.030.11 0.00 1188 0 > >4.通过Web服务器下载大文件到KVM主机磁盘时，KVM主机上的统计数据： >[root@cs ~]# iostat >avg-cpu: %user %nice %system %iowait %steal %idle > 0.500.000.470.010.00 99.02 > >Device:tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn >sda 5.6389.66 251.3714114523957284 >dm-0 9.5487.72 251.3413809363956682 >dm-1 0.02 0.16 0.00 2576 0 >dm-2 0.04 0.27 0.04 4322560 > >[root@cs ~]# iostat -d -k 1 1 >Device:tpskB_read/skB_wrtn/skB_readkB_wrtn >sda 7.9444.71 396.31 7060266258666 >dm-0 76.8443.74 396.29 6907686258365 >dm-1 0.02 0.08 0.00 1288 0 >dm-2 0.04 0.14 0.02 2161280 > >通过数据的比较，我感觉问题主要出在网络方面，很可能和Virtual Router有关系（但我们环境里的Virtual >Router是默认配置）。交换机配置是没有问题的，因为局域网网其它XenServer、ESXi主机的网络读写性能都很正常。 > >我想了解下大家在用CS4.2.1+KVM时，有没有碰到KVM虚拟机读写I/O性能问题？你们是怎么解决的？ > > > > >张雷(Evan) > >中航信华东数据中心有限责任公司 > >Mail:evanitsh...@gmail.com > >发件人： Wei ZHOU >发送时间： 2014-07-09 16:12 >收件人： users-cn >主题： Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢 >用dd和iostat测一下本机和虚拟机里面的磁盘性能看看差多少 > > >在 2014年7月9日 下午3:58，evanitsharp 写道： > >> CS4.2.1+KVM环境下，存储使用local（即建好的虚机位于KVM本机上），新建的VM读写速度很慢 >> >> 1. 我在KVM上的新建的虚机上搭建好了web服务器，局域网内另外一台计算机上通过这台Web服务器下载文件，下载的平均速度只有1.2M/S >> >> 2. 我从局域网内的一台正常Web服务器下载文件到该KVM上的虚拟机，速度只有700K/S >> >> 而我们的局域网是千兆网络，从web服务器下载文件到自己本地的机器速度都有100M/S >> >> >> 请问：CS4.2.1下，KVM下建好的虚机磁盘读写速度为什么会这么慢，怎么样解决这个问题？ >> PS：从网络和存储两个方面考虑 >> >> 麻烦各位给个解决办法，谢谢 >> >> >> >> >> 张雷(Evan) >> >> 中航信华东数据中心有限责任公司 >> >> Mail:evanitsh...@gmail.com = = = = = = = = = = = = = = = = = = = = 致 礼！ 贝为标 beiweib...@163.com 2014-07-10
Re: Re: Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢
evanitsharp,您好！ 你的dd命令可能不正确，应该这样测试： # dd bs=1M count=1000 if=/dev/zero of=test oflag=dsync === 2014-07-10 13:14:28 您在来信中写道：=== >之前我说了从网络和存储两个方面考虑，以下是我测试的数据： > >1.KVM虚拟机下用dd命令测试磁盘读写性能: >144MB/S > >2.KVM物理主机用dd命令测试磁盘读写性能: >185MB/S > >3.通过Web服务器下载大文件到VM(KVM)磁盘时，VM上的统计数据： >[root@evan2 ~]# iostat >avg-cpu: %user %nice %system %iowait %steal %idle > 0.030.000.070.020.01 99.88 >Device:tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn >vda 0.629.09 203.93 956122146106 >dm-025.738.21 203.93 864342146088 >dm-10.03 0.23 0.00 2376 0 > >[root@evan2 ~]# iostat -d -k 1 1 >Device:tpskB_read/skB_wrtn/skB_readkB_wrtn >xvda 0.684.41 118.54 478061286357 >dm-0 29.863.98 118.54 432171286348 >dm-1 0.030.11 0.00 1188 0 > >4.通过Web服务器下载大文件到KVM主机磁盘时，KVM主机上的统计数据： >[root@cs ~]# iostat >avg-cpu: %user %nice %system %iowait %steal %idle > 0.500.000.470.010.00 99.02 > >Device:tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn >sda 5.6389.66 251.3714114523957284 >dm-0 9.5487.72 251.3413809363956682 >dm-1 0.02 0.16 0.00 2576 0 >dm-2 0.04 0.27 0.04 4322560 > >[root@cs ~]# iostat -d -k 1 1 >Device:tpskB_read/skB_wrtn/skB_readkB_wrtn >sda 7.9444.71 396.31 7060266258666 >dm-0 76.8443.74 396.29 6907686258365 >dm-1 0.02 0.08 0.00 1288 0 >dm-2 0.04 0.14 0.02 2161280 > >通过数据的比较，我感觉问题主要出在网络方面，很可能和Virtual Router有关系（但我们环境里的Virtual >Router是默认配置）。交换机配置是没有问题的，因为局域网网其它XenServer、ESXi主机的网络读写性能都很正常。 > >我想了解下大家在用CS4.2.1+KVM时，有没有碰到KVM虚拟机读写I/O性能问题？你们是怎么解决的？ > > > > >张雷(Evan) > >中航信华东数据中心有限责任公司 > >Mail:evanitsh...@gmail.com > >发件人： Wei ZHOU >发送时间： 2014-07-09 16:12 >收件人： users-cn >主题： Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢 >用dd和iostat测一下本机和虚拟机里面的磁盘性能看看差多少 > > >在 2014年7月9日 下午3:58，evanitsharp 写道： > >> CS4.2.1+KVM环境下，存储使用local（即建好的虚机位于KVM本机上），新建的VM读写速度很慢 >> >> 1. 我在KVM上的新建的虚机上搭建好了web服务器，局域网内另外一台计算机上通过这台Web服务器下载文件，下载的平均速度只有1.2M/S >> >> 2. 我从局域网内的一台正常Web服务器下载文件到该KVM上的虚拟机，速度只有700K/S >> >> 而我们的局域网是千兆网络，从web服务器下载文件到自己本地的机器速度都有100M/S >> >> >> 请问：CS4.2.1下，KVM下建好的虚机磁盘读写速度为什么会这么慢，怎么样解决这个问题？ >> PS：从网络和存储两个方面考虑 >> >> 麻烦各位给个解决办法，谢谢 >> >> >> >> >> 张雷(Evan) >> >> 中航信华东数据中心有限责任公司 >> >> Mail:evanitsh...@gmail.com = = = = = = = = = = = = = = = = = = = = 致 礼！ 贝为标 beiweib...@163.com 2014-07-10
Re: Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢
之前我说了从网络和存储两个方面考虑，以下是我测试的数据： 1.KVM虚拟机下用dd命令测试磁盘读写性能: 144MB/S 2.KVM物理主机用dd命令测试磁盘读写性能: 185MB/S 3.通过Web服务器下载大文件到VM(KVM)磁盘时，VM上的统计数据： [root@evan2 ~]# iostat avg-cpu: %user %nice %system %iowait %steal %idle 0.030.000.070.020.01 99.88 Device:tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn vda 0.629.09 203.93 956122146106 dm-025.738.21 203.93 864342146088 dm-10.03 0.23 0.00 2376 0 [root@evan2 ~]# iostat -d -k 1 1 Device:tpskB_read/skB_wrtn/skB_readkB_wrtn xvda 0.684.41 118.54 478061286357 dm-0 29.863.98 118.54 432171286348 dm-1 0.030.11 0.00 1188 0 4.通过Web服务器下载大文件到KVM主机磁盘时，KVM主机上的统计数据： [root@cs ~]# iostat avg-cpu: %user %nice %system %iowait %steal %idle 0.500.000.470.010.00 99.02 Device:tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn sda 5.6389.66 251.3714114523957284 dm-0 9.5487.72 251.3413809363956682 dm-1 0.02 0.16 0.00 2576 0 dm-2 0.04 0.27 0.04 4322560 [root@cs ~]# iostat -d -k 1 1 Device:tpskB_read/skB_wrtn/skB_readkB_wrtn sda 7.9444.71 396.31 7060266258666 dm-0 76.8443.74 396.29 6907686258365 dm-1 0.02 0.08 0.00 1288 0 dm-2 0.04 0.14 0.02 2161280 通过数据的比较，我感觉问题主要出在网络方面，很可能和Virtual Router有关系（但我们环境里的Virtual Router是默认配置）。交换机配置是没有问题的，因为局域网网其它XenServer、ESXi主机的网络读写性能都很正常。 我想了解下大家在用CS4.2.1+KVM时，有没有碰到KVM虚拟机读写I/O性能问题？你们是怎么解决的？ 张雷(Evan) 中航信华东数据中心有限责任公司 Mail:evanitsh...@gmail.com 发件人： Wei ZHOU 发送时间： 2014-07-09 16:12 收件人： users-cn 主题： Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢 用dd和iostat测一下本机和虚拟机里面的磁盘性能看看差多少 在 2014年7月9日 下午3:58，evanitsharp 写道： > CS4.2.1+KVM环境下，存储使用local（即建好的虚机位于KVM本机上），新建的VM读写速度很慢 > > 1. 我在KVM上的新建的虚机上搭建好了web服务器，局域网内另外一台计算机上通过这台Web服务器下载文件，下载的平均速度只有1.2M/S > > 2. 我从局域网内的一台正常Web服务器下载文件到该KVM上的虚拟机，速度只有700K/S > > 而我们的局域网是千兆网络，从web服务器下载文件到自己本地的机器速度都有100M/S > > > 请问：CS4.2.1下，KVM下建好的虚机磁盘读写速度为什么会这么慢，怎么样解决这个问题？ > PS：从网络和存储两个方面考虑 > > 麻烦各位给个解决办法，谢谢 > > > > > 张雷(Evan) > > 中航信华东数据中心有限责任公司 > > Mail:evanitsh...@gmail.com
Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢
我之前也遇到过这个问题，想问一下你的CS4.2.1环境是不是用的Ubuntu 12.04.3 ? 后来我改成 CentOS 6.4 就好了，很奇怪，一 直没有想通这是为什么？ 于 2014/7/9 15:58, evanitsharp 写道: > CS4.2.1+KVM环境下，存储使用local（即建好的虚机位于KVM本机上），新建的VM读写速度很慢 > > 1. 我在KVM上的新建的虚机上搭建好了web服务器，局域网内另外一台计算机上通过这台Web服务器下载文件，下载的平均速度只有1.2M/S > > 2. 我从局域网内的一台正常Web服务器下载文件到该KVM上的虚拟机，速度只有700K/S > > 而我们的局域网是千兆网络，从web服务器下载文件到自己本地的机器速度都有100M/S > > > 请问：CS4.2.1下，KVM下建好的虚机磁盘读写速度为什么会这么慢，怎么样解决这个问题？ > PS：从网络和存储两个方面考虑 > > 麻烦各位给个解决办法，谢谢 > > > > > 张雷(Evan) > > 中航信华东数据中心有限责任公司 > > Mail:evanitsh...@gmail.com
Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢
阁下如果从下载速度来判定磁盘问题，有所不妥，用dd if=/dev/zero of=/root/test bs=1M count=1000看磁盘速度更合适一些，下载速度这个样子应该 先考虑是不是网络问题而不是磁盘问题，看看是不是mtu太小，先在vm内执 行：ping 223.6.6.6 -s 2000 与 ping 223.6.6.6 ,如果大小为2000字节的包全丢 了而默认大小(84)的包都得到回应，则肯定是mtu问题，相关交换机mtu 改成 1548 （可以比1548小点但是最好大于1522, 没去确认）试下. 于 07/09/2014 03:58 PM, evanitsharp 写道: > CS4.2.1+KVM环境下，存储使用local（即建好的虚机位于KVM本机上），新建的VM读写速度很慢 > > 1. 我在KVM上的新建的虚机上搭建好了web服务器，局域网内另外一台计算机上通过这台Web服务器下载文件，下载的平均速度只有1.2M/S > > 2. 我从局域网内的一台正常Web服务器下载文件到该KVM上的虚拟机，速度只有700K/S > > 而我们的局域网是千兆网络，从web服务器下载文件到自己本地的机器速度都有100M/S > > > 请问：CS4.2.1下，KVM下建好的虚机磁盘读写速度为什么会这么慢，怎么样解决这个问题？ > PS：从网络和存储两个方面考虑 > > 麻烦各位给个解决办法，谢谢 > > > > > 张雷(Evan) > > 中航信华东数据中心有限责任公司 > > Mail:evanitsh...@gmail.com
Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢
用dd和iostat测一下本机和虚拟机里面的磁盘性能看看差多少 在 2014年7月9日 下午3:58，evanitsharp 写道： > CS4.2.1+KVM环境下，存储使用local（即建好的虚机位于KVM本机上），新建的VM读写速度很慢 > > 1. 我在KVM上的新建的虚机上搭建好了web服务器，局域网内另外一台计算机上通过这台Web服务器下载文件，下载的平均速度只有1.2M/S > > 2. 我从局域网内的一台正常Web服务器下载文件到该KVM上的虚拟机，速度只有700K/S > > 而我们的局域网是千兆网络，从web服务器下载文件到自己本地的机器速度都有100M/S > > > 请问：CS4.2.1下，KVM下建好的虚机磁盘读写速度为什么会这么慢，怎么样解决这个问题？ > PS：从网络和存储两个方面考虑 > > 麻烦各位给个解决办法，谢谢 > > > > > 张雷(Evan) > > 中航信华东数据中心有限责任公司 > > Mail:evanitsh...@gmail.com
