Re: [OmniOS-discuss] Zvol write a lot of data

Linda Kateley Thu, 21 Jun 2018 06:02:44 -0700

You should be able to get zilstat(just google) and get much more detailson what is happening in zil.

I haven't done this for awhile in omni, but I increase the transactiontimeout in freebsd or linux quite often. The 5 seconds is set by avariable. Put this into /etc/system and reboot./


///set zfs:zfs_txg_timeout = 1/
//

Quite often with zfs you won't see disk activity. That is it's beauty.All of what you need is probably running from ram.


Linda

On 6/21/18 5:50 AM, anthony omnios wrote:

Hi,
i am testing a new plateform with OmniosCe with 7 VM on zvol withISCSI comstar.
I have set sync=always for all zvol and i have 2 ssd intel 3700 forzil and two mirror ssd for data.
Data Disk are samsung 850 evo (ashift=13).
My problem is that the pool commit to data disk approximatively 5MBevery 5 second but i have only few data is write on zil (sync=alwayson zvol) and my 7 vm are only up with no disk activity.
With 40 VM with no disk activity on it, i flush to data diskapproximatively 30 MB every 5 seconds.
How can i write a lot of data on data disk without network iscsitrafic and no disk activity on VM and no disk activity on zil ? Whattype of data is it (metadata ?) ?
 zpool status
  pool: filervm2
 state: ONLINE
  scan: resilvered 0 in 0h0m with 0 errors on Mon Jun  4 17:46:40 2018
config:

        NAME                       STATE     READ WRITE CKSUM
        filervm2                   ONLINE       0     0     0
          mirror-0                 ONLINE       0     0     0
            c0t5002538E40102BECd0  ONLINE       0     0     0
            c0t5002538E40264251d0  ONLINE       0     0     0
        logs
          mirror-1                 ONLINE       0     0     0
            c0t55CD2E404B73F8F1d0  ONLINE       0     0     0
            c0t55CD2E404C270DD9d0  ONLINE       0     0     0

iostat -xn -d 1 :

     extended device statistics
    r/s    w/s   kr/s   kw/s wait actv wsvc_t asvc_t  %w  %b device
    2,0   39,4   80,6 2014,5  0,2  0,0    5,4    0,4   0   1 filervm2
    0,0    0,9    0,3   12,1  0,1  0,0   89,9    3,7   0   0 rpool
0,0 0,5 0,1 6,0 0,0 0,0 0,0 3,4 0 0c0t55CD2E414D2D4782d0 0,0 0,5 0,1 6,0 0,0 0,0 0,0 3,4 0 0c0t55CD2E414D2D4713d0 0,0 14,5 0,0 476,5 0,0 0,0 0,0 0,4 0 0c0t55CD2E404B73F8F1d0 0,0 8,9 0,0 476,5 0,0 0,0 0,0 0,3 0 0c0t55CD2E404C270DD9d0 1,0 11,0 40,3 530,8 0,0 0,0 0,0 0,2 0 0c0t5002538E40102BECd0 1,0 11,0 40,3 530,8 0,0 0,0 0,0 0,2 0 0c0t5002538E40264251d0
                    extended device statistics
    r/s    w/s   kr/s   kw/s wait actv wsvc_t asvc_t  %w  %b device
    0,0   20,0    0,0  304,0  0,0  0,0    0,0    0,2   0   0 filervm2
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0 rpool
0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0c0t55CD2E414D2D4782d0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0c0t55CD2E414D2D4713d0 0,0 20,0 0,0 152,0 0,0 0,0 0,0 0,1 0 0c0t55CD2E404B73F8F1d0 0,0 10,0 0,0 152,0 0,0 0,0 0,0 0,1 0 0c0t55CD2E404C270DD9d0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0c0t5002538E40102BECd0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0c0t5002538E40264251d0
                    extended device statistics
    r/s    w/s   kr/s   kw/s wait actv wsvc_t asvc_t  %w  %b device
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0 filervm2
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0 rpool
0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0c0t55CD2E414D2D4782d0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0c0t55CD2E414D2D4713d0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0c0t55CD2E404B73F8F1d0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0c0t55CD2E404C270DD9d0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0c0t5002538E40102BECd0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0c0t5002538E40264251d0
                    extended device statistics
    r/s    w/s   kr/s   kw/s wait actv wsvc_t asvc_t  %w  %b device
    0,0  212,1    0,0 9826,4  1,9  0,1    8,8    0,3   3   3 filervm2
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0 rpool
0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0c0t55CD2E414D2D4782d0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0c0t55CD2E414D2D4713d0 0,0 11,0 0,0 56,0 0,0 0,0 0,0 0,1 0 0c0t55CD2E404B73F8F1d0 0,0 5,0 0,0 56,0 0,0 0,0 0,0 0,1 0 0c0t55CD2E404C270DD9d0 0,0 101,0 0,0 4857,2 0,0 0,0 0,0 0,2 0 2c0t5002538E40102BECd0 0,0 105,0 0,0 4857,2 0,0 0,0 0,0 0,2 0 2c0t5002538E40264251d0
                    extended device statistics
    r/s    w/s   kr/s   kw/s wait actv wsvc_t asvc_t  %w  %b device
    0,0   38,0    0,0  735,5  0,0  0,0    0,0    0,2   0   0 filervm2
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0 rpool
0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0c0t55CD2E414D2D4782d0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0c0t55CD2E414D2D4713d0 0,0 37,0 0,0 367,7 0,0 0,0 0,0 0,1 0 0c0t55CD2E404B73F8F1d0 0,0 19,0 0,0 367,7 0,0 0,0 0,0 0,1 0 0c0t55CD2E404C270DD9d0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0c0t5002538E40102BECd0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0c0t5002538E40264251d0
                    extended device statistics
    r/s    w/s   kr/s   kw/s wait actv wsvc_t asvc_t  %w  %b device
    0,0    8,0    0,0   64,0  0,0  0,0    0,0    0,2   0   0 filervm2
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0 rpool
0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0c0t55CD2E414D2D4782d0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0c0t55CD2E414D2D4713d0 0,0 8,0 0,0 32,0 0,0 0,0 0,0 0,1 0 0c0t55CD2E404B73F8F1d0 0,0 4,0 0,0 32,0 0,0 0,0 0,0 0,1 0 0c0t55CD2E404C270DD9d0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0c0t5002538E40102BECd0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0c0t5002538E40264251d0
                    extended device statistics
    r/s    w/s   kr/s   kw/s wait actv wsvc_t asvc_t  %w  %b device
    0,0    4,0    0,0   32,0  0,0  0,0    0,0    0,2   0   0 filervm2
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0 rpool
0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0c0t55CD2E414D2D4782d0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0c0t55CD2E414D2D4713d0 0,0 4,0 0,0 16,0 0,0 0,0 0,0 0,1 0 0c0t55CD2E404B73F8F1d0 0,0 2,0 0,0 16,0 0,0 0,0 0,0 0,1 0 0c0t55CD2E404C270DD9d0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0c0t5002538E40102BECd0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0c0t5002538E40264251d0
                    extended device statistics
    r/s    w/s   kr/s   kw/s wait actv wsvc_t asvc_t  %w  %b device
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0 filervm2
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0 rpool
0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0c0t55CD2E414D2D4782d0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0c0t55CD2E414D2D4713d0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0c0t55CD2E404B73F8F1d0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0c0t55CD2E404C270DD9d0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0c0t5002538E40102BECd0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0c0t5002538E40264251d0
                    extended device statistics
    r/s    w/s   kr/s   kw/s wait actv wsvc_t asvc_t  %w  %b device
    0,0  239,1    0,0 11491,4  2,6  0,1   10,9    0,3   3   3 filervm2
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0 rpool
0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0c0t55CD2E414D2D4782d0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0c0t55CD2E414D2D4713d0 0,0 1,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0c0t55CD2E404B73F8F1d0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0c0t55CD2E404C270DD9d0 0,0 118,0 0,0 5745,7 0,0 0,0 0,0 0,2 0 2c0t5002538E40102BECd0 0,0 125,0 0,0 5745,7 0,0 0,0 0,0 0,2 0 2c0t5002538E40264251d0
                    extended device statistics
    r/s    w/s   kr/s   kw/s wait actv wsvc_t asvc_t  %w  %b device
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0 filervm2
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0 rpool
0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0c0t55CD2E414D2D4782d0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0c0t55CD2E414D2D4713d0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0c0t55CD2E404B73F8F1d0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0c0t55CD2E404C270DD9d0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0c0t5002538E40102BECd0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0c0t5002538E40264251d0
                    extended device statistics
    r/s    w/s   kr/s   kw/s wait actv wsvc_t asvc_t  %w  %b device
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0 filervm2
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0 rpool
0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0c0t55CD2E414D2D4782d0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0c0t55CD2E414D2D4713d0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0c0t55CD2E404B73F8F1d0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0c0t55CD2E404C270DD9d0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0c0t5002538E40102BECd0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0c0t5002538E40264251d0
                    extended device statistics
    r/s    w/s   kr/s   kw/s wait actv wsvc_t asvc_t  %w  %b device
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0 filervm2
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0 rpool
0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0c0t55CD2E414D2D4782d0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0c0t55CD2E414D2D4713d0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0c0t55CD2E404B73F8F1d0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0c0t55CD2E404C270DD9d0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0c0t5002538E40102BECd0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0c0t5002538E40264251d0
                    extended device statistics
    r/s    w/s   kr/s   kw/s wait actv wsvc_t asvc_t  %w  %b device
    0,0   18,0    0,0  272,1  0,0  0,0    0,0    0,5   0   0 filervm2
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0 rpool
0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0c0t55CD2E414D2D4782d0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0c0t55CD2E414D2D4713d0 0,0 18,0 0,0 136,0 0,0 0,0 0,0 0,1 0 0c0t55CD2E404B73F8F1d0 0,0 9,0 0,0 136,0 0,0 0,0 0,0 0,2 0 0c0t55CD2E404C270DD9d0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0c0t5002538E40102BECd0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0c0t5002538E40264251d0
                    extended device statistics
    r/s    w/s   kr/s   kw/s wait actv wsvc_t asvc_t  %w  %b device
    0,0  168,0    0,0 6336,8  0,9  0,1    5,4    0,3   2   3 filervm2
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0 rpool
0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0c0t55CD2E414D2D4782d0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0c0t55CD2E414D2D4713d0 0,0 15,0 0,0 96,0 0,0 0,0 0,0 0,1 0 0c0t55CD2E404B73F8F1d0 0,0 7,0 0,0 96,0 0,0 0,0 0,0 0,1 0 0c0t55CD2E404C270DD9d0 0,0 76,0 0,0 3072,4 0,0 0,0 0,0 0,2 0 2c0t5002538E40102BECd0 0,0 82,0 0,0 3072,4 0,0 0,0 0,0 0,2 0 2c0t5002538E40264251d0
                    extended device statistics
    r/s    w/s   kr/s   kw/s wait actv wsvc_t asvc_t  %w  %b device
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0 filervm2
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0 rpool
0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0c0t55CD2E414D2D4782d0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0c0t55CD2E414D2D4713d0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0c0t55CD2E404B73F8F1d0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0c0t55CD2E404C270DD9d0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0c0t5002538E40102BECd0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0c0t5002538E40264251d0
                    extended device statistics
    r/s    w/s   kr/s   kw/s wait actv wsvc_t asvc_t  %w  %b device
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0 filervm2
    0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0 rpool
0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0c0t55CD2E414D2D4782d0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0c0t55CD2E414D2D4713d0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0c0t55CD2E404B73F8F1d0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0c0t55CD2E404C270DD9d0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0c0t5002538E40102BECd0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0c0t5002538E40264251d0
zfs get all filervm2/hdd-110133a
NAME                  PROPERTY VALUE SOURCE
filervm2/hdd-110133a  type volume -
filervm2/hdd-110133a creation mer. juin 20 17:382018 -
filervm2/hdd-110133a  used 1,80G -
filervm2/hdd-110133a  available 860G -
filervm2/hdd-110133a  referenced 2,28G -
filervm2/hdd-110133a  compressratio 1.74x -
filervm2/hdd-110133a originfilervm2/template-ha-centos7-64bits@template1 -
filervm2/hdd-110133a  reservation none default
filervm2/hdd-110133a  volsize 25G local
filervm2/hdd-110133a  volblocksize 64K -
filervm2/hdd-110133a  checksum on default
filervm2/hdd-110133a  compression lz4 local
filervm2/hdd-110133a  readonly off default
filervm2/hdd-110133a  copies 1 default
filervm2/hdd-110133a  refreservation none default
filervm2/hdd-110133a  primarycache all default
filervm2/hdd-110133a  secondarycache all default
filervm2/hdd-110133a  usedbysnapshots 150M -
filervm2/hdd-110133a  usedbydataset 1,65G -
filervm2/hdd-110133a  usedbychildren 0 -
filervm2/hdd-110133a  usedbyrefreservation 0 -
filervm2/hdd-110133a  logbias latency default
filervm2/hdd-110133a  dedup off default
filervm2/hdd-110133a  mlslabel none default
filervm2/hdd-110133a  sync always local
filervm2/hdd-110133a  refcompressratio 1.67x -
filervm2/hdd-110133a  written 6,21M -
filervm2/hdd-110133a  logicalused 3,09G -
filervm2/hdd-110133a  logicalreferenced 3,81G -
filervm2/hdd-110133a  snapshot_limit none default
filervm2/hdd-110133a  snapshot_count none default
filervm2/hdd-110133a  redundant_metadata all default


Best regards,

Anthony




_______________________________________________
OmniOS-discuss mailing list
[email protected]
http://lists.omniti.com/mailman/listinfo/omnios-discuss

_______________________________________________
OmniOS-discuss mailing list
[email protected]
http://lists.omniti.com/mailman/listinfo/omnios-discuss

Re: [OmniOS-discuss] Zvol write a lot of data

Reply via email to