Thanks for the response Andreas. What is the known problem with the DLM LRU size? Here is what my slabinfo/meminfo look like on one of the clients. I don't see anything out of the ordinary:
(then again there are no jobs currently running on this system) Thanks -J -- slabinfo: .. slabinfo - version: 2.1 # name <active_objs> <num_objs> <objsize> <objperslab> <pagesperslab> : tunables <limit> <batchcount> <sharedfactor> : slabdata <active_slabs> <num_slabs> <sharedavail> nfs_direct_cache 0 0 128 30 1 : tunables 120 60 8 : slabdata 0 0 0 nfs_write_data 36 44 704 11 2 : tunables 54 27 8 : slabdata 4 4 0 nfs_read_data 32 33 704 11 2 : tunables 54 27 8 : slabdata 3 3 0 nfs_inode_cache 0 0 984 4 1 : tunables 54 27 8 : slabdata 0 0 0 nfs_page 0 0 128 30 1 : tunables 120 60 8 : slabdata 0 0 0 rpc_buffers 8 8 2048 2 1 : tunables 24 12 8 : slabdata 4 4 0 rpc_tasks 8 12 320 12 1 : tunables 54 27 8 : slabdata 1 1 0 rpc_inode_cache 0 0 832 4 1 : tunables 54 27 8 : slabdata 0 0 0 ll_async_page 326589 328572 320 12 1 : tunables 54 27 8 : slabdata 27381 27381 0 ll_file_data 0 0 192 20 1 : tunables 120 60 8 : slabdata 0 0 0 lustre_inode_cache 769 772 896 4 1 : tunables 54 27 8 : slabdata 193 193 0 lov_oinfo 1322 1392 320 12 1 : tunables 54 27 8 : slabdata 116 116 0 osc_quota_info 0 0 32 112 1 : tunables 120 60 8 : slabdata 0 0 0 ll_qunit_cache 0 0 112 34 1 : tunables 120 60 8 : slabdata 0 0 0 llcd_cache 0 0 3952 1 1 : tunables 24 12 8 : slabdata 0 0 0 ptlrpc_cbdatas 0 0 32 112 1 : tunables 120 60 8 : slabdata 0 0 0 interval_node 1166 3240 128 30 1 : tunables 120 60 8 : slabdata 108 108 0 ldlm_locks 2624 3688 512 8 1 : tunables 54 27 8 : slabdata 461 461 0 ldlm_resources 2002 3340 384 10 1 : tunables 54 27 8 : slabdata 334 334 0 ll_import_cache 0 0 1248 3 1 : tunables 24 12 8 : slabdata 0 0 0 ll_obdo_cache 0 452282156 208 19 1 : tunables 120 60 8 : slabdata 0 23804324 0 ll_obd_dev_cache 13 13 5672 1 2 : tunables 8 4 0 : slabdata 13 13 0 obd_lvfs_ctxt_cache 0 0 96 40 1 : tunables 120 60 8 : slabdata 0 0 0 SDP 0 0 1728 4 2 : tunables 24 12 8 : slabdata 0 0 0 fib6_nodes 7 118 64 59 1 : tunables 120 60 8 : slabdata 2 2 0 ip6_dst_cache 14 36 320 12 1 : tunables 54 27 8 : slabdata 3 3 0 ndisc_cache 4 30 256 15 1 : tunables 120 60 8 : slabdata 2 2 0 RAWv6 35 36 960 4 1 : tunables 54 27 8 : slabdata 9 9 0 UDPLITEv6 0 0 960 4 1 : tunables 54 27 8 : slabdata 0 0 0 UDPv6 7 12 960 4 1 : tunables 54 27 8 : slabdata 3 3 0 tw_sock_TCPv6 0 0 192 20 1 : tunables 120 60 8 : slabdata 0 0 0 request_sock_TCPv6 0 0 192 20 1 : tunables 120 60 8 : slabdata 0 0 0 TCPv6 2 4 1792 2 1 : tunables 24 12 8 : slabdata 2 2 0 ib_mad 2069 2160 448 8 1 : tunables 54 27 8 : slabdata 270 270 6 fuse_request 0 0 608 6 1 : tunables 54 27 8 : slabdata 0 0 0 fuse_inode 0 0 704 11 2 : tunables 54 27 8 : slabdata 0 0 0 kcopyd_job 0 0 360 11 1 : tunables 54 27 8 : slabdata 0 0 0 dm_uevent 0 0 2608 3 2 : tunables 24 12 8 : slabdata 0 0 0 dm_clone_bio_info 0 0 16 202 1 : tunables 120 60 8 : slabdata 0 0 0 dm_rq_target_io 0 0 408 9 1 : tunables 54 27 8 : slabdata 0 0 0 dm_target_io 0 0 24 144 1 : tunables 120 60 8 : slabdata 0 0 0 dm_io 0 0 32 112 1 : tunables 120 60 8 : slabdata 0 0 0 uhci_urb_priv 1 67 56 67 1 : tunables 120 60 8 : slabdata 1 1 0 ext3_inode_cache 224598 224625 768 5 1 : tunables 54 27 8 : slabdata 44925 44925 0 ext3_xattr 0 0 88 44 1 : tunables 120 60 8 : slabdata 0 0 0 journal_handle 9 288 24 144 1 : tunables 120 60 8 : slabdata 2 2 0 journal_head 76 120 96 40 1 : tunables 120 60 8 : slabdata 3 3 3 revoke_table 4 202 16 202 1 : tunables 120 60 8 : slabdata 1 1 0 revoke_record 0 0 32 112 1 : tunables 120 60 8 : slabdata 0 0 0 sgpool-128 2 2 4096 1 1 : tunables 24 12 8 : slabdata 2 2 0 sgpool-64 2 2 2048 2 1 : tunables 24 12 8 : slabdata 1 1 0 sgpool-32 2 4 1024 4 1 : tunables 54 27 8 : slabdata 1 1 0 sgpool-16 2 8 512 8 1 : tunables 54 27 8 : slabdata 1 1 0 sgpool-8 2 15 256 15 1 : tunables 120 60 8 : slabdata 1 1 0 scsi_data_buffer 0 0 24 144 1 : tunables 120 60 8 : slabdata 0 0 0 scsi_io_context 0 0 112 34 1 : tunables 120 60 8 : slabdata 0 0 0 flow_cache 0 0 96 40 1 : tunables 120 60 8 : slabdata 0 0 0 cfq_io_context 46 207 168 23 1 : tunables 120 60 8 : slabdata 9 9 0 cfq_queue 42 224 136 28 1 : tunables 120 60 8 : slabdata 8 8 0 bsg_cmd 0 0 312 12 1 : tunables 54 27 8 : slabdata 0 0 0 mqueue_inode_cache 1 4 896 4 1 : tunables 54 27 8 : slabdata 1 1 0 isofs_inode_cache 0 0 608 6 1 : tunables 54 27 8 : slabdata 0 0 0 minix_inode_cache 0 0 624 6 1 : tunables 54 27 8 : slabdata 0 0 0 hugetlbfs_inode_cache 1 7 576 7 1 : tunables 54 27 8 : slabdata 1 1 0 dnotify_cache 0 0 40 92 1 : tunables 120 60 8 : slabdata 0 0 0 dquot 0 0 256 15 1 : tunables 120 60 8 : slabdata 0 0 0 inotify_event_cache 3 92 40 92 1 : tunables 120 60 8 : slabdata 1 1 0 inotify_watch_cache 93 212 72 53 1 : tunables 120 60 8 : slabdata 4 4 0 kioctx 0 0 384 10 1 : tunables 54 27 8 : slabdata 0 0 0 kiocb 0 0 256 15 1 : tunables 120 60 8 : slabdata 0 0 0 fasync_cache 0 0 24 144 1 : tunables 120 60 8 : slabdata 0 0 0 shmem_inode_cache 870 960 784 5 1 : tunables 54 27 8 : slabdata 192 192 0 pid_namespace 0 0 2112 3 2 : tunables 24 12 8 : slabdata 0 0 0 nsproxy 0 0 56 67 1 : tunables 120 60 8 : slabdata 0 0 0 posix_timers_cache 0 0 192 20 1 : tunables 120 60 8 : slabdata 0 0 0 uid_cache 5 30 128 30 1 : tunables 120 60 8 : slabdata 1 1 0 UNIX 125 330 704 11 2 : tunables 54 27 8 : slabdata 30 30 0 ip_mrt_cache 0 0 128 30 1 : tunables 120 60 8 : slabdata 0 0 0 UDP-Lite 0 0 832 9 2 : tunables 54 27 8 : slabdata 0 0 0 tcp_bind_bucket 8 118 64 59 1 : tunables 120 60 8 : slabdata 2 2 0 inet_peer_cache 1 59 64 59 1 : tunables 120 60 8 : slabdata 1 1 0 secpath_cache 0 0 64 59 1 : tunables 120 60 8 : slabdata 0 0 0 xfrm_dst_cache 0 0 384 10 1 : tunables 54 27 8 : slabdata 0 0 0 ip_fib_alias 0 0 32 112 1 : tunables 120 60 8 : slabdata 0 0 0 ip_fib_hash 15 106 72 53 1 : tunables 120 60 8 : slabdata 2 2 0 ip_dst_cache 24 72 320 12 1 : tunables 54 27 8 : slabdata 6 6 2 arp_cache 3 15 256 15 1 : tunables 120 60 8 : slabdata 1 1 0 RAW 33 35 768 5 1 : tunables 54 27 8 : slabdata 7 7 0 UDP 9 18 832 9 2 : tunables 54 27 8 : slabdata 2 2 0 tw_sock_TCP 0 0 192 20 1 : tunables 120 60 8 : slabdata 0 0 0 request_sock_TCP 0 0 128 30 1 : tunables 120 60 8 : slabdata 0 0 0 TCP 11 16 1664 4 2 : tunables 24 12 8 : slabdata 4 4 0 eventpoll_pwq 69 265 72 53 1 : tunables 120 60 8 : slabdata 5 5 0 eventpoll_epi 69 210 128 30 1 : tunables 120 60 8 : slabdata 7 7 0 pfm_event_set 0 0 57344 1 16 : tunables 8 4 0 : slabdata 0 0 0 pfm_context 0 0 8192 1 2 : tunables 8 4 0 : slabdata 0 0 0 blkdev_integrity 0 0 112 34 1 : tunables 120 60 8 : slabdata 0 0 0 blkdev_queue 10 12 2264 3 2 : tunables 24 12 8 : slabdata 4 4 0 blkdev_requests 13 20 368 10 1 : tunables 54 27 8 : slabdata 2 2 0 blkdev_ioc 44 371 72 53 1 : tunables 120 60 8 : slabdata 7 7 0 biovec-256 2 2 4096 1 1 : tunables 24 12 8 : slabdata 2 2 0 biovec-128 2 4 2048 2 1 : tunables 24 12 8 : slabdata 2 2 0 biovec-64 2 8 1024 4 1 : tunables 54 27 8 : slabdata 2 2 0 biovec-16 2 30 256 15 1 : tunables 120 60 8 : slabdata 2 2 0 biovec-4 2 118 64 59 1 : tunables 120 60 8 : slabdata 2 2 0 biovec-1 42 404 16 202 1 : tunables 120 60 8 : slabdata 2 2 3 bio_integrity_payload 2 60 128 30 1 : tunables 120 60 8 : slabdata 2 2 0 bio 8 60 128 30 1 : tunables 120 60 8 : slabdata 2 2 1 sock_inode_cache 232 372 640 6 1 : tunables 54 27 8 : slabdata 62 62 0 skbuff_fclone_cache 7 7 512 7 1 : tunables 54 27 8 : slabdata 1 1 0 skbuff_head_cache 5028 6210 256 15 1 : tunables 120 60 8 : slabdata 414 414 35 file_lock_cache 4 66 176 22 1 : tunables 120 60 8 : slabdata 3 3 0 Acpi-Operand 889 1802 72 53 1 : tunables 120 60 8 : slabdata 34 34 0 Acpi-ParseExt 0 0 72 53 1 : tunables 120 60 8 : slabdata 0 0 0 Acpi-Parse 0 0 48 77 1 : tunables 120 60 8 : slabdata 0 0 0 Acpi-State 0 0 80 48 1 : tunables 120 60 8 : slabdata 0 0 0 Acpi-Namespace 617 672 32 112 1 : tunables 120 60 8 : slabdata 6 6 0 task_delay_info 354 918 112 34 1 : tunables 120 60 8 : slabdata 27 27 0 taskstats 0 0 328 12 1 : tunables 54 27 8 : slabdata 0 0 0 page_cgroup 0 0 40 92 1 : tunables 120 60 8 : slabdata 0 0 0 proc_inode_cache 1431 1458 608 6 1 : tunables 54 27 8 : slabdata 243 243 0 sigqueue 8 96 160 24 1 : tunables 120 60 8 : slabdata 4 4 0 radix_tree_node 14146 15386 552 7 1 : tunables 54 27 8 : slabdata 2198 2198 0 bdev_cache 5 20 768 5 1 : tunables 54 27 8 : slabdata 4 4 0 sysfs_dir_cache 19120 19296 80 48 1 : tunables 120 60 8 : slabdata 402 402 0 mnt_cache 30 60 256 15 1 : tunables 120 60 8 : slabdata 4 4 0 inode_cache 1327 1344 560 7 1 : tunables 54 27 8 : slabdata 192 192 0 dentry 276001 276203 208 19 1 : tunables 120 60 8 : slabdata 14537 14537 0 filp 1054 2760 192 20 1 : tunables 120 60 8 : slabdata 138 138 86 names_cache 18 18 4096 1 1 : tunables 24 12 8 : slabdata 18 18 1 key_jar 0 0 192 20 1 : tunables 120 60 8 : slabdata 0 0 0 buffer_head 73846 73889 104 37 1 : tunables 120 60 8 : slabdata 1997 1997 1 mm_struct 80 136 896 4 1 : tunables 54 27 8 : slabdata 34 34 1 vm_area_struct 2311 3784 176 22 1 : tunables 120 60 8 : slabdata 172 172 29 fs_cache 75 590 64 59 1 : tunables 120 60 8 : slabdata 10 10 1 files_cache 63 165 768 5 1 : tunables 54 27 8 : slabdata 33 33 1 signal_cache 297 420 960 4 1 : tunables 54 27 8 : slabdata 105 105 0 sighand_cache 295 381 2112 3 2 : tunables 24 12 8 : slabdata 127 127 0 task_xstate 105 256 512 8 1 : tunables 54 27 8 : slabdata 32 32 0 task_struct 349 350 5872 1 2 : tunables 8 4 0 : slabdata 349 350 0 anon_vma 777 1584 24 144 1 : tunables 120 60 8 : slabdata 11 11 0 pid 342 870 128 30 1 : tunables 120 60 8 : slabdata 29 29 0 shared_policy_node 0 0 48 77 1 : tunables 120 60 8 : slabdata 0 0 0 numa_policy 15 112 136 28 1 : tunables 120 60 8 : slabdata 4 4 0 idr_layer_cache 282 315 544 7 1 : tunables 54 27 8 : slabdata 45 45 0 size-4194304(DMA) 0 0 4194304 1 1024 : tunables 1 1 0 : slabdata 0 0 0 size-4194304 0 0 4194304 1 1024 : tunables 1 1 0 : slabdata 0 0 0 size-2097152(DMA) 0 0 2097152 1 512 : tunables 1 1 0 : slabdata 0 0 0 size-2097152 0 0 2097152 1 512 : tunables 1 1 0 : slabdata 0 0 0 size-1048576(DMA) 0 0 1048576 1 256 : tunables 1 1 0 : slabdata 0 0 0 size-1048576 0 0 1048576 1 256 : tunables 1 1 0 : slabdata 0 0 0 size-524288(DMA) 0 0 524288 1 128 : tunables 1 1 0 : slabdata 0 0 0 size-524288 0 0 524288 1 128 : tunables 1 1 0 : slabdata 0 0 0 size-262144(DMA) 0 0 262144 1 64 : tunables 1 1 0 : slabdata 0 0 0 size-262144 0 0 262144 1 64 : tunables 1 1 0 : slabdata 0 0 0 size-131072(DMA) 0 0 131072 1 32 : tunables 8 4 0 : slabdata 0 0 0 size-131072 3 3 131072 1 32 : tunables 8 4 0 : slabdata 3 3 0 size-65536(DMA) 0 0 65536 1 16 : tunables 8 4 0 : slabdata 0 0 0 size-65536 6 6 65536 1 16 : tunables 8 4 0 : slabdata 6 6 0 size-32768(DMA) 0 0 32768 1 8 : tunables 8 4 0 : slabdata 0 0 0 size-32768 8 8 32768 1 8 : tunables 8 4 0 : slabdata 8 8 0 size-16384(DMA) 0 0 16384 1 4 : tunables 8 4 0 : slabdata 0 0 0 size-16384 43 43 16384 1 4 : tunables 8 4 0 : slabdata 43 43 0 size-8192(DMA) 0 0 8192 1 2 : tunables 8 4 0 : slabdata 0 0 0 size-8192 3610 3610 8192 1 2 : tunables 8 4 0 : slabdata 3610 3610 0 size-4096(DMA) 0 0 4096 1 1 : tunables 24 12 8 : slabdata 0 0 0 size-4096 1769 1769 4096 1 1 : tunables 24 12 8 : slabdata 1769 1769 0 size-2048(DMA) 0 0 2048 2 1 : tunables 24 12 8 : slabdata 0 0 0 size-2048 4598 4630 2048 2 1 : tunables 24 12 8 : slabdata 2315 2315 1 size-1024(DMA) 0 0 1024 4 1 : tunables 54 27 8 : slabdata 0 0 0 size-1024 4749 4784 1024 4 1 : tunables 54 27 8 : slabdata 1196 1196 0 size-512(DMA) 0 0 512 8 1 : tunables 54 27 8 : slabdata 0 0 0 size-512 1406 1440 512 8 1 : tunables 54 27 8 : slabdata 180 180 29 size-256(DMA) 0 0 256 15 1 : tunables 120 60 8 : slabdata 0 0 0 size-256 5428 5670 256 15 1 : tunables 120 60 8 : slabdata 378 378 2 size-128(DMA) 0 0 128 30 1 : tunables 120 60 8 : slabdata 0 0 0 size-64(DMA) 0 0 64 59 1 : tunables 120 60 8 : slabdata 0 0 0 size-64 21391 43306 64 59 1 : tunables 120 60 8 : slabdata 734 734 0 size-32(DMA) 0 0 32 112 1 : tunables 120 60 8 : slabdata 0 0 0 size-128 10539 31650 128 30 1 : tunables 120 60 8 : slabdata 1055 1055 0 size-32 11992 13552 32 112 1 : tunables 120 60 8 : slabdata 121 121 6 kmem_cache 181 181 4224 1 2 : tunables 8 4 0 : slabdata 181 181 0 .. -- -- meminfo .. MemTotal: 198091444 kB MemFree: 99978176 kB Buffers: 268288 kB Cached: 1457808 kB SwapCached: 23672 kB Active: 1667172 kB Inactive: 114552 kB SwapTotal: 75505460 kB SwapFree: 75461372 kB Dirty: 116 kB Writeback: 0 kB AnonPages: 53284 kB Mapped: 8884 kB Slab: 95664132 kB SReclaimable: 256656 kB SUnreclaim: 95407476 kB PageTables: 2368 kB NFS_Unstable: 0 kB Bounce: 0 kB WritebackTmp: 0 kB CommitLimit: 174551180 kB Committed_AS: 137540 kB VmallocTotal: 34359738367 kB VmallocUsed: 588416 kB VmallocChunk: 34359149923 kB HugePages_Total: 0 HugePages_Free: 0 HugePages_Rsvd: 0 HugePages_Surp: 0 Hugepagesize: 2048 kB DirectMap4k: 8432 kB DirectMap2M: 201308160 kB .. -- On Mon, Apr 19, 2010 at 10:07 AM, Andreas Dilger <andreas.dil...@oracle.com>wrote: > There is a known problem with the DLM LRU size that may be affecting you. > It may be something else too. Please check /proc/{slabinfo,meminfo} to see > what is using the memory on the client. > > Cheers, Andreas > > > On 2010-04-19, at 10:43, Jagga Soorma <jagg...@gmail.com> wrote: > > Hi Guys, >> >> My users are reporting some issues with memory on our lustre 1.8.1 >> clients. It looks like when they submit a single job at a time the run time >> was about 4.5 minutes. However, when they ran multiple jobs (10 or less) on >> a client with 192GB of memory on a single node the run time for each job was >> exceeding 3-4X the run time for the single process. They also noticed that >> the swap space kept climbing even though there was plenty of free memory on >> the system. Could this possibly be related to the lustre client? Does it >> reserve any memory that is not accessible by any other process even though >> it might not be in use? >> >> Thanks much, >> -J >> _______________________________________________ >> Lustre-discuss mailing list >> Lustre-discuss@lists.lustre.org >> http://lists.lustre.org/mailman/listinfo/lustre-discuss >> >
_______________________________________________ Lustre-discuss mailing list Lustre-discuss@lists.lustre.org http://lists.lustre.org/mailman/listinfo/lustre-discuss