Re: [tanya-jawab] Squid cache melebihi kapsitas HD

2009-10-23 Terurut Topik Arief Yudhawarman
On Fri, Oct 23, 2009 at 10:44:39AM +0700, tukang ketik wrote:

 Di squid.conf sudah saya atur seperti ini
 
 cache_dir aufs /cache1 800 8 256
 cache_dir aufs /cache2 800 8 256
 cache_dir aufs /cache3 800 8 256
 cache_dir aufs /cache4 800 8 256
 maximum_object_size 128 MB
 
 Ketika pemakaian beberapa lama bisa mencapai
 100% used kalau saya kasih perintah df.
 Akhirnya squid -D gak jalan lagi.

Untuk perbaikan squid yg stuck/mampet :

1. kill proses squid yang jalan di background.
2. edit squid.conf sesuaikan besar cache_dir sebesar 70% partisi yg
dialokasikan untuk itu.
3. hapus file swap.state di masing2 cache_dir
 rm -f /cache?/swap.state
4. jalankan squid dengan squid -D
5. selang beberapa menit amati file /cache?/swap.state apakah sdh
terbentuk. Proses ini akan memakan waktu lama karena squid akan
memperbaiki ukuran partisi cache agar sesuai dengan yg baru.
6. jika sudah, matikan squid dengan squid -k shutdown
7. jalankan squid lagi dengan squid -D

FYI, kalau ingin cepat selesai dengan resiko kehilangan object cache
yang sudah tersimpan format ulang saja masing2 partisi cache. 

-- 

Terimakasih sebelumnya.

Salam,

~~ Arief Yudhawarman ~~


-- 
FAQ milis di http://wiki.linux.or.id/FAQ_milis_tanya-jawab
Unsubscribe: kirim email ke tanya-jawab-unsubscr...@linux.or.id
Arsip dan info milis selengkapnya di http://linux.or.id/milis



Re: [tanya-jawab] Squid cache melebihi kapsitas HD

2009-10-23 Terurut Topik Fahmi Syafrizal



Itu hanya satu HD saja mas, saya bikin 4 partisi untuk cache
masing-masing cache 1GB saja, sisanya untuk system.
Jadi seharusnya cache_dir nya bagaimana ?
Apakah cache_dir menghitung secara total partisi,
atau total HD atau per cache ?

Terimakasih banyak

--

Sebaiknya gunakan 1 cache_dir satu partisi pada satu hardisk dan gunakan max 
80% dari pastisi fisik

jadi satu saja,

untuk pendeketan cache_dir, sesuikan dengan ukuran RAM yang di
kebutuhan RAM FISIK= (( 10 * total GB of cache_dirs ) + cache_mem + 20 ) * 
2


belum untuk services lainnya ...






--
FAQ milis di http://wiki.linux.or.id/FAQ_milis_tanya-jawab
Unsubscribe: kirim email ke tanya-jawab-unsubscr...@linux.or.id
Arsip dan info milis selengkapnya di http://linux.or.id/milis



Re: [tanya-jawab] Squid cache melebihi kapsitas HD

2009-10-23 Terurut Topik Arief Yudhawarman
On Fri, Oct 23, 2009 at 02:04:38PM +0700, Fahmi Syafrizal wrote:
 
 Itu hanya satu HD saja mas, saya bikin 4 partisi untuk cache
 masing-masing cache 1GB saja, sisanya untuk system.
 Jadi seharusnya cache_dir nya bagaimana ?
 Apakah cache_dir menghitung secara total partisi,
 atau total HD atau per cache ?
 
 Terimakasih banyak

Saya kasih contoh lagi, ini mesin proxy punya 512MB RAM, 4 harddisk scasi @
8GB. Saya set 3 partisi untuk cache squid di harddisk ke-2,3,4 dengan
besar masing2 alokasi cache_dir 3.5GB:

r...@proxy:~# df
Filesystem1K-blocks  Used Available Use% Mounted on
/dev/sda1101086 66214 29653  70% /
/dev/sda2972564889848 32516  97% /usr
/dev/sda3101105 50967 44917  54% /var
/dev/sda5101086 31619 64248  33% /tmp
/dev/sda6   7429784   5169096   2260688  70% /home
/dev/sdb1   8883628   3687676   5195952  42% /cache1
/dev/sdc1   8883628   3686772   5196856  42% /cache2
/dev/sdd1   8883628   3683748   5199880  42% /cache3
tmpfs  1024   152   872  15% /dev/shm

r...@proxy:~# free
   total usedfree  shared   buffers   cached
Mem:  516316   5115644752   025296 15288
-/+ buffers/cache: 470980   45336
Swap: 136512 3216  133296

r...@proxy:~# grep cache_dir /etc/squid/squid.conf
cache_dir aufs /cache1 3584 16 256
cache_dir aufs /cache2 3584 16 256
cache_dir aufs /cache3 3584 16 256

Dari df terlihat masing2 partisi cache telah 100% terisi cache yg
dialokasikan sebesar 3584MB atau 3.5GB.

-- 

Terimakasih sebelumnya.

Salam,

~~ Arief Yudhawarman ~~


-- 
FAQ milis di http://wiki.linux.or.id/FAQ_milis_tanya-jawab
Unsubscribe: kirim email ke tanya-jawab-unsubscr...@linux.or.id
Arsip dan info milis selengkapnya di http://linux.or.id/milis



Re: [tanya-jawab] Squid cache melebihi kapsitas HD

2009-10-23 Terurut Topik Dhanank Perdhana
tukang ketik wrote:
 dh, cacher
 
 Saya pakai proxy squid, configurasi yang manakah
 yang di dalam squid.conf untuk mengatur agar pemakaian
 kapasias cache di Harddisk tidak melebihi kapasitas HD,
 Cache saya buat 4 partisi, setiap cache kira-kira 1GB saja,
 maka kepinginnya hanya akan selalu mencapai puncak sekitar
 80% saja atau 800 MB saja pemakaiannya.
 
 Di squid.conf sudah saya atur seperti ini
 
 cache_dir aufs /cache1 800 8 256
 cache_dir aufs /cache2 800 8 256
 cache_dir aufs /cache3 800 8 256
 cache_dir aufs /cache4 800 8 256
 maximum_object_size 128 MB
 
 Ketika pemakaian beberapa lama bisa mencapai
 100% used kalau saya kasih perintah df.
 Akhirnya squid -D gak jalan lagi.
 
 Terimakasih.
 


Mungkin bisa terapkan formula berikut ini. Saya coba beberapa tahun yang
lalu, sampai sekarang alhamdulillah server proxynya blum penuh dan masih
lari kencang. :)

Dengan formula itu, harddisk kecil pun harusnya cukup untuk jadi server
proxy, tapi tentunya ngga' senyaman dengan harddisk gede.

--- start of cache_dir formula ---
x=Size of cache dir in KB (i.e. 6GB=~6,000,000KB)
y=Average object size (just use 13KB)
z=Number of directories per first level directory

(((x / y) / 256) / 256) * 2 = # of directories

As an example, I use 6GB of each of my 13GB drives, so:

6,000,000 / 13 = 461538.5 / 256 = 1802.9 / 256 = 7 * 2 = 14

So my cache_dir line would look like this:

cache_dir 6000 14 256
--- end of cache_dir formula ---

Source:
http://www.devshed.com/c/a/Administration/High-Performance-Web-Caching-With-Squid/2/


Semoga bermanfaat.


Salam Hangat,
Dhanank Perdhana



-- 
FAQ milis di http://wiki.linux.or.id/FAQ_milis_tanya-jawab
Unsubscribe: kirim email ke tanya-jawab-unsubscr...@linux.or.id
Arsip dan info milis selengkapnya di http://linux.or.id/milis



[tanya-jawab] Squid cache melebihi kapsitas HD

2009-10-22 Terurut Topik tukang ketik
dh, cacher

Saya pakai proxy squid, configurasi yang manakah
yang di dalam squid.conf untuk mengatur agar pemakaian
kapasias cache di Harddisk tidak melebihi kapasitas HD,
Cache saya buat 4 partisi, setiap cache kira-kira 1GB saja,
maka kepinginnya hanya akan selalu mencapai puncak sekitar
80% saja atau 800 MB saja pemakaiannya.

Di squid.conf sudah saya atur seperti ini

cache_dir aufs /cache1 800 8 256
cache_dir aufs /cache2 800 8 256
cache_dir aufs /cache3 800 8 256
cache_dir aufs /cache4 800 8 256
maximum_object_size 128 MB

Ketika pemakaian beberapa lama bisa mencapai
100% used kalau saya kasih perintah df.
Akhirnya squid -D gak jalan lagi.

Terimakasih.

-- 
FAQ milis di http://wiki.linux.or.id/FAQ_milis_tanya-jawab
Unsubscribe: kirim email ke tanya-jawab-unsubscr...@linux.or.id
Arsip dan info milis selengkapnya di http://linux.or.id/milis



Re: [tanya-jawab] Squid cache melebihi kapsitas HD

2009-10-22 Terurut Topik Arief Yudhawarman
On Fri, Oct 23, 2009 at 10:44:39AM +0700, tukang ketik wrote:
 dh, cacher
 
 Saya pakai proxy squid, configurasi yang manakah
 yang di dalam squid.conf untuk mengatur agar pemakaian
 kapasias cache di Harddisk tidak melebihi kapasitas HD,
 Cache saya buat 4 partisi, setiap cache kira-kira 1GB saja,
 maka kepinginnya hanya akan selalu mencapai puncak sekitar
 80% saja atau 800 MB saja pemakaiannya.
 
 Di squid.conf sudah saya atur seperti ini
 
 cache_dir aufs /cache1 800 8 256
 cache_dir aufs /cache2 800 8 256
 cache_dir aufs /cache3 800 8 256
 cache_dir aufs /cache4 800 8 256
 maximum_object_size 128 MB
 
 Ketika pemakaian beberapa lama bisa mencapai
 100% used kalau saya kasih perintah df.
 Akhirnya squid -D gak jalan lagi.

cache_dir itu semuanya dalam device harddisk yang berbeda secara fisik
atau beda partisi doang tapi 1 harddisk ?

Kalau saya selalu buat partisi cache squid dengan rule sbb:
1. 1 partisi cache di 1 device harddisk
2. alokasi partisi cache squid 70% dari kapasitas partisi

Sampai saat itu cache_dir sudah penuh squid jalan normal.

# df
Filesystem   1K-blocks  Used Available Use% Mounted on
/dev/cciss/c0d0p1154800424  11042820 135894192   8% /
/dev/cciss/c0d0p2 19542436  14197928   5344508  73% /cache
tmpfs 2048 0  2048   0% /dev/shm

# grep cache_dir /etc/squid/squid.conf
cache_dir aufs /cache 13000 16 256

-- 

Terimakasih sebelumnya.

Salam,

~~ Arief Yudhawarman ~~


-- 
FAQ milis di http://wiki.linux.or.id/FAQ_milis_tanya-jawab
Unsubscribe: kirim email ke tanya-jawab-unsubscr...@linux.or.id
Arsip dan info milis selengkapnya di http://linux.or.id/milis



Re: [tanya-jawab] Squid cache melebihi kapsitas HD

2009-10-22 Terurut Topik tukang ketik
2009/10/23 Arief Yudhawarman arief.mi...@jember.net:
 On Fri, Oct 23, 2009 at 10:44:39AM +0700, tukang ketik wrote:
 dh, cacher

 Saya pakai proxy squid, configurasi yang manakah
 yang di dalam squid.conf untuk mengatur agar pemakaian
 kapasias cache di Harddisk tidak melebihi kapasitas HD,
 Cache saya buat 4 partisi, setiap cache kira-kira 1GB saja,
 maka kepinginnya hanya akan selalu mencapai puncak sekitar
 80% saja atau 800 MB saja pemakaiannya.

 Di squid.conf sudah saya atur seperti ini

 cache_dir aufs /cache1 800 8 256
 cache_dir aufs /cache2 800 8 256
 cache_dir aufs /cache3 800 8 256
 cache_dir aufs /cache4 800 8 256
 maximum_object_size 128 MB

 Ketika pemakaian beberapa lama bisa mencapai
 100% used kalau saya kasih perintah df.
 Akhirnya squid -D gak jalan lagi.

 cache_dir itu semuanya dalam device harddisk yang berbeda secara fisik
 atau beda partisi doang tapi 1 harddisk ?

 Kalau saya selalu buat partisi cache squid dengan rule sbb:
 1. 1 partisi cache di 1 device harddisk
 2. alokasi partisi cache squid 70% dari kapasitas partisi

 Sampai saat itu cache_dir sudah penuh squid jalan normal.

 # df
 Filesystem           1K-blocks      Used Available Use% Mounted on
 /dev/cciss/c0d0p1    154800424  11042820 135894192   8% /
 /dev/cciss/c0d0p2     19542436  14197928   5344508  73% /cache
 tmpfs                     2048         0      2048   0% /dev/shm

 # grep cache_dir /etc/squid/squid.conf
 cache_dir aufs /cache 13000 16 256

 --

 Terimakasih sebelumnya.

 Salam,

 ~~ Arief Yudhawarman ~~

Itu hanya satu HD saja mas, saya bikin 4 partisi untuk cache
masing-masing cache 1GB saja, sisanya untuk system.
Jadi seharusnya cache_dir nya bagaimana ?
Apakah cache_dir menghitung secara total partisi,
atau total HD atau per cache ?

Terimakasih banyak

--
FAQ milis di http://wiki.linux.or.id/FAQ_milis_tanya-jawab
Unsubscribe: kirim email ke tanya-jawab-unsubscr...@linux.or.id
Arsip dan info milis selengkapnya di http://linux.or.id/milis



Re: [tanya-jawab] Squid cache melebihi kapsitas HD

2009-10-22 Terurut Topik Lynn Nooks
2009/10/23 tukang ketik doeniam...@gmail.com:
 dh, cacher

 Saya pakai proxy squid, configurasi yang manakah
 yang di dalam squid.conf untuk mengatur agar pemakaian
 kapasias cache di Harddisk tidak melebihi kapasitas HD,
 Cache saya buat 4 partisi, setiap cache kira-kira 1GB saja,
 maka kepinginnya hanya akan selalu mencapai puncak sekitar
 80% saja atau 800 MB saja pemakaiannya.

 Di squid.conf sudah saya atur seperti ini

 cache_dir aufs /cache1 800 8 256
 cache_dir aufs /cache2 800 8 256
 cache_dir aufs /cache3 800 8 256
 cache_dir aufs /cache4 800 8 256
 maximum_object_size 128 MB

 Ketika pemakaian beberapa lama bisa mencapai
 100% used kalau saya kasih perintah df.
 Akhirnya squid -D gak jalan lagi.


coba ini
sudo squid -k rotate
gunakan cron.

-- 
FAQ milis di http://wiki.linux.or.id/FAQ_milis_tanya-jawab
Unsubscribe: kirim email ke tanya-jawab-unsubscr...@linux.or.id
Arsip dan info milis selengkapnya di http://linux.or.id/milis



Re: [tanya-jawab] Squid cache melebihi kapsitas HD

2009-10-22 Terurut Topik Arief Yudhawarman
On Fri, Oct 23, 2009 at 11:07:06AM +0700, tukang ketik wrote:

 Itu hanya satu HD saja mas, saya bikin 4 partisi untuk cache
 masing-masing cache 1GB saja, sisanya untuk system.
 Jadi seharusnya cache_dir nya bagaimana ?
 Apakah cache_dir menghitung secara total partisi,
 atau total HD atau per cache ?

Kalau cuma 1 hd buat 1 partisi untuk cache_dir. Untuk apa lebih dari 1 ?
Berat2in kerja harddisk saja. Akibatnya kerja squid tidak efektif.
Besar partisi sesuaikan dengan memori fisik yang ada (RAM).
Hitungannya begini, 1 GB data object cache ekuivalen dengan kapasitas
memori 15MB RAM atau untuk amannya ambil 20MB. Jadi kalau punya RAM
128MB, dan servis atau daemon yang dijalankan cuma squid, kita buat
partisi cache_dir sebesar 2GB atau 2048:

  cache_dir aufs /cache 2048 16 256
 

-- 

Terimakasih sebelumnya.

Salam,

~~ Arief Yudhawarman ~~


-- 
FAQ milis di http://wiki.linux.or.id/FAQ_milis_tanya-jawab
Unsubscribe: kirim email ke tanya-jawab-unsubscr...@linux.or.id
Arsip dan info milis selengkapnya di http://linux.or.id/milis



Re: [tanya-jawab] Squid cache melebihi kapsitas HD

2009-10-22 Terurut Topik Arief Yudhawarman
On Fri, Oct 23, 2009 at 11:16:09AM +0700, Lynn Nooks wrote:
  Ketika pemakaian beberapa lama bisa mencapai
  100% used kalau saya kasih perintah df.
  Akhirnya squid -D gak jalan lagi.
 
 
 coba ini
 sudo squid -k rotate
 gunakan cron.

Ini untuk rotate log squid bukan membersihkan partisi cache yg full.

-- 

Terimakasih sebelumnya.

Salam,

~~ Arief Yudhawarman ~~


-- 
FAQ milis di http://wiki.linux.or.id/FAQ_milis_tanya-jawab
Unsubscribe: kirim email ke tanya-jawab-unsubscr...@linux.or.id
Arsip dan info milis selengkapnya di http://linux.or.id/milis



Re: [tanya-jawab] Squid cache melebihi kapsitas HD

2009-10-22 Terurut Topik Imam Cartealy
salam

coba lihat lognya, mungkin ada penyebab lain squid ga bisa jalan.
cache_dir emang bisa dipakai untuk membatasi kapasitas

wassalam

ic


tukang ketik wrote:
 dh, cacher
 
 Saya pakai proxy squid, configurasi yang manakah
 yang di dalam squid.conf untuk mengatur agar pemakaian
 kapasias cache di Harddisk tidak melebihi kapasitas HD,
 Cache saya buat 4 partisi, setiap cache kira-kira 1GB saja,
 maka kepinginnya hanya akan selalu mencapai puncak sekitar
 80% saja atau 800 MB saja pemakaiannya.
 
 Di squid.conf sudah saya atur seperti ini
 
 cache_dir aufs /cache1 800 8 256
 cache_dir aufs /cache2 800 8 256
 cache_dir aufs /cache3 800 8 256
 cache_dir aufs /cache4 800 8 256
 maximum_object_size 128 MB
 
 Ketika pemakaian beberapa lama bisa mencapai
 100% used kalau saya kasih perintah df.
 Akhirnya squid -D gak jalan lagi.
 
 Terimakasih.
 

-- 
Imam Cartealy
Linux registered user #481374

This email is confidential and may contain legally privileged information. You
may not copy, use nor disclose this e-mail in any way. You should only
retransmit, distribute or commercialise this material if you are authorised to
do so. I will not be responsible for any claim arising from the unauthorised
usage of, or alterations to this e-mail or any attachment to it.
This e-mail including any attachments is intended solely for the named addressee
and may contain confidential and/or privileged information. If you are not the
intended addressee, you must take no action based on it, nor show a copy to
anyone. If you have received it in error please notify us immediately and 
delete it.

-- 
FAQ milis di http://wiki.linux.or.id/FAQ_milis_tanya-jawab
Unsubscribe: kirim email ke tanya-jawab-unsubscr...@linux.or.id
Arsip dan info milis selengkapnya di http://linux.or.id/milis