[ITCENTER] Re: Linux Clustering
--- In ITCENTER@yahoogroups.com, Herawan Husin [EMAIL PROTECTED] wrote: Temans semua, ma'af mau nanya, ada yg sdh pernah implementasi clustering pake Linux gak? yg ditanyakan, menggunakan aplikasi apa aja (spt yg punya fujitsu primecluster) dan hardwarenya apa aja. Kesulitannya gimana (khabarnya tingkat kesulitannya berkali2 lipat dr instalasi biasa). dan apa yg mesti dperhatikan dsb. thanks Definisi cluster ini ada 3 macam : 1. Failover cluster, dimana mesin A menggantikan otomatis mesin B yg down. A dan B tidak berkerja secara bersama tapi bergantian 2. Paralel cluster, dimana mesin A dan B berkerja sama mengolah data yang sama bersamaan, bahkan bisa ditambahkan jadi lebih dari 2 nodes 3. High Performance Computing cluster/Massively Paralel Processing, dimana puluhan, ratusan, atau ribuan computer melakukan computation floating point independent untuk menghitung matrix besar. Nah anda kepingin yang mana? Karena anda mention Primecluster, berarti antara 1 dan 2 Kemudian data service yg ingin di-cluster itu apa? Database server, File server, DNS server, LDAP server, Web server? Kelemahan di Linux adalah kebanyakan proyek digunakan untuk cluster jenis ke 3, dan tidak standardnya hardware maupun software API untuk mewujudkannya. Dulu Compaq sebelum dibeli HP biasa membundel Steeleye Livekeeper untuk Linux, tapi setelah di beli sama HP jadi kurang jelas informasinya. biasanya digunakan untuk jenis cluster no 1 Yg barusan saya coba adalah Oracle 10g RAC pakai Linux, ini jenis cluster no 2. -- www.itcenter.or.id - Komunitas Teknologi Informasi Indonesia Info, Gabung, Keluar, Mode Kirim : [EMAIL PROTECTED] :: Hapus bagian yang tidak perlu (footer, dst) saat reply! :: ## Jobs: itcenter.or.id/jobs ## Bursa: itcenter.or.id/bursa ## $$ Iklan/promosi : www.itcenter.or.id/sponsorship $$ [@@] Jaket ITCENTER tersedia di http://shop.itcenter.or.id Yahoo! Groups Links * To visit your group on the web, go to: http://groups.yahoo.com/group/ITCENTER/ * To unsubscribe from this group, send an email to: [EMAIL PROTECTED] * Your use of Yahoo! Groups is subject to: http://docs.yahoo.com/info/terms/
Re: [ITCENTER] Re: Linux Clustering
benar mas, yg saya maksud belum sampai HPC Cluster tapi masih di no.2 Paralel cluster (tapi bukankah ini jg bisa dibilang HPC mas?). hmmm untuk data service yg akan di cluster ini hanya bisa salah satunya atau bisa lebih dari satu, database server dan web server. Wah kebetulan lagi saya masih mempelajari RAC ini mas, share yah mas please. Dan saya pikir pengetahuan ini adalah hal yg berharga bg ITers yg lain, karena kedepannya mungkin akan lebih mengarah ke sini yah utk performance server 24hours/day. Server proc xeon kan udh kejangkau.:) Boleh dijelaskan gak mas, apa yg mesti diperhatikan dr hardware yg support utk hal ini sampai tahap implementasinya step by step. thanks :) rgds On 6/21/06, syiwabhairawa [EMAIL PROTECTED] wrote: --- In ITCENTER@yahoogroups.com, Herawan Husin [EMAIL PROTECTED] wrote: Temans semua, ma'af mau nanya, ada yg sdh pernah implementasi clustering pake Linux gak? yg ditanyakan, menggunakan aplikasi apa aja (spt yg punya fujitsu primecluster) dan hardwarenya apa aja. Kesulitannya gimana (khabarnya tingkat kesulitannya berkali2 lipat dr instalasi biasa). dan apa yg mesti dperhatikan dsb. thanks Definisi cluster ini ada 3 macam : 1. Failover cluster, dimana mesin A menggantikan otomatis mesin B yg down. A dan B tidak berkerja secara bersama tapi bergantian 2. Paralel cluster, dimana mesin A dan B berkerja sama mengolah data yang sama bersamaan, bahkan bisa ditambahkan jadi lebih dari 2 nodes 3. High Performance Computing cluster/Massively Paralel Processing, dimana puluhan, ratusan, atau ribuan computer melakukan computation floating point independent untuk menghitung matrix besar. Nah anda kepingin yang mana? Karena anda mention Primecluster, berarti antara 1 dan 2 Kemudian data service yg ingin di-cluster itu apa? Database server, File server, DNS server, LDAP server, Web server? Kelemahan di Linux adalah kebanyakan proyek digunakan untuk cluster jenis ke 3, dan tidak standardnya hardware maupun software API untuk mewujudkannya. Dulu Compaq sebelum dibeli HP biasa membundel Steeleye Livekeeper untuk Linux, tapi setelah di beli sama HP jadi kurang jelas informasinya. biasanya digunakan untuk jenis cluster no 1 Yg barusan saya coba adalah Oracle 10g RAC pakai Linux, ini jenis cluster no 2. -- www.itcenter.or.id - Komunitas Teknologi Informasi Indonesia Info, Gabung, Keluar, Mode Kirim : [EMAIL PROTECTED] :: Hapus bagian yang tidak perlu (footer, dst) saat reply! :: ## Jobs: itcenter.or.id/jobs ## Bursa: itcenter.or.id/bursa ## $$ Iklan/promosi : www.itcenter.or.id/sponsorship $$ [@@] Jaket ITCENTER tersedia di http://shop.itcenter.or.id Yahoo! Groups Links [Non-text portions of this message have been removed] -- www.itcenter.or.id - Komunitas Teknologi Informasi Indonesia Info, Gabung, Keluar, Mode Kirim : [EMAIL PROTECTED] :: Hapus bagian yang tidak perlu (footer, dst) saat reply! :: ## Jobs: itcenter.or.id/jobs ## Bursa: itcenter.or.id/bursa ## $$ Iklan/promosi : www.itcenter.or.id/sponsorship $$ [@@] Jaket ITCENTER tersedia di http://shop.itcenter.or.id Yahoo! Groups Links * To visit your group on the web, go to: http://groups.yahoo.com/group/ITCENTER/ * To unsubscribe from this group, send an email to: [EMAIL PROTECTED] * Your use of Yahoo! Groups is subject to: http://docs.yahoo.com/info/terms/
Re: [ITCENTER] Re: Linux Clustering
Herawan Husin wrote: benar mas, yg saya maksud belum sampai HPC Cluster tapi masih di no.2 Paralel cluster (tapi bukankah ini jg bisa dibilang HPC mas?). Saya keliru memberikan penamaan di no 2, seharusnya Load balancing cluster. Memang dia paralel, tapi biasanya di load balancing server, masing masing node mengakses data yang sama dan sama sama tahu kalau another node melakukan perubahan. Ini dinamakan shared paralel cluster. Bisa shared everything (sampai ke sisi memory masing masing node), bisa hanya shared storage. Oracle RAC ada di level shared storage, tapi dia punya utility cache fusion, Sedangkan dalam HPC/MPP, mesin mesin itu semata mata melakukan distributed computing, tanpa perlu tahu apa yang dilakukan oleh node lain. Ini mengandalkan pada metoda numerik yang memecahkan complex equation ke dalam discrete computation yang independent satu sama lain. Ini dimnamakan juga shared nothing architecture. hmmm untuk data service yg akan di cluster ini hanya bisa salah satunya atau bisa lebih dari satu, database server dan web server. Memang selama ini obyek yang relative make sense untuk dibuat scalable di dunia business computing adalah web dan database. Web sendiri sebetulnya bisa dibuat tanpa cluster framework, karena kita bisa menggunakan load balancer. Bahkan cluster framework yg ada pun kerjaannya sebetulnya hanya doing load balancing, dan memastikan bahwa client dari luar, misakan client X, yang masuk ke node cluster A, akan diservice oleh node A terus. Kalo enggak kan bisa berantakan requestnya. Baru kalau node A mati, dia dipindah ke node B. Komunikasi antara node dalam paralel web server tidak banyak, jadi relatively independent. Sedangkan database server, selain membagi load, juga melakukan akses data yang sama dalam disk yang dibagi bersama. Selama ini saya lihat hanya Oracle yg punya solusi feasible untuk ini, dengan produknya Oracle OPS/RAC. Karena sekarang belum ada file system yg bisa dibaca berbarengan oleh multi node (ada sih, seperti Sun QFS, tapi mahal pisan dan hanya dicertified untuk Sun Cluster), maka aksesnya dilakukan secara raw, dan Oracle RAC menyedikan Unix Dynamic Lock Manager, daemon yg memonitor interlock write antar node. Selain itu ORacle RAC juga kudu menyediakan cara untuk melakukan cache coherency, jadi jika suatu data di storage diubah oleh suatu node, semua cache di semua nodes yg mereferensikan data tersebut kudu diflush karena tidak valid lagi. Kedua feature ini mensyaratkan adanya cluster interconnect yang punya kecepatan tinggi. Wah kebetulan lagi saya masih mempelajari RAC ini mas, share yah mas please. Dan saya pikir pengetahuan ini adalah hal yg berharga bg ITers yg lain, karena kedepannya mungkin akan lebih mengarah ke sini yah utk performance server 24hours/day. Server proc xeon kan udh kejangkau.:) Untuk performane 24x7 alias mission critical ini sebetulnya berapa sih allowable downtimenya? Selama ini di Indonesia yang butuh banget adalah perusahaan telco, dan mereka masih OK untu 99,99% uptime. Mungkin kalau startup databasenya cepat, anda belum tentu butuh Oracle RAC. Oracle HA yg pakai failover mode juga kadang lebih mudah disetup dan di-maintain. Kemudian untuk processor, saya sarankan daripada pakai Xeon, lebih baik pakai AMD64, karena : 1. lebih hemat power. Ini biar kecil, tapi kalo jumlah nodenyanya 48 biji, bisa besar efeknya. 2. kecil, sehingga muat di 1U server, inget, data centre space itu mahal. 3. jelas jelas pelopor 64 bit computing, Xeon kan cuman ngekor dengan EMT64-nya 4. murah :D Boleh dijelaskan gak mas, apa yg mesti diperhatikan dr hardware yg support utk hal ini sampai tahap implementasinya step by step. Kalau dari hardware : 1. Butuh computer biasa saja, terserah mau single processor atau mau SMP 2. Butuh cluster interconnect. Kalau mau murah, pakai Gigabit Ethernet. Tapi masalah GE ini kan DLPI device, jadi boros overhead di DLPI stack, IRQ servicing, Serializer-Deserializer etc. Akibatnya biar throughput besar, latency juga besar karena banyak pihak yg dilewatkan dalam jalur transimisinya. Yg bagus untuk Oracle RAC adalah Resource Shared Memory interface yang langsung melakukan mapping sebagian memory dari suatu node ke node lain. Untuk dunia x86, yang terkenal adalah Myrinet. Untuk dunia *nix yang saya tahu adalah Scalable Coherent Interface dari Sun, dan Hyper-Fabric dari HP. SGI dulu juga punya Craylink Interconnect untuk NUMA, tapi berhubung udah tewas, gak usah dibahas deh. Alternatif lain adalah Veritas Advanced Cluster, dia punya special driver menggantikan DLPI, jadi bisa menggunakan GE dengan latency yg lebih rendah. Alternatif lain yang tidak proprietary dan cocok buat siapa saja adalah InfiniBand Host Channel Adapter, saya lihat harganya juga sudah di bawah US$1000. 3. Butuh shared storage yang LUN-nya bisa diakses banyak node. Nah ini jelas, kudu pakai SAN. Kalo storagenya punya multiple FC output dan LUN yg sama bisa dimap ke multile port,
