[teknologia] Re: Satu juta email account

[Ikhlasul Amal]

On 9/9/05, Mohammad DAMT <[EMAIL PROTECTED]> wrote:
> 
> > kotak suara itu jadinya diakses dari banyak mesin dong.
> > dishare pakai NFS? apa gak lambat lagi?
> > (kebayang lockingnya)
> 
> perkongsian berkas kan tidak melulu harus menggunakan NFS. Bisa saja
> pakai SSH kalau mau (itu kalau mau)
> 

Kalau seperti webmail di Yahoo! Mail, yang berikutnya dibelokkan ke
subdomain tertentu berdasarkan user-id, bagaimana? Seperti saya selalu
kebagian us.f507 misalnya. Jadi tidak perlu berkas tersebut diambil
oleh "server utama" lewat NFS.

-- 
amal

[teknologia] Re: about hiring

[Rudi Har]

On 9/9/05, risiyanto budi <[EMAIL PROTECTED]> wrote:
> Pakcik wrote:
> > Buatku yg menganggap Java adalah kumpulan best practices untuk OOP,
> > mereka itu satu level. Tapi mungkin ada orang yg mengganggap itu
> > benar2 beda.  Apakah misalnya karna di Java itu managed code (ada
> > garbage collection), mereka jadi beda level? Mungkin ada yg
> > beranggapan begitu. Atau alasan2 lain.  Ini wacana menarik.
> >
> > Ini ada bacaan untuk functional style.
> > http://www.stanford.edu/class/cs242/readings/backus.pdf
> > kalau Java dgn C++ itu beda level, you may call this super high level
> > language.  Di situ di jelaskan masalah von neumann model. Ciri von
> > neumann model itu adalah salah satunya berpikir kalau ada
> > storage.misalnya  a = 10.  assignment itu adalah cirinya.  di
> > functional style, jangan pernah berpikir ada storage, karna storage
> > adalah sumber segala masalah.  untuk case ini (menghilangkan storage
> > dari kepala tiap programmer), harus aku akui ini beda level.
> >
> 
> Ini sudah gak ada bantahan lagi dari java side? :-D
> 
> btw,
> biar lebih afdol, gimana kalau pakcik memberi contoh real, jadi bukan
> menggunakan otomotif (mobil, motor, truk, ferary, dst) contoh kasus yang
> bisa diselesaikan dengan efektif di c++ tapi jadi repot di java.
> Kalau bisa dengan kode nya sekalian :-D

Berdiskusi itu kan bukanlah seni untuk berbantahan sampai akhir hayat :-p
Ada saatnya hal yg di diskusikan dirasa tidak terlalu penting lagi.
Atau bisa jg simply karena semangat berdiskusi tiba-tiba sudah
melayang :-D

Nah, kalau saya lain lg. Kadang kala buat saya mana yg benar dan mana
yg salah dalam diskusi tidak penting, karena mereka bisa jadi
sama-sama benar dalam satu saat dan sama-sama salah dalam saat lainnya
;-)

rgds,
Rudi Har

[teknologia] Re: Satu juta email account

[Samuel Franklyn]

Budi Rahardjo wrote:

On 9/9/05, risiyanto budi <[EMAIL PROTECTED]> wrote:



kalau saya ya bikin server baru,
terus dibuatkan copy semua account (di virtual domain).
password digenerate dan dikirim ke email yang bersangkutan di server lama.
para user diminta mengganti password email diserver yang baru.

kemudian email diroute supaya email2 yang baru masuk ke server yang baru.



Ada hal-hal yang mesti diperhatikan. Misalnya:

- email di sistem unix biasanya diasosiasikan dengan sebuah
  account (shell account). ini untuk menyimpan email dalam
  mailbox (mail spool) dengan nama account tersebut.

- versi unix yang lama ada pembatasan jumlah account dalam
  satu server karena keunikan (unique, maksudnya) ditentukan
  dengan nomor yang disebut UID.
  Nah UID ini ada yang dibatasi hanya 64k!
  Jadi kalau mau membuat 1 juta user, nggak bisa dengan cara
  plain qmail/postfix saja

Kalau mau nekad nyoba, coba buat account yang banyak
di mesin unix anda. cek paling banyak berapa account.
apakah bisa nembus 64k? lantas bisakah menembus 1 juta?
coba aja buat satu direktori (misal /var/spool/mail)
dengan isinya berkas sebanyak 1 juta ... he he he.
pasti gak bisa. file systemnya nggak sanggup deh.

Jadi menurut saya tidak bisa menggunakan stock unix biasa.
Harus ada kerja "sedikit" :)
Nampaknya hampir pasti menggunakan database di backend nya.

-- budi



Salah satu solusi yang mungkin bisa di pertimbangkan adalah
pemakaian Apache James.

http://james.apache.org/

James ini bisa menyimpan user dan mailbox dalam database.
Dan kalau cuma sekedar menyimpan jutaan record
pakai database open source macam MySQL dan PostgreSQL
juga bisa apalagi kalau pakai database komersial
macam Oracle.

Soal skalabilitas James bisa memproses 2600 mail
per menit dengan menggunakan Pentium 4 2.4 GHz dengan
memori 1GB dengan OS Redhat 9.0 dan database MySQL.

http://wiki.apache.org/james/JamesByTheNumbers

Mengingat Fedora Core 4 atau Centos 4.1
yang pakai kernel Linux 2.6 jauh lebih kencang
jalannya dibanding RedHat 9.0 maka bisa dipastikan
angka mail yang bisa diproses per menit akan
lebih tinggi lagi.

[teknologia] Re: Satu juta email account

[risiyanto budi]

Samuel Franklyn wrote:




http://wiki.apache.org/james/JamesByTheNumbers

Mengingat Fedora Core 4 atau Centos 4.1
yang pakai kernel Linux 2.6 jauh lebih kencang
jalannya dibanding RedHat 9.0 maka bisa dipastikan
angka mail yang bisa diproses per menit akan
lebih tinggi lagi.


Anda yakin Linux 2.6 jauh lebih kencang dari Linux 2.4 ?

Salam
Aris

[teknologia] Re: about hiring

[Pakcik]

On 9/9/05, risiyanto budi <
[EMAIL PROTECTED]> wrote:> Ini sudah gak ada bantahan lagi dari java side? :-D>> btw,> biar lebih afdol, gimana kalau pakcik memberi contoh real, jadi bukan> menggunakan otomotif (mobil, motor, truk, ferary, dst) contoh kasus yang
> bisa diselesaikan dengan efektif di c++ tapi jadi repot di java.> Kalau bisa dengan kode nya sekalian :-D
sepertinya pak  Risyanto salah mengerti. Justru sebaliknya, di C++ yg biasanya repot. 

On 9/9/05, Rudi Har <[EMAIL PROTECTED]> wrote: 
Berdiskusi itu kan bukanlah seni untuk berbantahan sampai akhir hayat :-pAda saatnya hal yg di diskusikan dirasa tidak terlalu penting lagi.
Atau bisa jg simply karena semangat berdiskusi tiba-tiba sudahmelayang :-DNah, kalau saya lain lg. Kadang kala buat saya mana yg benar dan manayg salah dalam diskusi tidak penting, karena mereka bisa jadi
sama-sama benar dalam satu saat dan sama-sama salah dalam saat lainnya;-)
yoi setuju banget. as i said "yang penting ada wacana menarik". kan bukan DPR yg harus ambil keputusan. :)
-- PakcikUnder Construction

[teknologia] Re: Satu juta email account

[Pakcik]

On 9/9/05, Mohammad DAMT <[EMAIL PROTECTED]> wrote:
> kotak suara itu jadinya diakses dari banyak mesin dong.> dishare pakai NFS? apa gak lambat lagi?> (kebayang lockingnya)perkongsian berkas kan tidak melulu harus menggunakan NFS. Bisa sajapakai SSH kalau mau (itu kalau mau)

hubungan NFS dan SSH?  gak ngerti-- PakcikUnder Construction

[teknologia] Re: Satu juta email account

[Jay adalah Yulian]

Pada tanggal 9/9/05, risiyanto budi <[EMAIL PROTECTED]> menulis:
> 
> Anda yakin Linux 2.6 jauh lebih kencang dari Linux 2.4 ?

mungkin faktor clock timer prosesor mempengaruhi
seperti halnya kernel untuk desktop ditune jadi 1000Hz (default 100Hz)
untuk peningkatan respon cpu

mulai kernel 2.6.13 Linus mengambil default 250Hz
sedangkan Con Kolivas memilih 864Hz


-- 
http://yulian.firdaus.or.id/

[teknologia] Re: Satu juta email account

[Ikhlasul Amal]

On 9/9/05, risiyanto budi <[EMAIL PROTECTED]> wrote:
> 
> Samuel Franklyn wrote:
> 
> >
> >
> > http://wiki.apache.org/james/JamesByTheNumbers
> >
> > Mengingat Fedora Core 4 atau Centos 4.1
> > yang pakai kernel Linux 2.6 jauh lebih kencang
> > jalannya dibanding RedHat 9.0 maka bisa dipastikan
> > angka mail yang bisa diproses per menit akan
> > lebih tinggi lagi.
> 
> Anda yakin Linux 2.6 jauh lebih kencang dari Linux 2.4 ?
> 
> Salam
> Aris
> 


Walah, mantap banget gertakan Cak Aris ini... :)
Sila jenguk salah satu yang sudah mengukur:

* Linux Kernel Comparison: 2.6.4 vs. 2.4.25
http://www.2cpu.com/articles/98_1.html

-- 
amal

[teknologia] tiger on x86

[Beast]

Ada yg sudah berhasil install OSX di PC?
Saya mau download tiger-x86 tapi sepertinya filenya besar sekali, ada yg 
tahu sebenarnya isinya apa?

apakah OSX+rosetta atau opendarwin atau ada patch lain?


--

--beast

[teknologia] Re: Satu juta email account

[Mohammad DAMT]

On Jum, 2005-09-09 at 17:02 +0900, Pakcik wrote:


> hubungan NFS dan SSH?  gak ngerti
> 
tidak ada hubungannya.
cuma dengan sedikit usaha SSH dapat digunakan untuk mengkongsikan berkas
supaya mesin yang satu dapat mengakses berkas yang ada di mesin yang
lain. (tentunya usaha ini belum tentu sebanding dengan hasil yang
didapat)

> -- 
> Pakcik
> Under Construction

[teknologia] Re: tiger on x86

[Dicky Wahyu Purnomo]

On Sep 9, 2005, at 3:06 PM, Beast wrote:




Ada yg sudah berhasil install OSX di PC?
Saya mau download tiger-x86 tapi sepertinya filenya besar sekali,  
ada yg tahu sebenarnya isinya apa?

apakah OSX+rosetta atau opendarwin atau ada patch lain?


file tar.bz2 nya saja 1.3gb
kl diextract jd sekitar 6gb

itu image file partisi macos x for intel yg udah tinggal siap diboot :)

kl mau tar.bz2 nya, mampir aja ke sini ;-) *japri aja lanjutannya*

--
Dicky Wahyu Purnomo
http://massaint.or.id

[teknologia] Re: Satu juta email account

[risiyanto budi]

Ikhlasul Amal wrote:


On 9/9/05, risiyanto budi <[EMAIL PROTECTED]> wrote:
 


Samuel Franklyn wrote:

   


http://wiki.apache.org/james/JamesByTheNumbers

Mengingat Fedora Core 4 atau Centos 4.1
yang pakai kernel Linux 2.6 jauh lebih kencang
jalannya dibanding RedHat 9.0 maka bisa dipastikan
angka mail yang bisa diproses per menit akan
lebih tinggi lagi.
 


Anda yakin Linux 2.6 jauh lebih kencang dari Linux 2.4 ?

Salam
Aris

   




Walah, mantap banget gertakan Cak Aris ini... :)
Sila jenguk salah satu yang sudah mengukur:

* Linux Kernel Comparison: 2.6.4 vs. 2.4.25
http://www.2cpu.com/articles/98_1.html

 


Hehe,
bukan maksud hati mau menggertak.
Sebab setelah menggunakan kernel 2.6, rasanya komputer saya kok sama 
saja kecepatannya :-D.


Terima kasih link nya

Salam
Aris

[teknologia] Re: about hiring

[risiyanto budi]

Pakcik wrote:



On 9/9/05, risiyanto budi < [EMAIL PROTECTED]
> wrote:
> Ini sudah gak ada bantahan lagi dari java side? :-D
>
> btw,
> biar lebih afdol, gimana kalau pakcik memberi contoh real, jadi
bukan
> menggunakan otomotif (mobil, motor, truk, ferary, dst) contoh
kasus yang
> bisa diselesaikan dengan efektif di c++ tapi jadi repot di java.
> Kalau bisa dengan kode nya sekalian :-D


sepertinya pak  Risyanto salah mengerti. Justru sebaliknya, di C++ yg 
biasanya repot.


On 9/9/05, *Rudi Har* <[EMAIL PROTECTED] > 
wrote:


Berdiskusi itu kan bukanlah seni untuk berbantahan sampai akhir
hayat :-p
Ada saatnya hal yg di diskusikan dirasa tidak terlalu penting lagi.
Atau bisa jg simply karena semangat berdiskusi tiba-tiba sudah
melayang :-D

Nah, kalau saya lain lg. Kadang kala buat saya mana yg benar dan mana
yg salah dalam diskusi tidak penting, karena mereka bisa jadi
sama-sama benar dalam satu saat dan sama-sama salah dalam saat lainnya
;-)


yoi setuju banget. as i said "yang penting ada wacana menarik". kan 
bukan DPR yg harus ambil keputusan. :)



Oic :)
tadinya saya kok merasa seperti nonton film tiba-tiba listrik mati 
padahal belum selesai.


Salam
Aris

[teknologia] Re: Satu juta email account

[Samuel Franklyn]

risiyanto budi wrote:


Samuel Franklyn wrote:




http://wiki.apache.org/james/JamesByTheNumbers

Mengingat Fedora Core 4 atau Centos 4.1
yang pakai kernel Linux 2.6 jauh lebih kencang
jalannya dibanding RedHat 9.0 maka bisa dipastikan
angka mail yang bisa diproses per menit akan
lebih tinggi lagi.



Anda yakin Linux 2.6 jauh lebih kencang dari Linux 2.4 ?

Salam
Aris



Yakin. Kan thread schedulernya dan virtual memory management nya
diperbarui. Lagipula saya kan pernah pakai Centos 4.1 dan
RedHat 9 di hardware yang sama. Terasa jauh lebih responsif
Centos 4.1. Tentu saja performance itu tergantung aplikasi juga.
Bisa saja ada aplikasi yang lebih kencang di 2.4.

[teknologia] Re: Satu juta email account

[risiyanto budi]

Samuel Franklyn wrote:



risiyanto budi wrote:



Samuel Franklyn wrote:




http://wiki.apache.org/james/JamesByTheNumbers

Mengingat Fedora Core 4 atau Centos 4.1
yang pakai kernel Linux 2.6 jauh lebih kencang
jalannya dibanding RedHat 9.0 maka bisa dipastikan
angka mail yang bisa diproses per menit akan
lebih tinggi lagi.




Anda yakin Linux 2.6 jauh lebih kencang dari Linux 2.4 ?

Salam
Aris



Yakin. Kan thread schedulernya dan virtual memory management nya
diperbarui. Lagipula saya kan pernah pakai Centos 4.1 dan
RedHat 9 di hardware yang sama. Terasa jauh lebih responsif
Centos 4.1. Tentu saja performance itu tergantung aplikasi juga.
Bisa saja ada aplikasi yang lebih kencang di 2.4.



wah anda beruntung.
saya tadinya pake linux 2.4 gentoo
terus ganti pake linux 2.6 ubuntu

Nggak terasa perubahannya.
Aris.

[teknologia] [OOT] Debian Conference 2

[Iang]

numpang iklan..


Fakultas Ilmu Komputer Universitas Indonesia
bekerjasama dengan KPLI Jakarta dan Majalah CHIP
mempersembahkan:

Debian Conference 2: "Debian untuk Semua"

menghadirkan dua acara bertemakan Debian Linux yaitu

1. Kompetisi: "Distro untuk Warnet"

  http://debconf.vlsm.org/competition.php



2. Seminar

  http://debconf.vlsm.org/seminar.php

  1. Security Policy di Debian
 oleh Rahmat M. Samik-Ibrahim
  2. Instalasi dan Manajemen Software
 oleh Noprianto
  3. Demo Distribusi Turunan Debian
 oleh Rusmanto (Koppix bagi Tunanetra)
 dan Pemenang kompetisi (Distribusi untuk Warnet)
  4. Membangun Access Wireless Point
 oleh Gladi Guardin


Untuk informasi lebih lanjut, silakan kunjungi http://debconf.vlsm.org

-- 
Iang- 
http://fajran.net y!m: fajran

[teknologia] Re: Satu juta email account

[Samuel Franklyn]

risiyanto budi wrote:


Ikhlasul Amal wrote:


On 9/9/05, risiyanto budi <[EMAIL PROTECTED]> wrote:
 


Samuel Franklyn wrote:

  


http://wiki.apache.org/james/JamesByTheNumbers

Mengingat Fedora Core 4 atau Centos 4.1
yang pakai kernel Linux 2.6 jauh lebih kencang
jalannya dibanding RedHat 9.0 maka bisa dipastikan
angka mail yang bisa diproses per menit akan
lebih tinggi lagi.



Anda yakin Linux 2.6 jauh lebih kencang dari Linux 2.4 ?

Salam
Aris

  




Walah, mantap banget gertakan Cak Aris ini... :)
Sila jenguk salah satu yang sudah mengukur:

* Linux Kernel Comparison: 2.6.4 vs. 2.4.25
http://www.2cpu.com/articles/98_1.html

 


Hehe,
bukan maksud hati mau menggertak.
Sebab setelah menggunakan kernel 2.6, rasanya komputer saya kok sama 
saja kecepatannya :-D.


Terima kasih link nya



Oh mungkin itu tergantung komputernya juga.
Spec komputer saya Pentium 4 CPU 2.8 GHz Hyper Threading
Memori 1 GB dan Hard Disk 40 GB. Dulu kan kernel 2.4
belum bisa optimal memakai HyperThreading.

Komputer yang saya pakai menulis email ini
Pentium 4 CPU 3 GHz Hyper Threading
tadinya saya mau pasang Linux juga tapi
sayang driver NIC nya belum ada di Linux.
Terpaksa deh pakai W2K3 lagipula development
environment saya membutuhkan software
untuk konektivitas ke mainframe. Dan software
konektivitas mainframe ini cuma stabil kalau dijalankan di IIS.

[teknologia] Re: Satu juta email account

[Budi Rahardjo]

On 9/9/05, Mohammad DAMT <[EMAIL PROTECTED]> wrote:

> tapi kan sejuta orang itu ga perlu shell

tul.

> mereka hanya butuh kotak surat yang dapat saja berupa 
> berkas biasa, atau masuk ke dalam basis data.

tetap saja kalau masuk ke berkas biasa, bisa masalah.

poin/maksud saya sebetulnya adalah masalah skalabilitas.
angka 1 juta tersebut bukan angkan main-main.

lagi-lagi saya cerita berdasarkan pengalaman lama
(out-of-date), jadi mohon kesabarannya ya.
kalau dulu saya mengambil acuan angka adalah:
a. 1 s/d 2500
b. 2500 s/d 64k
c. 64k s/d ... [belum tahu]

Pengalaman angka 2500 adalah dalam menangani client email.
Banyak program/paket yang tiba-tiba drop performance
begitu menginjak ke angka 2500. Misalnya dulu ada test
tentang email yang berbasis Lotus Notes/Domino, yang
tiba2 performancenya jatuh begitu mencapai 2500 users.

Untuk angka 64k, adalah angka ajaib (magic number) yang
digunakan di beberapa kode (OS/aplikasi) sehingga menjadi
batasan. Bahkan lihat test create file yang dilakukan
oleh Aris yang hanya mencapai 32k saja.

Nah lewat 64k, saya belum pernah. Jadi belum bisa komentar.
Waktu itu memang sempat lihat2 paket email yang bisa
menangani user besar (WorldMail? lupa lagi). 

Jadi, bagi saya angka 1 juta itu merupakan masalah dalam
kompleksitas. Bukan masalah kecil.



> (ya kalau ga kuat sampai sejuta ya di
> utak atik sedikit supaya dapat mendukung sistem kotak surat
> terdistribusi seperti yang saya lontarkan dalam ide 
> saya sebelumnya *-)

 mdamt ini masih nggak percaya.
1 juta itu bukan masalah yang gampang loh.

...
> (padahal sebenarnya ngeles)

whua ha ha.


 
> perkongsian berkas kan tidak melulu harus menggunakan 
> NFS. Bisa saja pakai SSH kalau mau (itu kalau mau)

Yang kepikir oleh saya adalah masalah locking-nya itu.
Kalau yang nulis hanya satu dan lainnya hanya baca,
mungkin tidak terlalu masalah, tapi dalam kasus ini
semua bisa baca tulis. Nah, itu yang masalah.

Dulu (lagi-lagi dulu) waktu saya jadi admin unix,
ada file server yang CPUnya "kecil" tapi untuk setiap
controller ke disk ada CPUnya lagi (SPARC, padahal
waktu itu sang SPARC sedang ngetop di workstation).
Ternyata ya itu, masalah file system.
Harga file servernya sekitar $xxx rebu.
Dalam kinerja file system inilah makanya file server
mahal. Gak bisa workstation ditumpuk :) he he he
(seperti yang saya lakukan ha ha ha)

jadi bagi saya belum kebayang seberapa susahnya
menangani filesystem dengan email yang banyak itu.


> > maap, kuper. apa sih itu "pakpy"? :)
> 
> seorang pakar email (pakar dalam arti yang sebenarnya, 
> bukan pakar yang "itu")

eit. jangan gitu dong ... ;-) 
klian ini sentimen amat sih sama bapak yang satu itu.


-- budi

[teknologia] Re: Satu juta email account

[Dicky Wahyu Purnomo]

On Sep 9, 2005, at 3:51 PM, Samuel Franklyn wrote:


Yakin. Kan thread schedulernya dan virtual memory management nya
diperbarui. Lagipula saya kan pernah pakai Centos 4.1 dan
RedHat 9 di hardware yang sama. Terasa jauh lebih responsif
Centos 4.1. Tentu saja performance itu tergantung aplikasi juga.
Bisa saja ada aplikasi yang lebih kencang di 2.4.



Sorry, bukan maksud memperkeruh suasana :D
Tp kata "terasa" kayaknya gak layak untuk jadi senjata/jawaban dlm  
diskusi, kl emang mo mempertahankan pendapat dalam diskusi teknis  
ginian, perlu data teknis ... di mana cara memperoleh data tersebut  
musti dapat dipercaya :)


misal:
- "time grep -r '^2005' / | sort | uniq -c | sort -n" di kernel 2.4  
en 2.6 ... trus dibandingkan hasilnya.


--
Dicky Wahyu Purnomo
http://massaint.or.id

[teknologia] Re: Satu juta email account

[Beast]

Budi Rahardjo wrote:

- versi unix yang lama ada pembatasan jumlah account dalam
  satu server karena keunikan (unique, maksudnya) ditentukan
  dengan nomor yang disebut UID.
  Nah UID ini ada yang dibatasi hanya 64k!
  Jadi kalau mau membuat 1 juta user, nggak bisa dengan cara
  plain qmail/postfix saja


Sepertinya saat ini tinggal Linux yg masih memakai 16bit UID, unix yg 
lain sudah 32bit atau lebih, cmiiw.

Ada yg tahu alasannya?


--

--beast

[teknologia] An Analysis of Database-Driven Mail Servers

[Budi Rahardjo]

An Analysis of Database-Driven Mail Servers
http://www.usenix.org/events/lisa03/tech/full_papers/elprin/elprin_html/

mudah2an manfaat

-- budi

[teknologia] Re: Satu juta email account

[Samuel Franklyn]

Dicky Wahyu Purnomo wrote:



On Sep 9, 2005, at 3:51 PM, Samuel Franklyn wrote:



Yakin. Kan thread schedulernya dan virtual memory management nya
diperbarui. Lagipula saya kan pernah pakai Centos 4.1 dan
RedHat 9 di hardware yang sama. Terasa jauh lebih responsif
Centos 4.1. Tentu saja performance itu tergantung aplikasi juga.
Bisa saja ada aplikasi yang lebih kencang di 2.4.



Sorry, bukan maksud memperkeruh suasana :D
Tp kata "terasa" kayaknya gak layak untuk jadi senjata/jawaban dlm  
diskusi, kl emang mo mempertahankan pendapat dalam diskusi teknis  
ginian, perlu data teknis ... di mana cara memperoleh data tersebut  
musti dapat dipercaya :)


misal:
- "time grep -r '^2005' / | sort | uniq -c | sort -n" di kernel 2.4  en 
2.6 ... trus dibandingkan hasilnya.




Harap diingat pertanyaan nya adalah "yakin"?
Jadi Aris tidak bertanya teknis. Atau saya salah
menafsirkan pertanyaan Aris? Apa yang Aris minta
data teknis atau ungkapan tingkat keyakinan saya?

[teknologia] Re: Satu juta email account

[adi]

On Fri, Sep 09, 2005 at 11:13:46AM +0700, risiyanto budi wrote:
> cfsmp3 asks: /"I have been asked to define the infrastructure for the 
> email system for a huge company, which fed up of Exchange, wants to 
> replace their entire system with something non-Microsoft. I have done 
> this before, but not for anything of this scale. Suppose you are given a 
> chance to build from scratch an email system that has to support around 
> one million accounts. Some corporate, some personal, some free. POP, 
> IMAP, webmail, etc are requirements. The system must scale perfectly, 
> 99.9% uptime is expected... where would you start?"

kebutuhannya ndak jelas. 'some' itu bisa macem-macem :-)
sediakan 1 mesin dengan softare hosting. kalau mulai overloaded
tambah mesin.

ada 2 hal yang sangat berbeda pendekatannya:
- 1 mesin dipakai untuk menghandle banyak domain
- 1 domain dihandle oleh bbrp mesin

dan permintaannya build from scratch kok, jadi gampang.

> biar 99,9% uptime ini yang susah. :-P

tapi bisa dilakukan kok. tinggal didefinisikan saja
maksudnya 99,9% uptime itu apa. kan banyak yang terlibat
selain mesin itu sendiri juga network.

Salam,

P.Y. Adi Prasaja

[teknologia] Re: Satu juta email account

[adi]

On Fri, Sep 09, 2005 at 01:46:39PM +0700, risiyanto budi wrote:
> User email gak perlu diberi real account, bisa jadi "security risk" :-P

menggunakan shared uid justru kurang secure ...
coba ikuti diskusi mengenai uw-imap yang dianggap tidak secure
karena bisa mengakses 'file' di luar 'mail dir'.

Salam,

P.Y. Adi Prasaja

[teknologia] Re: Satu juta email account

[adi]

On Fri, Sep 09, 2005 at 09:49:11AM +0300, Mohammad DAMT wrote:
> seperti (tebakan saya) di yahoo, jikalau Anda punya lebih dari satu
> akun, lantas masuk lewat webmail, nama servernya beda. analoginya untuk
> kotak surat sama seperti itu.

yahoo pakai netapp (NFS) setting seperti ini relatif lebih mudah ...
modalnya yang gak mudah he..he..

Salam,

P.Y. Adi Prasaja

[teknologia] Re: Satu juta email account

[adi]

On Fri, Sep 09, 2005 at 02:36:59PM +0700, Samuel Franklyn wrote:
> Salah satu solusi yang mungkin bisa di pertimbangkan adalah
> pemakaian Apache James.
> 
> http://james.apache.org/
> 
> James ini bisa menyimpan user dan mailbox dalam database.
> Dan kalau cuma sekedar menyimpan jutaan record
> pakai database open source macam MySQL dan PostgreSQL
> juga bisa apalagi kalau pakai database komersial
> macam Oracle.

iya. terus pakai mainframe untuk menghandle email he..he..
untuk email? java ke laut aja (j/k).

Salam,

P.Y. Adi Prasaja

[teknologia] Re: Satu juta email account

[adi]

On Fri, Sep 09, 2005 at 03:57:50PM +0700, risiyanto budi wrote:
> wah anda beruntung.
> saya tadinya pake linux 2.4 gentoo
> terus ganti pake linux 2.6 ubuntu

nampaknya perlu pakai SMP untuk merasakan pengaruhnya.
terutama untuk aplikasi threaded, nptl di 2.6 lebih bagus.
ntpl memang disiapkan untuk aplikasi gajah abuh yang
dibangun pakai java.

Salam,

P.Y. Adi Prasaja

[teknologia] Re: Satu juta email account

[adi]

On Fri, Sep 09, 2005 at 12:55:25PM +0700, Budi Rahardjo wrote:
> Ada hal-hal yang mesti diperhatikan. Misalnya:
> 
> - email di sistem unix biasanya diasosiasikan dengan sebuah
>   account (shell account). ini untuk menyimpan email dalam
>   mailbox (mail spool) dengan nama account tersebut.
> 
> - versi unix yang lama ada pembatasan jumlah account dalam
>   satu server karena keunikan (unique, maksudnya) ditentukan
>   dengan nomor yang disebut UID.
>   Nah UID ini ada yang dibatasi hanya 64k!
>   Jadi kalau mau membuat 1 juta user, nggak bisa dengan cara
>   plain qmail/postfix saja

rata-rata *nix sekarang sudah support 32bit uid.
pakai debian woody, bisa create uid >200jt

> Kalau mau nekad nyoba, coba buat account yang banyak
> di mesin unix anda. cek paling banyak berapa account.
> apakah bisa nembus 64k? lantas bisakah menembus 1 juta?
> coba aja buat satu direktori (misal /var/spool/mail)
> dengan isinya berkas sebanyak 1 juta ... he he he.
> pasti gak bisa. file systemnya nggak sanggup deh.

directory hashing comes to rescue :-)

> Jadi menurut saya tidak bisa menggunakan stock unix biasa.
> Harus ada kerja "sedikit" :)

masalahnya bukan pakai unix native mailer atau tidak, tapi
itu mailboxes mau ditaruh di satu mesin atau tidak :-)
kalau sekedar meletakkan jutaan mailbox di satu mesin,
no problemo.

> Nampaknya hampir pasti menggunakan database di backend nya.

untuk melakukan penyebaran load, orang bisa melakukan dengan
cara subyektif (pakai map), namanya juga subyektif, jadi sulit
untuk mengharapkan hasil penyebaran load yang merata.

atau, karena email di alam semesta ini *harus* unik, maka bisa
menggunakan polinomial dari string sebagai 'hash'. pembagian
ini sifatnya obyektif, jadi dapat diharapkan penyebaran yang
lebih merata.

Salam,

P.Y. Adi Prasaja

[teknologia] Re: Satu juta email account

[adi]

On Fri, Sep 09, 2005 at 01:46:39PM +0700, risiyanto budi wrote:
> ternyata memang gak bisa:
> saya coba pake:
> for i in `seq -w 1 100`; do mkdir $i; done
> 
> mkdir: cannot create directory `33147': Too many links
> mkdir: cannot create directory `33148': Too many links
> mkdir: cannot create directory `33149': Too many links
> 
> itu di redhat7.2 file system ext3.

ext2/3 memang hanya mengijinkan max 2^15 *directories*
dalam 1 directory. kalau file bisa lebih.

misalnya melakukan 2 level directory hashing 100 * 53,
satu 'folder' diisi 32K mailbox, total bisa bikin
173670400 mailbox :-)

Salam,

P.Y. Adi Prasaja

[teknologia] Re: Satu juta email account

[adi]

On Fri, Sep 09, 2005 at 04:06:46PM +0700, Budi Rahardjo wrote:
> Pengalaman angka 2500 adalah dalam menangani client email.
> Banyak program/paket yang tiba-tiba drop performance
> begitu menginjak ke angka 2500.

barangkali terbentur pada kemampuan sistem meresolve inode,
jika harus menghandle banyak file di satu directory.

Salam,

P.Y. Adi Prasaja

[teknologia] Re: Satu juta email account

[adi]

On Fri, Sep 09, 2005 at 01:35:39PM +0700, Budi Rahardjo wrote:
> kotak suara itu jadinya diakses dari banyak mesin dong.
> dishare pakai NFS? apa gak lambat lagi?
> (kebayang lockingnya)

bisa pakai nfs bisa juga pakai dispatcher di application
layer (perdition misalnya, atau yang lebih corporate bisa
pakai murder kalau pakai cyrus).

kalau pakai nfs, usahakan 1 email 1 UID, jadi bisa pakai
quota system (performance lebih baik dibanding pakai
quota software).

Salam,

P.Y. Adi Prasaja

[teknologia] Re: Satu juta email account

[Samuel Franklyn]

adi wrote:

On Fri, Sep 09, 2005 at 02:36:59PM +0700, Samuel Franklyn wrote:


Salah satu solusi yang mungkin bisa di pertimbangkan adalah
pemakaian Apache James.

http://james.apache.org/

James ini bisa menyimpan user dan mailbox dalam database.
Dan kalau cuma sekedar menyimpan jutaan record
pakai database open source macam MySQL dan PostgreSQL
juga bisa apalagi kalau pakai database komersial
macam Oracle.



iya. terus pakai mainframe untuk menghandle email he..he..
untuk email? java ke laut aja (j/k).

Salam,

P.Y. Adi Prasaja



Kalau cuma 1 juta mail account dijamin tidak perlu
mainframe kalau pakai Java. Distro Linux terbaru
macam Fedora Core 4 atau Centos 4.1 plus sebuah
Sun Fire v40z yang Quad Opteron mungkin
sudah cukup kuat. Kalau tidak kuat tinggal pasang
sebuah lagi pasti kuat deh.

Soalnya mail processing kan batch.
Kalau 1 juta user concurrent user untuk
aplikasi transaksional mungkin baru butuh mainframe.

Pemakaian Java untuk email mungkin terlihat
berlebihan. Akan tetapi kalau anda perlu
mambangun aplikasi workflow yang berbasis e-mail
maka pilihan yang baik menurut saya saat ini adalah:
1. Exchange Server.
2. Lotus Notes Domino.
3. Apache James.

Dari tiga solusi diatas maka penggunaan Apache James
paling rendah biaya lisensinya. Tentu saja ini
berdasarkan persepsi saya sebagai seorang software
developer. Tapi kalau yang dibutuhkan hanyalah
kemampuan mail server tanpa ada tambahan apapun
maka bisa jadi pemakaian Apache James berlebihan.

Nah normalnya kan user minta tambahan kemampuan.
Kalau sudah punya mail server umumnya ingin punya
aplikasi workflow. Kalau sudah pakai Apache James
kan tinggal bikin mailet James. He he he.

[teknologia] Re: Satu juta email account

[Mohammad DAMT]

On Jum, 2005-09-09 at 16:06 +0700, Budi Rahardjo wrote:
> Untuk angka 64k, adalah angka ajaib (magic number) yang
> digunakan di beberapa kode (OS/aplikasi) sehingga menjadi
> batasan. Bahkan lihat test create file yang dilakukan
> oleh Aris yang hanya mencapai 32k saja.

ya 64k itu batasan dari konstanta MAXINT (32bit)
kalau tes Aris sudah dijawap oleh pak py \ö/

> Jadi, bagi saya angka 1 juta itu merupakan masalah dalam
> kompleksitas. Bukan masalah kecil.

> > (ya kalau ga kuat sampai sejuta ya di
> > utak atik sedikit supaya dapat mendukung sistem kotak surat
> > terdistribusi seperti yang saya lontarkan dalam ide 
> > saya sebelumnya *-)
> 
>  mdamt ini masih nggak percaya.
> 1 juta itu bukan masalah yang gampang loh.

loh siapa yg bilang gampang.
walau ide yang saya lontarkan memang sederhana (sederhana != mudah)

> > perkongsian berkas kan tidak melulu harus menggunakan 
> > NFS. Bisa saja pakai SSH kalau mau (itu kalau mau)
> 
> Yang kepikir oleh saya adalah masalah locking-nya itu.
> Kalau yang nulis hanya satu dan lainnya hanya baca,
> mungkin tidak terlalu masalah, tapi dalam kasus ini
> semua bisa baca tulis. Nah, itu yang masalah.

makanya terdistribusi, dan juga kalau mau disimpan dalam berkas gunakan
maildir (hati2 kehabisan inode) dan jangan pakai mbox, misalnya.

> eit. jangan gitu dong ... ;-) 
> klian ini sentimen amat sih sama bapak yang satu itu.

bukan sentimen, hanya berusaha membedakan yang mana pakar dan mana
"pakar"

> -- budi

[teknologia] Re: Satu juta email account

[Budi Rahardjo]

On 9/9/05, Samuel Franklyn <[EMAIL PROTECTED]> wrote:

> Kalau cuma 1 juta mail account dijamin tidak perlu
> mainframe kalau pakai Java. Distro Linux terbaru
> macam Fedora Core 4 atau Centos 4.1 plus sebuah
> Sun Fire v40z yang Quad Opteron mungkin
> sudah cukup kuat. Kalau tidak kuat tinggal pasang
> sebuah lagi pasti kuat deh.

Wah ... gak yakin saya.
Wong dulu ... (lagi-lagi dulu) dengan hanya belasan
ribu account saja file server yang terseok-seok
untuk urusan email saja lho.

Mail server kami hanya untuk 10 orang saja terseok-
seok. Eh, tapi ini servernya hanya pentium biasa sih.
(Lagian orang-orangnya juga email maniak sih.
Email saya di gmail baru mencapai 800 MB :) 
Bentar lagi lewat 1GB.)
Tapi ... still, 10 orang saja sudah bisa bikin kewalahan.
Apalagi 1 juta!

Kalau 1 juta orang x 1 GBytes = ???
Wow!

Lebih-lebih lagi pakai Java ... aduh.
Jitakan deh, gak bakalan kuat dengan konfigurasi
seperti itu.

> Soalnya mail processing kan batch.
> Kalau 1 juta user concurrent user untuk
> aplikasi transaksional mungkin baru butuh mainframe.

Wah, email jangan dianggap rendah bebannya lho.
terlebih lagi dengan masalah virus dan spam.
saya lupa URLnya, tapi ada sebuah universitas dengan
30 ribu account yang akhirnya terpaksa tidak sanggup
pasang anti virus dan spam di mail server (severnya
juga bukan hanya 1 buah lho).
performance jatuh banget. mail sampainya bisa beberapa
jam kemudian. tidak dapat diterima oleh user.
(not acceptable.)


> Pemakaian Java untuk email mungkin terlihat
> berlebihan. Akan tetapi kalau anda perlu
> mambangun aplikasi workflow yang berbasis e-mail
> maka pilihan yang baik menurut saya saat ini adalah:
> 1. Exchange Server.
> 2. Lotus Notes Domino.
> 3. Apache James.

Kalau hanya untuk terima email, mengapa perlu pakai
java? Toh setelah email diterima bisa diproses dengan
yang lain (termasuk java). Tapi untuk kirim/terima
saya masih belum melihat keharusan penggunaan java.

aplikasi workflow juga biasanya kan hanya internal.
nggak kebayang saya kalau 1 juta orang mau nge-
workflow :)


-- budi

[teknologia] Re: Satu juta email account

[Mohammad DAMT]

On Jum, 2005-09-09 at 20:28 +0700, Budi Rahardjo wrote:
> Wah, email jangan dianggap rendah bebannya lho.
> terlebih lagi dengan masalah virus dan spam.
> saya lupa URLnya, tapi ada sebuah universitas dengan
> 30 ribu account yang akhirnya terpaksa tidak sanggup
> pasang anti virus dan spam di mail server (severnya
> juga bukan hanya 1 buah lho).
> performance jatuh banget. mail sampainya bisa beberapa
> jam kemudian. tidak dapat diterima oleh user.
> (not acceptable.)

jangankan 30ribu (atau 1 juta), cukup 10 akun dengan lalulintas email
yang padat (termasuk virus dan spam) sudah dapat bikin sebuah mesin
kejang2. makanya trennya sekarang pakai model bagi2 tugas. mesin satu
sampai 100 tugasnya menyaring virus, setelah itu dilempar ke mesin 101
sampai 200 yang tugasnya menyaring spam, setelah itu baru masuk kotak
surat. memang benar yang terbersit dari email pak py, ujung2nya harus
bertanya "modalnya berapa?"

(kalau pakai bayesian yang tiap akun dapat menyetel bayesiannya sendiri2
perlu pakai penyaring lagi sebelum masuk kotak surat)

> -- budi

[teknologia] Re: Satu juta email account

[Samuel Franklyn]

Budi Rahardjo wrote:

On 9/9/05, Samuel Franklyn <[EMAIL PROTECTED]> wrote:



Kalau cuma 1 juta mail account dijamin tidak perlu
mainframe kalau pakai Java. Distro Linux terbaru
macam Fedora Core 4 atau Centos 4.1 plus sebuah
Sun Fire v40z yang Quad Opteron mungkin
sudah cukup kuat. Kalau tidak kuat tinggal pasang
sebuah lagi pasti kuat deh.



Wah ... gak yakin saya.
Wong dulu ... (lagi-lagi dulu) dengan hanya belasan
ribu account saja file server yang terseok-seok
untuk urusan email saja lho.

Mail server kami hanya untuk 10 orang saja terseok-
seok. Eh, tapi ini servernya hanya pentium biasa sih.
(Lagian orang-orangnya juga email maniak sih.
Email saya di gmail baru mencapai 800 MB :) 
Bentar lagi lewat 1GB.)

Tapi ... still, 10 orang saja sudah bisa bikin kewalahan.
Apalagi 1 juta!

Kalau 1 juta orang x 1 GBytes = ???
Wow!


Well dalam pertanyaan awal yang diposting
tidak ada keharusan tiap orang harus punya
storage 1 GB. Yang diperlukan cuma
bisa menangani 1 juta account secara reliable.

Akan tetapi masalah storage kalau untuk
1 juta account X 1 GB kan memang tidak pakai
Java tapi pakai storage appliance
macam NetApp seperti yang dikatakan Pak P.Y.

Kalau hanya pakai Sun Fire v40z sih besar kemungkinan
1 account cuma kebagian beberapa belas MB.



Lebih-lebih lagi pakai Java ... aduh.
Jitakan deh, gak bakalan kuat dengan konfigurasi
seperti itu.



Heran juga saya. Kok masih ada yang ragu akan
skalabilitas Java? Java kalau untuk aplikasi network
pasti ok. Apalagi pembuat Java yaitu Sun punya motto
"The Network is The Computer".

Yah kalau ada yang bersedia menyediakan hardwarenya
untuk saya coba dan atasan membolehkan saya meluangkan
waktu maka saya berani taruhan jitakan sama Pak Budi.
Saya pasang Fedora Core 4.1, James dan MySQL di
Sun Fire v40z Quad Opteron dengan 64GB memori
terus bikin load test nya untuk 1 juta account
di Sun Fire v40z. Kelihatannya ini
suatu proyek singkat yang cukup menarik.




Soalnya mail processing kan batch.
Kalau 1 juta user concurrent user untuk
aplikasi transaksional mungkin baru butuh mainframe.



Wah, email jangan dianggap rendah bebannya lho.
terlebih lagi dengan masalah virus dan spam.
saya lupa URLnya, tapi ada sebuah universitas dengan
30 ribu account yang akhirnya terpaksa tidak sanggup
pasang anti virus dan spam di mail server (severnya
juga bukan hanya 1 buah lho).
performance jatuh banget. mail sampainya bisa beberapa
jam kemudian. tidak dapat diterima oleh user.
(not acceptable.)


Apache James tidak menyediakan kemampuan
spam filter dan anti-virus. Ini domain
dari aplikasi yang dibuat pakai C++ dan C.

Java kuat di network processing dan kemudahan
pembuatan aplikasi bisnis (Jauh lebih gampang
dari C/C++ tapi jelas lebih reliable
dibandingkan Visual Basic).
Tetapi aplikasi yang sangat CPU intensive macam
anti-virus dan spam-filter bukan domain Java.
Makanya saya kasih contoh
pemakaian Apache James itu tepat kalau
mau buat workflow.




Pemakaian Java untuk email mungkin terlihat
berlebihan. Akan tetapi kalau anda perlu
mambangun aplikasi workflow yang berbasis e-mail
maka pilihan yang baik menurut saya saat ini adalah:
1. Exchange Server.
2. Lotus Notes Domino.
3. Apache James.



Kalau hanya untuk terima email, mengapa perlu pakai
java? Toh setelah email diterima bisa diproses dengan
yang lain (termasuk java). Tapi untuk kirim/terima
saya masih belum melihat keharusan penggunaan java.

aplikasi workflow juga biasanya kan hanya internal.
nggak kebayang saya kalau 1 juta orang mau nge-
workflow :)


Kalau 1 juta orang ini adalah pelanggan dan
perlu disambung ke CRM maka ada kebutuhan akan
aplikasi workflow.

Contoh yang jelas adalah perusahaan telekomunikasi
mereka pasti pakai CRM dan CRM mereka ini umum nya
dibuat pakai Java.

Apache James ini bisa di embed dalam Application
Server Java yang mengikuti spec J2EE. Umumnya
perusahaan telekomunikasi sudah punya App Server
seperti ini. Keuntungan Apache James kalau dijalankan
dalam App Server adalah resource dan availability
James bisa dimonitor oleh instrumentasi App Server.

Tentu saja ini bukan keharusan makanya
saya bilang Apache James adalah salah satu solusi
yang bisa dipertimbangkan. Untuk environment
komputasi perusahaan telekomunikasi yang
sudah Java oriented dan ada kebutuhan akan
workflow maka James adalah salah satu pilhan
yang valid walaupun bukan satu-satunya pilihan.

[teknologia] Re: Satu juta email account

[Patriawan, Carlos]

On 9/9/05, Samuel Franklyn <[EMAIL PROTECTED]> wrote:
> 
> Budi Rahardjo wrote:
> > On 9/9/05, Samuel Franklyn <[EMAIL PROTECTED]> wrote:
> >
> >
> >>Kalau cuma 1 juta mail account dijamin tidak perlu
> >>mainframe kalau pakai Java. Distro Linux terbaru
> >>macam Fedora Core 4 atau Centos 4.1 plus sebuah
> >>Sun Fire v40z yang Quad Opteron mungkin
> >>sudah cukup kuat. Kalau tidak kuat tinggal pasang
> >>sebuah lagi pasti kuat deh.
> >
> >
> > Wah ... gak yakin saya.
> > Wong dulu ... (lagi-lagi dulu) dengan hanya belasan
> > ribu account saja file server yang terseok-seok
> > untuk urusan email saja lho.
> >
> > Mail server kami hanya untuk 10 orang saja terseok-
> > seok. Eh, tapi ini servernya hanya pentium biasa sih.
> > (Lagian orang-orangnya juga email maniak sih.
> > Email saya di gmail baru mencapai 800 MB :)
> > Bentar lagi lewat 1GB.)
> > Tapi ... still, 10 orang saja sudah bisa bikin kewalahan.
> > Apalagi 1 juta!
> >
> > Kalau 1 juta orang x 1 GBytes = ???
> > Wow!
> 
> Well dalam pertanyaan awal yang diposting
> tidak ada keharusan tiap orang harus punya
> storage 1 GB. Yang diperlukan cuma
> bisa menangani 1 juta account secara reliable.
> 
> Akan tetapi masalah storage kalau untuk
> 1 juta account X 1 GB kan memang tidak pakai
> Java tapi pakai storage appliance
> macam NetApp seperti yang dikatakan Pak P.Y.

good answer :)
gw nungguin ada yg jawab storage sebagai solusi.

Masalah utama untuk 1 juta email sebenarnya bukan di administrasi user
creationya,
tapi distribusi load (bandwidth,server resource) dan latency
read/write di harddisk.Imagine skenario servernya jika tiap server
harus handle 1mb attachment tiap 2 menit misalnya.


> 
> Kalau hanya pakai Sun Fire v40z sih besar kemungkinan
> 1 account cuma kebagian beberapa belas MB.
> 
> >
> > Lebih-lebih lagi pakai Java ... aduh.
> > Jitakan deh, gak bakalan kuat dengan konfigurasi
> > seperti itu.
> >
> 
> Heran juga saya. Kok masih ada yang ragu akan
> skalabilitas Java? Java kalau untuk aplikasi network
> pasti ok. Apalagi pembuat Java yaitu Sun punya motto
> "The Network is The Computer".


Sorrytapikualitas software != motto vendor.

> 
> Yah kalau ada yang bersedia menyediakan hardwarenya
> untuk saya coba dan atasan membolehkan saya meluangkan
> waktu maka saya berani taruhan jitakan sama Pak Budi.
> Saya pasang Fedora Core 4.1, James dan MySQL di
> Sun Fire v40z Quad Opteron dengan 64GB memori
> terus bikin load test nya untuk 1 juta account
> di Sun Fire v40z. Kelihatannya ini
> suatu proyek singkat yang cukup menarik.
> 
> >
> >>Soalnya mail processing kan batch.
> >>Kalau 1 juta user concurrent user untuk
> >>aplikasi transaksional mungkin baru butuh mainframe.
> >
> >
> > Wah, email jangan dianggap rendah bebannya lho.
> > terlebih lagi dengan masalah virus dan spam.
> > saya lupa URLnya, tapi ada sebuah universitas dengan
> > 30 ribu account yang akhirnya terpaksa tidak sanggup
> > pasang anti virus dan spam di mail server (severnya
> > juga bukan hanya 1 buah lho).
> > performance jatuh banget. mail sampainya bisa beberapa
> > jam kemudian. tidak dapat diterima oleh user.
> > (not acceptable.)
> 
> Apache James tidak menyediakan kemampuan
> spam filter dan anti-virus. Ini domain
> dari aplikasi yang dibuat pakai C++ dan C.
> 
> Java kuat di network processing dan kemudahan
> pembuatan aplikasi bisnis (Jauh lebih gampang
> dari C/C++ tapi jelas lebih reliable
> dibandingkan Visual Basic).
> Tetapi aplikasi yang sangat CPU intensive macam
> anti-virus dan spam-filter bukan domain Java.
> Makanya saya kasih contoh
> pemakaian Apache James itu tepat kalau
> mau buat workflow.

Untuk kebutuhan state-of-the-art realtime security protection seperti
virus,spyware etc macam2 memang harus menggunakan IDP Hardware device
yg ASIC/FPGA based.



Carlos

[teknologia] Re: Satu juta email account

[Ikhlasul Amal]

On 9/9/05, Samuel Franklyn <[EMAIL PROTECTED]> wrote:
> 
> Well dalam pertanyaan awal yang diposting
> tidak ada keharusan tiap orang harus punya
> storage 1 GB. Yang diperlukan cuma
> bisa menangani 1 juta account secara reliable.

1 GB tersebut memang tambahan dari sebuah contoh yang disebut Pak Budi.

> > Lebih-lebih lagi pakai Java ... aduh.
> > Jitakan deh, gak bakalan kuat dengan konfigurasi
> > seperti itu.
> >
> 
> Heran juga saya. Kok masih ada yang ragu akan
> skalabilitas Java? Java kalau untuk aplikasi network
> pasti ok. Apalagi pembuat Java yaitu Sun punya motto
> "The Network is The Computer".
> 

Maaf jika komentar saya juga baru prasangka (terutama untuk Dicky yang
sudah mengingatkan): saya pun masih termasuk yang sangsi bahwa Java
adalah solusi yang tepat untuk kasus ini. Katakanlah ukuran
penyimpanan yang disediakan untuk kotak surat cukup 5 MB saja deh
(ukuran kapasitas Webmail pada umumnya sebelum kedatangan Gmail). Jika
jumlah sejuta akun tersebut intensif mengirim dan menerima email,
bahkan pada saat kuota penyimpanan sudah penuh, beban masih berat
juga... *rasanya*.


Bukan bermaksud mengarah ke perang suci bahasa pemrograman:
bagi saya yang terbiasa dengan Perl atau Python untuk pekerjaan
ringan, memanggil Java seperti menyambut kedatangan tamu besar yang
perlu sumber daya besar.


-- 
amal

[teknologia] Re: Satu juta email account

[adi]

On Fri, Sep 09, 2005 at 08:28:44PM +0700, Budi Rahardjo wrote:
> Kalau 1 juta orang x 1 GBytes = ???
> Wow!

mailbox di-gzip-ungzip on-the-fly :-) saya curiga gmail pakai
cara ini. saya pernah otak-atik qmail plus patch untuk compress
mailbox on-the-fly, tidak perlu database, semua info pakai
file, karena semuanya sudah 'pre-defined', tinggal mkdir mailbox
otomatis exist :-) password ada di dlm maildir. scan antivirus (clamav)
dan spam (bogofilter) dilakukan langsung di queue, untuk hashing
pakai hash33 DJB, 2 level hashing 100*53. makanya saya bilang
kalau cuman bikin 1 juta mailbox di 1 mesin powermac G4 pakai
debian woody no problemo.

berhubung pakai ext3, performance turun sejalan dengan
bertambahnya jumlah mailbox, itu karena saya pakai stat()
call untuk menentukan mailbox exist/tidak, jadi waktu
dihabiskan kernel untuk meresolve inode. solusi mur-mer,
tapi bisanya cuman pop3 doang :-) kalau mau dicluster tinggal
pakai bbrp node mosix + gfs ... jadi deh plug and pray he..he..

Salam,

P.Y. Adi Prasaja

[teknologia] Re: Satu juta email account

[adi]

On Fri, Sep 09, 2005 at 09:09:57PM +0700, Samuel Franklyn wrote:
> Yah kalau ada yang bersedia menyediakan hardwarenya
> untuk saya coba dan atasan membolehkan saya meluangkan
> waktu maka saya berani taruhan jitakan sama Pak Budi.

wah .. bisa kejitak beneran :-))

benernya gini, dari sejak awal thread ini, saya merasa
jawaban baru bisa diberikan kalau rincian requirement
sudah diberikan. cara ngelihatnya gampang: cuman orang
marketing yang pakai jumlah mailbox sebagai ukuran.
ehem .. kebetulan nyaris jualan yang beginian, tapi
susah sekali meyakinkan (manajemen) real problem letaknya
di mana, kenapa bisa ada cost X dst..dst..

pada situasi yang sebenarnya, kebutuhan akan resources
ditentukan oleh derajat concurrency, open close network
socket, open close file, create delete file. ini kuat-kuatnya
system menangani tabel inode dan filedescriptor, jadi pemilihan
kernel dan filesystem menentukan. plus tambahan seperti yang
disebut Pak Budi soal content filtering, yang ini rata-rata
butuh power komputasi dan memory yang besar. belum lagi masalah
kecepatan disk, kecepatan transfer network (latency) kalau
harus spread load ke bbrp mesin.

dalam bbrp hal, optimasi bisa diraih dari sisi software,
misalnya pakai strategi single process multiple client
(untuk menghemat tabel proses kernel). kendalanya, dengan
cara ini normalnya akses ke disk menjadi blocking (performance
tewas), tapi bisa diakali dengan AIO. Sayangnya belum ada
yang mengimplementasikan AIO untuk email. Barangkali
karena untuk develop yang beginian nggak cucuk (worthed),
atau menggunakan single file untuk queue (saya pernah nanya
teknik ini, udah dijawab kasar, tapi ilmunya belum sampai :-)

di atas itu masih seputar MTA, belum untuk mail-retreival,
yang kurang lebih masalahnya sama, hanya saja untuk mail-retreival
mau tak mau harus mengakses lebih dari 1 file secara bersamaan,
mungkin bisa pakai AIO, tetapi mending bikin database saja
deh :)

dari sisi hardware, ya itu tadi: cari yang bandwidth transfer
rate-nya gedhe, latency-nya kecil (raid), battery backed
caching, dll. atau bikin 'single entity' file server
entah sebagai SAN atau NAS.

nah, kalau mau adu jitakan, tinggal set pakai existing
hardware, dibenchmark, baru dinterpolasikan. tetapi
kalau tidak ada restriksi (seperti pernyataan: asal ada
hardware) yo wis. ndak usah dibenchmark pakai mainframe
saja he..he.. jadi gini, kalau anda butuh spec mesin
2x lipat lebih besar dari pada kalau pakai general purpose
MTA yang sudah ada, anda harus rela dijitak. gimana? :-)

Salam,

P.Y. Adi Prasaja

[teknologia] Re: about hiring

[Jay adalah Yulian]

Pada tanggal 9/9/05, Rudi Har <[EMAIL PROTECTED]> menulis:
> 
> Nah, kalau saya lain lg. Kadang kala buat saya mana yg benar dan mana
> yg salah dalam diskusi tidak penting, karena mereka bisa jadi
> sama-sama benar dalam satu saat dan sama-sama salah dalam saat lainnya
> ;-)

betul, agak sulit menemukan sebuah wadah/komunitas yang anggotanya
bisa sepakat terhadap satu hal yaitu "sepakat atas ketidaksepakatan"

jika hal di atas tidak tercapai umumnya yang terjadi hanyalah flame
war atau debat kusir

oh iya, quote email berawalan "> >" hapus saja, sisakan paragraf yang
bertanda "> " saja supaya pembaca yang lain mudah mengerti konteks
yang sedang ditambah/disanggah (karena kadang arah pembicaraan mampir
sebentar ke topik lain)

silakan dilanjutkan, saya menonton saja


-- 
http://yulian.firdaus.or.id/

[teknologia] Java (was: Re: [teknologia] Re: Satu juta email account)

[Budi Rahardjo]

On 9/9/05, Samuel Franklyn <[EMAIL PROTECTED]> wrote:

> > Lebih-lebih lagi pakai Java ... aduh.
> > Jitakan deh, gak bakalan kuat dengan konfigurasi
> > seperti itu.
> >
> 
> Heran juga saya. Kok masih ada yang ragu akan
> skalabilitas Java? Java kalau untuk aplikasi network
> pasti ok. Apalagi pembuat Java yaitu Sun punya motto
> "The Network is The Computer".

Jangan sekedar percaya motto saja :)
Saya dulu sempat kerja dengan Java karena agak terpaksa.
Saya dikasih satu Javastation untuk dioprek (ini ketika
awal sekali Sun mengeluarkan Java-nya, jadi hasil
bisa berbeda sekali).
Karena di Javastation itu nggak ada apa-apa, hanya JVM
dan Hot Java browser saja, saya terpaksa membuat aplikasi2
untuk baca email / telnet / ftp / dsb.
Lambatnya minta ampun.
Jadi belum tentu "pasti ok" :)


Repotnya, Java itu masih terus berkembang.
Akibatnya program2 yang saya buat dulu tidak bisa jalan
lagi. So much for "write once and run anywhere".
Sekarang pun ada seorang mahasiswa saya yang kelimpungan
karena tools yang dia pakai tidak cocok dengan JDK yang
ada, dsb.  Dan ... masih lambat juga.

Jadi kalau dikatakan ragu terhadap skalabilitas Java,
tanpa sungkan-sungkan saya katakan iya!

-- budi

[teknologia] Re: Java (was: Re: [teknologia] Re: Satu juta email account)

[Ikhlasul Amal]

On 9/10/05, Budi Rahardjo <[EMAIL PROTECTED]> wrote:
> 
> 
> Jadi kalau dikatakan ragu terhadap skalabilitas Java,
> tanpa sungkan-sungkan saya katakan iya!
> 

Dalam hal Java, rupanya pak Budi sampai membuang 'rasa sungkan' yang
merupakan salah satu bagian dari budaya Jawa. ;-)

-- 
amal

[teknologia] Re: Satu juta email account

[Budi Rahardjo]

On 9/9/05, adi <[EMAIL PROTECTED]> wrote:
...
> nah, kalau mau adu jitakan, tinggal set pakai existing
> hardware, dibenchmark, baru dinterpolasikan.
...

Saya punya masalah dengan "interpolasi" ini.
Masalah utamanya adalah kita tidak tahu kompleksitas dari
sistem email, apakah dia:
- linear terhadap penambahan user : O(n)
- kuadratis terhadap penambahan user: O(n^2)
- polinomial? ... dst.
Kompleksitas terhadap CPU, network, disk I/O harus dilihat.
Saya sangat khawatir terhadap disk I/O.
Ada yang tahu? Atau pernah baca dimana gitu?

Yang saya khawatirkan ... dia tidak linear. :(
Kalau kondisinya seperti itu, 1 juta user bukanlah
hal yang mudah.

Kenapa saya sangat mempermasalahkan soal kompleksitas?
Soalnya berkali-kali saya "kegigit" soal ini. Contoh.
Dulu saya pernah buat program untuk melakukan manipulasi
terhadap placement & routing dari komponen (VLSI).
Program saya itu jalan untuk ratusan komponen, akan
tetapi macet begitu komponennya ribuan. (Apalagi jutaan ya?)
Ternyata karena program/algoritma yang saya buat tidak
linear.

Demikian pula saya pernah buat program untuk menghasilkan
test pattern (untuk testing rangkaian). Program saya itu
hanya bisa jalan untuk belasan komponen. Begitu dikasih
ratusan komponen ... tidak bisa (alias lamanya minta ampun).

Tren ini juga terlihat ketika saya menguji tugas akhir
dari mahasiswa. ;-)

Dari 1000 ke 1 juta itu peningkatan ordenya cukup besar.

Point saya: 
kompleksitas menentukan mana "mainan" dan mana "sungguhan"

-- budi

[teknologia] Berapa orang IT yang dibutuhkan?

[Budi Rahardjo]

Sudah ada beberapa kejadian saya ditanya dengan pertanyaan
mengenai berapa banyak seharusnya isi dept IT?
Wah ... terus terang saya lagi survey & surfing.

- berapa banyak IT support untuk sebuah perusahaan?
- apakah ada rule of thumb/best practice mengenai rasio
  jumlah user/IT support?
  Apakah cukup 1 orang untuk setiap 100 user?
  Kebanyakan? Kesedikitan?
- apakah ini bergantung kepada industrinya?
  (perbankan, telekomunikasi, manufakturing, retail,
  government, dll.)
- bagaimana struktur organisasinya?
  = support? help desk? incident?
  = planning?
  = development? qa?
  = ...

Lebih spesifik lagi saya mencari informasi untuk bidang
security.
- berapa orang yang dibutuhkan untuk menangani security
  dalam sebuah perusahaan?
- struktur organisasi?
- apakah dibutuhkan sertifikasi?

Membutuhkan bantuan ...


-- budi

[teknologia] Re: Satu juta email account

[Patriawan, Carlos]

On 9/9/05, Budi Rahardjo <[EMAIL PROTECTED]> wrote:
> 
> On 9/9/05, adi <[EMAIL PROTECTED]> wrote:
> ...
> > nah, kalau mau adu jitakan, tinggal set pakai existing
> > hardware, dibenchmark, baru dinterpolasikan.
> ...
> 
> Saya punya masalah dengan "interpolasi" ini.
> Masalah utamanya adalah kita tidak tahu kompleksitas dari
> sistem email, apakah dia:
> - linear terhadap penambahan user : O(n)
> - kuadratis terhadap penambahan user: O(n^2)
> - polinomial? ... dst.
> Kompleksitas terhadap CPU, network, disk I/O harus dilihat.
> Saya sangat khawatir terhadap disk I/O.
> Ada yang tahu? Atau pernah baca dimana gitu?

Kalau pengalaman dari testing sebenarnya proses untuk read/write disk
ini yg bisa jadi problem besar dalam sebuah produk,karena sangat
tergantung dengan manufacturing disk yg dipakai.
 
> Yang saya khawatirkan ... dia tidak linear. :(
> Kalau kondisinya seperti itu, 1 juta user bukanlah
> hal yang mudah.
> 
> Kenapa saya sangat mempermasalahkan soal kompleksitas?
> Soalnya berkali-kali saya "kegigit" soal ini. Contoh.
> Dulu saya pernah buat program untuk melakukan manipulasi
> terhadap placement & routing dari komponen (VLSI).
> Program saya itu jalan untuk ratusan komponen, akan
> tetapi macet begitu komponennya ribuan. (Apalagi jutaan ya?)
> Ternyata karena program/algoritma yang saya buat tidak
> linear.
> 
> Demikian pula saya pernah buat program untuk menghasilkan
> test pattern (untuk testing rangkaian). Program saya itu
> hanya bisa jalan untuk belasan komponen. Begitu dikasih
> ratusan komponen ... tidak bisa (alias lamanya minta ampun).
> 
> Tren ini juga terlihat ketika saya menguji tugas akhir
> dari mahasiswa. ;-)
> 
> Dari 1000 ke 1 juta itu peningkatan ordenya cukup besar.
> 
> Point saya:
> kompleksitas menentukan mana "mainan" dan mana "sungguhan"

Yep itu pointnya,makanya vendor dan startup berlomba inovasi di area
kompleksitas tsb.Data center network(seperti 1juta email seperti
diatas) memang lumayan hot.Ini gak mainan mudah.

Kalau di networking,permasalahnya sama misalnya bagaimana router harus
handle > 1 juta routes sementara traffic harus wire-rate dengan full
capacity(pada router yg punya > 100 interfaces) plus
access-list+QoS+MPLS,etc.Terus pada saat yang sama hotswapping main
card/line card.

Hasilnya ada 2:
-Produk yg win di pasar dan dijual seperti kacang goreng ke enterprise consumer.

-atau produk yg dimuseumkan setelah pershnya bangkrut karena either
produk teknisnya gagal,atau produk teknisnya okay tapi gak ada yang
beli(bad market)



carlos
> 
> -- budi
>

[teknologia] Re: Satu juta email account

[adi]

On Sat, Sep 10, 2005 at 06:25:21AM +0700, Budi Rahardjo wrote:
> Saya punya masalah dengan "interpolasi" ini.
> Masalah utamanya adalah kita tidak tahu kompleksitas dari
> sistem email, apakah dia:
> - linear terhadap penambahan user : O(n)
> - kuadratis terhadap penambahan user: O(n^2)
> - polinomial? ... dst.
> Kompleksitas terhadap CPU, network, disk I/O harus dilihat.
> Saya sangat khawatir terhadap disk I/O.
> Ada yang tahu? Atau pernah baca dimana gitu?

in theory, there's no difference between theory and practice,
in practice, there is :-)

untuk keperluan pedagogik, tidak mungkin menjawab
kegelisahan Pak Budi dalam 1x reply. tapi, sebenarnya
yang ada, hambatan itu sifatnya all-or-none. kalau
kita menyentuh limitasi memory, tidak ada jalan keluar,
kalau kita menyentuh limitasi kecepatan disk, tidak
ada jalan keluar, kalau kita menyentuh limitasi CPU,
tidak ada jalan keluar. kenapa? jawabnya gampang,
tidak mungkin kita rally keliling vendor untuk
menjawab pertanyaan Pak budi. barang yang sudah
dibeli tidak dapat dikembalikan :-))

dari sisi software? idem ... dalam situasi ekstrim,
kita akan terjebak dalam bagaimana suatu software
didesain.

coba deh googling cari bagaimana orang develope
mail farm. pertanyaan-2 Pak Budi di atas bbrp kali
dibahas dalam diskusi, tapi tak seorangpun secara
formal berminat mengukur. alasannya sederhana:
tidak mungkin. seandainya mungkin .. sama saja...
tidak ada gunanya.

oleh sebab itu ada istilah skalabilitas horisontal
dan skalabilitas vertikal. secara horisontal, kalau
1 tidak cukup, pakai 2 mesin, 3 mesin dst.. masalahnya
di sini, desain dari implementasi mail farm sangat
menentukan, minimal masalah apa yang bakalan kita
hadapi dari desain yang sudah dipilih bisa kita prediksi.
secara vertikal bagaimana? pakai mainframe :-) sistem
secara internal direplikasi, seperti paper dari malcolm
beattie yang booting 30ribu kernel di satu mesin S/390
(sayang saya lupa url-nya, itu pun kalau masih
belum broken, krn ybs sudah jadi konsultan IBM). ada
diskusi yang menarik antara malcom vs nigel (bapak
dari freenet uk, 10 juta account pakai 9 mesin,
mta pakai exim).

sekarang menjawab pertanyaan: bagaimana performance
sistem bereaksi terhadap penambahan user? linear?
kuadratik? keep it small and simple (pertanyaannya
bukan kerjaannya :-) di sistem yang saya buat seperti
yang saya tulis di mail yang lain, saya buat jutaan
trash mailboxes untuk diuji dengan postal+rabid yang
dijalankan dari mesin yang lain.

penambahan user per se tidak berpengaruh, jadi terasa
kalau derajat konkurensi meningkat (-p di postal/rabid),
diantaranya karena kemampuan kernel men-cache inode
terbatas kalau 'pattern' yang terjadi user mengakses
selalu tidak sama. tapi kalau user 'itu-itu saja',
no problemo. jadi, membahas jumlah account per se
biarlah orang marketing yang berantem.

tentu saja selalu ada limitasi yang tidak bisa kita
hindari kecuali menambah mesin satu lagi ..dst..dst..
pendekatan secara horisontal comes to rescue ...

jadi, interpolasi harus dalam keadaan ceteris paribus,
yang, in practice, tidak ada gunanya. tapi berguna
sekali kalau sekedar mau jitak-jitakan hi..hi..

Salam,

P.Y. Adi Prasaja

[teknologia] Re: Berapa orang IT yang dibutuhkan?

[adi]

On Sat, Sep 10, 2005 at 06:30:49AM +0700, Budi Rahardjo wrote:
> Sudah ada beberapa kejadian saya ditanya dengan pertanyaan
> mengenai berapa banyak seharusnya isi dept IT?
> Wah ... terus terang saya lagi survey & surfing.

dijadikan bahan riset saja Pak .. minimal, kalau kita
punya satu set asumsi, kita bisa melihat sampai seberapa
fit asumsi tsb. di lapangan.

Salam,

P.Y. Adi Prasaja

[teknologia] Re: Satu juta email account

[risiyanto budi]

Samuel Franklyn wrote:



misal:
- "time grep -r '^2005' / | sort | uniq -c | sort -n" di kernel 2.4  
en 2.6 ... trus dibandingkan hasilnya.




Harap diingat pertanyaan nya adalah "yakin"?
Jadi Aris tidak bertanya teknis. Atau saya salah
menafsirkan pertanyaan Aris? Apa yang Aris minta
data teknis atau ungkapan tingkat keyakinan saya?


Saya memang hanya menanyakan tingkat keyakinan :)
tapi ada baiknya anda anggap dicky juga bertanya mengenai masalah teknis.
jadi berapa tuh hasilnya pertanyaan dicky?

Memang susah membandingkannya,
tapi yang kepikir adalah, menggunakan knoppix,
live-cd ini  ada pilihan booting pake linux 2.4 atau linux 2.6

Jadi jauh lebih mudah daripada install ulang atau masang hardisk baru :-D.

Salam
Aris

[teknologia] Re: Berapa orang IT yang dibutuhkan?

[Arie Reynaldi Z]

> dijadikan bahan riset saja Pak .. minimal, kalau kita
> punya satu set asumsi, kita bisa melihat sampai seberapa
> fit asumsi tsb. di lapangan.

Sebenernya tergantung kebutuhan perusahaan juga. Kalau di pers. itu
pakainya cuma spredsheet, wordoc, terus jaringan standart, 50-60 PC,
ada 10 server hanya untuk file sharing, DNS, web, etc, saya rasa IT
nya gak perlu rame2. Cuma banyak outsourcing untuk devel dan maintain
security.

regards,

-- 
Arie Reynaldi Zanahar
reymanx at gmail.com
http://www.reynaldi.or.id

[teknologia] Re: Berapa orang IT yang dibutuhkan?

[Andriansah]

On 9/10/05, Budi Rahardjo <[EMAIL PROTECTED]> wrote:
Sudah ada beberapa kejadian saya ditanya dengan pertanyaanmengenai berapa banyak seharusnya isi dept IT?Wah ... terus terang saya lagi survey & surfing.- berapa banyak IT support untuk sebuah perusahaan?

Tergantun aplikasi yang dijalankan dan tingkat kepintaran user :),
karena pernah penglaman teman jauh2 dari jakarta ke daerah karena
bilangnya  tidak bisa di klik, ternyata pas sampai user itu
berusahan mengklik dengan telunjuknya ke layar monitor, ini beneran
loh..
- apakah ada rule of thumb/best practice mengenai rasio  jumlah user/IT support?

Mungkin bisa di bagi perdivisi ada it support
  Apakah cukup 1 orang untuk setiap 100 user?  Kebanyakan? Kesedikitan?
- apakah ini bergantung kepada industrinya?  (perbankan, telekomunikasi, manufakturing, retail,
  government, dll.)
yap sepertinya bergantung pada industrinya
- bagaimana struktur organisasinya?  = support? help desk? incident?  = planning?
  = development? qa?  = ...Lebih spesifik lagi saya mencari informasi untuk bidangsecurity.- berapa orang yang dibutuhkan untuk menangani security  dalam sebuah perusahaan?- struktur organisasi?
- apakah dibutuhkan sertifikasi?Membutuhkan bantuan ...-- budiSaya jawab segitu dulu-- Andriansah