Tebakan saya: biasanya data mining walaupun column dan rownya besar, tapi datanya sparse (tiap row nggak make semua column). Kalo begitu bisa pake HashMap (ato TreeMap) dengan key berupa value pair<row, column>.
Kalo angkanya beneran 1jt x 1jt, mestinya udah saatnya pake yg lebih berat macemnya MapReduce (kan dah ada yg gratisannya: Hadoop). -Kurniady 2009/7/3 Ilhamsyah Edwar <ilhamsy...@limas.com> > > > Kayaknya kalo 1jt x 1jt terlalu besar deh.. Berarti ada 1milyar data. > Belum lagi memproses data sebesar itu, bisa butuh waktu beberapa jam > waktu running. > > Saya dulu pernah coba pake vector of vector, cuman sanggup 1000x1000. > Lebih daripada itu out of memory. Sudah coba naikin XMS sampe 1.5GB gak > kuat juga. > Saya dulu bukan untuk data mining, tapi untuk perhitungan finite > element. > > > > -----Original Message----- > > From: jug-indonesia@yahoogroups.com <jug-indonesia%40yahoogroups.com> > > [mailto:jug-indonesia@yahoogroups.com <jug-indonesia%40yahoogroups.com>] > On Behalf Of david_liauw > > Sent: Friday, July 03, 2009 03:35 PM > > To: jug-indonesia@yahoogroups.com <jug-indonesia%40yahoogroups.com> > > Subject: Re: Bls: [JUG-Indonesia] Huge Matrix pake HashMap > > > > saya lagi buat project data mining untuk clustering > > dokumen...semua dokumen yang terindex di retrieve untuk > > diambil matrix TF-IDF nya, nah atribut yang digunakan cukup besar??? > > tolong bantu saya.... thx > > > > --- In jug-indonesia@yahoogroups.com <jug-indonesia%40yahoogroups.com>, > timotius sakti > > <timotiu...@...> wrote: > > > > > > Untuk apa matrix sebesar itu ? Mungkin bisa dijelaskan apa > > tujuannya jadi nanti saya bisa bantu menggunakan cara lain yg > > juga solve masalah anda. > > > > > > - Timotius Sakti > > > > > > visit my blog: > > > http://nomoreac.wordpress.com > > > > > > --- Pada Kam, 2/7/09, david_liauw <david_li...@...> menulis: > > > > > > Dari: david_liauw <david_li...@...> > > > Topik: [JUG-Indonesia] Huge Matrix pake HashMap > > > Kepada: jug-indonesia@yahoogroups.com<jug-indonesia%40yahoogroups.com> > > > Tanggal: Kamis, 2 Juli, 2009, 1:07 AM > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > Hi, > > > > > > > > > > > > Tolong bantu dong... Bagaimana membuat Huge Matrix (Matrix > > berukuran besar misalnya Mat[1000000] [1000000] menggunakan HashMap? > > > > > > > > > > > > Thanks yah ! > > > > > > > > > > > > > > > > > > > > > > > > Regards, > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > >
