[JUG-Indonesia] Huge Matrix pake HashMap
Hi, Tolong bantu dong... Bagaimana membuat Huge Matrix (Matrix berukuran besar misalnya Mat[100][100] menggunakan HashMap? Thanks yah ! Regards,
Re: [JUG-Indonesia] Huge Matrix pake HashMap
Buat HashMap of HashMap bisa.Misal: Map> = new HashMap>(); jadi untuk matrix M(x,y): integer yang pertama sebagai index x, dan yang kedua sebagai index y. tapi kalau benar2 diisi value semua, bakal kena out of memory. Mungkin yang dimaksud, bagaimana membuat sparse matrix menggunakan HashMap? 2009/7/2 david_liauw > > > Hi, > > Tolong bantu dong... Bagaimana membuat Huge Matrix (Matrix berukuran besar > misalnya Mat[100][100] menggunakan HashMap? > > Thanks yah ! > > > > Regards, > > > -- Daniel Baktiar Senior JEE* Monkey -- willing to work hard in the Java beans brewery for a big bunch of bananas (http://dbaktiar.wordpress.com)
Bls: [JUG-Indonesia] Huge Matrix pake HashMap
key -> index dari row value -> list of column Dari: david_liauw Kepada: jug-indonesia@yahoogroups.com Terkirim: Kamis, 2 Juli, 2009 12:07:11 Judul: [JUG-Indonesia] Huge Matrix pake HashMap Hi, Tolong bantu dong... Bagaimana membuat Huge Matrix (Matrix berukuran besar misalnya Mat[100] [100] menggunakan HashMap? Thanks yah ! Regards, Menambah banyak teman sangatlah mudah dan cepat. Undang teman dari Hotmail, Gmail ke Yahoo! Messenger sekarang! http://id.messenger.yahoo.com/invite/
Re: [JUG-Indonesia] Huge Matrix pake HashMap
out of memory, alias memory-nya gak cukup 2009/7/2 david_liauw : > > > Hi, > > Tolong bantu dong... Bagaimana membuat Huge Matrix (Matrix berukuran besar > misalnya Mat[100][100] menggunakan HashMap? > > Thanks yah ! > > > > Regards, > > -- syaiful.mukhlis gtalk:syaiful.mukh...@gmail.com
Bls: [JUG-Indonesia] Huge Matrix pake HashMap
Untuk apa matrix sebesar itu ? Mungkin bisa dijelaskan apa tujuannya jadi nanti saya bisa bantu menggunakan cara lain yg juga solve masalah anda. - Timotius Sakti visit my blog: http://nomoreac.wordpress.com --- Pada Kam, 2/7/09, david_liauw menulis: Dari: david_liauw Topik: [JUG-Indonesia] Huge Matrix pake HashMap Kepada: jug-indonesia@yahoogroups.com Tanggal: Kamis, 2 Juli, 2009, 1:07 AM Hi, Tolong bantu dong... Bagaimana membuat Huge Matrix (Matrix berukuran besar misalnya Mat[100] [100] menggunakan HashMap? Thanks yah ! Regards, ___ Dapatkan alamat Email baru Anda! Dapatkan nama yang selalu Anda inginkan sebelum diambil orang lain! http://mail.promotions.yahoo.com/newdomains/id/
Re: [JUG-Indonesia] Huge Matrix pake HashMap
Waw, matriks sejuta kali sejuta. Komputernya udah mantep kali. Kalo komputer ane sih bisa out of memory.. hehehhe 2009/7/2 sm96 > > > out of memory, alias memory-nya gak cukup > > 2009/7/2 david_liauw >: > > > > > > > Hi, > > > > Tolong bantu dong... Bagaimana membuat Huge Matrix (Matrix berukuran > besar > > misalnya Mat[100][100] menggunakan HashMap? > > > > Thanks yah ! > > > > > > > > Regards, > > > > > > -- > syaiful.mukhlis > gtalk:syaiful.mukh...@gmail.com > > -- Muhammad Rifa'i
Re: [JUG-Indonesia] Huge Matrix pake HashMap
kayaknya mending taro di text file aja kali yach trus processingnya gunain component seperti cosort kali yach...? soalnya matrixnya itu udah maut bro...:hxihxihixhixhix 2009/7/10 Muhammad Rifai > > > Waw, matriks sejuta kali sejuta. > Komputernya udah mantep kali. Kalo komputer ane sih bisa out of memory.. > hehehhe > > 2009/7/2 sm96 > >> >> >> out of memory, alias memory-nya gak cukup >> >> 2009/7/2 david_liauw >: >> >> > >> > >> > Hi, >> > >> > Tolong bantu dong... Bagaimana membuat Huge Matrix (Matrix berukuran >> besar >> > misalnya Mat[100][100] menggunakan HashMap? >> > >> > Thanks yah ! >> > >> > >> > >> > Regards, >> > >> > >> >> -- >> syaiful.mukhlis >> gtalk:syaiful.mukh...@gmail.com >> > > > > -- > Muhammad Rifa'i > > > -- Hira Sirojudin +628 111988846
Re: [JUG-Indonesia] Huge Matrix pake HashMap
You probably don't. Sebaeknya pake DHT e.g. memcached, velocity, Rhino.DHT.. (btw instead of multi-dimensional hashmap_of_hashmap, sebaeknya di-flattenned jadi standard URI lookup e,g. "/52342/10323"...) 2009/7/2 david_liauw > > > Hi, > > Tolong bantu dong... Bagaimana membuat Huge Matrix (Matrix berukuran besar > misalnya Mat[100][100] menggunakan HashMap? > > Thanks yah ! > > > > Regards, > > >
Re: Bls: [JUG-Indonesia] Huge Matrix pake HashMap
saya lagi buat project data mining untuk clustering dokumen...semua dokumen yang terindex di retrieve untuk diambil matrix TF-IDF nya, nah atribut yang digunakan cukup besar??? tolong bantu saya thx --- In jug-indonesia@yahoogroups.com, timotius sakti wrote: > > Untuk apa matrix sebesar itu ? Mungkin bisa dijelaskan apa tujuannya jadi > nanti saya bisa bantu menggunakan cara lain yg juga solve masalah anda. > > - Timotius Sakti > > visit my blog: > http://nomoreac.wordpress.com > > --- Pada Kam, 2/7/09, david_liauw menulis: > > Dari: david_liauw > Topik: [JUG-Indonesia] Huge Matrix pake HashMap > Kepada: jug-indonesia@yahoogroups.com > Tanggal: Kamis, 2 Juli, 2009, 1:07 AM > > > > > > > > > > > > > > > > > > Hi, > > > > Tolong bantu dong... Bagaimana membuat Huge Matrix (Matrix berukuran besar > misalnya Mat[100] [100] menggunakan HashMap? > > > > Thanks yah ! > > > > > > > > Regards, > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > ___ > Dapatkan alamat Email baru Anda! > Dapatkan nama yang selalu Anda inginkan sebelum diambil orang lain! > http://mail.promotions.yahoo.com/newdomains/id/ >
RE: Bls: [JUG-Indonesia] Huge Matrix pake HashMap
Kayaknya kalo 1jt x 1jt terlalu besar deh.. Berarti ada 1milyar data. Belum lagi memproses data sebesar itu, bisa butuh waktu beberapa jam waktu running. Saya dulu pernah coba pake vector of vector, cuman sanggup 1000x1000. Lebih daripada itu out of memory. Sudah coba naikin XMS sampe 1.5GB gak kuat juga. Saya dulu bukan untuk data mining, tapi untuk perhitungan finite element. > -Original Message- > From: jug-indonesia@yahoogroups.com > [mailto:jug-indone...@yahoogroups.com] On Behalf Of david_liauw > Sent: Friday, July 03, 2009 03:35 PM > To: jug-indonesia@yahoogroups.com > Subject: Re: Bls: [JUG-Indonesia] Huge Matrix pake HashMap > > saya lagi buat project data mining untuk clustering > dokumen...semua dokumen yang terindex di retrieve untuk > diambil matrix TF-IDF nya, nah atribut yang digunakan cukup besar??? > tolong bantu saya thx > > --- In jug-indonesia@yahoogroups.com, timotius sakti > wrote: > > > > Untuk apa matrix sebesar itu ? Mungkin bisa dijelaskan apa > tujuannya jadi nanti saya bisa bantu menggunakan cara lain yg > juga solve masalah anda. > > > > - Timotius Sakti > > > > visit my blog: > > http://nomoreac.wordpress.com > > > > --- Pada Kam, 2/7/09, david_liauw menulis: > > > > Dari: david_liauw > > Topik: [JUG-Indonesia] Huge Matrix pake HashMap > > Kepada: jug-indonesia@yahoogroups.com > > Tanggal: Kamis, 2 Juli, 2009, 1:07 AM > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > Hi, > > > > > > > > Tolong bantu dong... Bagaimana membuat Huge Matrix (Matrix > berukuran besar misalnya Mat[100] [100] menggunakan HashMap? > > > > > > > > Thanks yah ! > > > > > > > > > > > > > > > > Regards, > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > >
Re: Bls: [JUG-Indonesia] Huge Matrix pake HashMap
1 triliun boss... bukan 1 milyar. Satu point data(m.n) itu isinya apa saja Mas? emang kalau di split enggak bisa ya? jadi dibagi per 1Kx1K di proses bagian per bagian. Ngeri denger nya... sejuta kali sejuta, kayak lagi ngitung aerodinamis pesawat tempur rgds, jarvov Ilhamsyah Edwar wrote: > > > Kayaknya kalo 1jt x 1jt terlalu besar deh.. Berarti ada 1milyar data. > Belum lagi memproses data sebesar itu, bisa butuh waktu beberapa jam > waktu running. > > Saya dulu pernah coba pake vector of vector, cuman sanggup 1000x1000. > Lebih daripada itu out of memory. Sudah coba naikin XMS sampe 1.5GB gak > kuat juga. > Saya dulu bukan untuk data mining, tapi untuk perhitungan finite > element. >
RE: Bls: [JUG-Indonesia] Huge Matrix pake HashMap
Ups sori, 1 triliun.. Bener... Nolnya banyak dah.. :) Kalo di-split, tetap aja butuh memori sebanyak 8 byte x 1T = 8TB!!! Asumsi data yang dimasukkan adalah integer yang 8 byte.. Kayaknya perlu trik khusus nih. Mungkin bisa dengan diswap ke file untuk cache. > -Original Message- > From: jug-indonesia@yahoogroups.com > [mailto:jug-indone...@yahoogroups.com] On Behalf Of jarvov > Sent: Friday, July 03, 2009 04:05 PM > To: jug-indonesia@yahoogroups.com > Subject: Re: Bls: [JUG-Indonesia] Huge Matrix pake HashMap > > 1 triliun boss... bukan 1 milyar. > Satu point data(m.n) itu isinya apa saja Mas? > emang kalau di split enggak bisa ya? jadi dibagi per 1Kx1K di > proses bagian per bagian. > Ngeri denger nya... sejuta kali sejuta, kayak lagi ngitung > aerodinamis pesawat tempur > > rgds, > jarvov > > Ilhamsyah Edwar wrote: > > > > > > Kayaknya kalo 1jt x 1jt terlalu besar deh.. Berarti ada > 1milyar data. > > Belum lagi memproses data sebesar itu, bisa butuh waktu > beberapa jam > > waktu running. > > > > Saya dulu pernah coba pake vector of vector, cuman sanggup > 1000x1000. > > Lebih daripada itu out of memory. Sudah coba naikin XMS sampe 1.5GB > > gak kuat juga. > > Saya dulu bukan untuk data mining, tapi untuk perhitungan finite > > element. > > > > >
Re: Bls: [JUG-Indonesia] Huge Matrix pake HashMap
2009/7/3 Ilhamsyah Edwar : > > > Ups sori, 1 triliun.. Bener... Nolnya banyak dah.. :) > > Kalo di-split, tetap aja butuh memori sebanyak 8 byte x 1T = 8TB!!! > Asumsi data yang dimasukkan adalah integer yang 8 byte.. Kayaknya perlu > trik khusus nih. Mungkin bisa dengan diswap ke file untuk cache. > DOM vs SAX. Kalau pendekatan DOM gak bisa, coba pakai pendekatan SAX -- Endy Muhardin http://endy.artivisi.com Y! : endymuhardin -- life learn contribute --
Re: Bls: [JUG-Indonesia] Huge Matrix pake HashMap
Tebakan saya: biasanya data mining walaupun column dan rownya besar, tapi datanya sparse (tiap row nggak make semua column). Kalo begitu bisa pake HashMap (ato TreeMap) dengan key berupa value pair. Kalo angkanya beneran 1jt x 1jt, mestinya udah saatnya pake yg lebih berat macemnya MapReduce (kan dah ada yg gratisannya: Hadoop). -Kurniady 2009/7/3 Ilhamsyah Edwar > > > Kayaknya kalo 1jt x 1jt terlalu besar deh.. Berarti ada 1milyar data. > Belum lagi memproses data sebesar itu, bisa butuh waktu beberapa jam > waktu running. > > Saya dulu pernah coba pake vector of vector, cuman sanggup 1000x1000. > Lebih daripada itu out of memory. Sudah coba naikin XMS sampe 1.5GB gak > kuat juga. > Saya dulu bukan untuk data mining, tapi untuk perhitungan finite > element. > > > > -Original Message- > > From: jug-indonesia@yahoogroups.com > > [mailto:jug-indonesia@yahoogroups.com ] > On Behalf Of david_liauw > > Sent: Friday, July 03, 2009 03:35 PM > > To: jug-indonesia@yahoogroups.com > > Subject: Re: Bls: [JUG-Indonesia] Huge Matrix pake HashMap > > > > saya lagi buat project data mining untuk clustering > > dokumen...semua dokumen yang terindex di retrieve untuk > > diambil matrix TF-IDF nya, nah atribut yang digunakan cukup besar??? > > tolong bantu saya thx > > > > --- In jug-indonesia@yahoogroups.com , > timotius sakti > > wrote: > > > > > > Untuk apa matrix sebesar itu ? Mungkin bisa dijelaskan apa > > tujuannya jadi nanti saya bisa bantu menggunakan cara lain yg > > juga solve masalah anda. > > > > > > - Timotius Sakti > > > > > > visit my blog: > > > http://nomoreac.wordpress.com > > > > > > --- Pada Kam, 2/7/09, david_liauw menulis: > > > > > > Dari: david_liauw > > > Topik: [JUG-Indonesia] Huge Matrix pake HashMap > > > Kepada: jug-indonesia@yahoogroups.com > > > Tanggal: Kamis, 2 Juli, 2009, 1:07 AM > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > Hi, > > > > > > > > > > > > Tolong bantu dong... Bagaimana membuat Huge Matrix (Matrix > > berukuran besar misalnya Mat[100] [100] menggunakan HashMap? > > > > > > > > > > > > Thanks yah ! > > > > > > > > > > > > > > > > > > > > > > > > Regards, > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > >
Re: Bls: [JUG-Indonesia] Huge Matrix pake HashMap
Saya kira matrixnya akan banyak kosongnya (sparsematrix), kenapa untuk methode penyimpanannya tidak menggunakan sparsematrix implementasi yang berbasis list saja. Jadi yang disimpan hanya informasi yang tidak kosong saja. Jadi kalau jumlah dokumentnya 100 dan rata 2 keyword tiap dokument 100 maka tempat yang dibutuhkan kan cuma 100*100. david_liauw wrote: > > > saya lagi buat project data mining untuk clustering dokumen...semua > dokumen yang terindex di retrieve untuk diambil matrix TF-IDF nya, nah > atribut yang digunakan cukup besar??? > tolong bantu saya thx > > --- In jug-indonesia@ yahoogroups. com > <mailto:jug-indonesia%40yahoogroups.com>, timotius sakti ...> wrote: > > > > Untuk apa matrix sebesar itu ? Mungkin bisa dijelaskan apa tujuannya > jadi nanti saya bisa bantu menggunakan cara lain yg juga solve masalah > anda. > > > > - Timotius Sakti > > > > visit my blog: > > http://nomoreac. wordpress. com <http://nomoreac.wordpress.com> > > > > --- Pada Kam, 2/7/09, david_liauw menulis: > > > > Dari: david_liauw > > Topik: [JUG-Indonesia] Huge Matrix pake HashMap > > Kepada: jug-indonesia@ yahoogroups. com > <mailto:jug-indonesia%40yahoogroups.com> > > Tanggal: Kamis, 2 Juli, 2009, 1:07 AM > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > Hi, > > > > > > > > Tolong bantu dong... Bagaimana membuat Huge Matrix (Matrix berukuran > besar misalnya Mat[100] [100] menggunakan HashMap? > > > > > > > > Thanks yah ! > > > > > > > > > > > > > > > > Regards, > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > _ _ _ _ _ _ > > Dapatkan alamat Email baru Anda! > > Dapatkan nama yang selalu Anda inginkan sebelum diambil orang lain! > > http://mail. promotions. yahoo.com/ newdomains/ id/ > <http://mail.promotions.yahoo.com/newdomains/id/> > > > >
Re: Bls: [JUG-Indonesia] Huge Matrix pake HashMap
Matrix nya termasuk SparseMatrixfrekuensi kemunculan term (kata) dalam tiap dokumen itulah yang digunakan sebagai pembobotnya. --- In jug-indonesia@yahoogroups.com, Jony Sugianto wrote: > > Saya kira matrixnya akan banyak kosongnya (sparsematrix), kenapa untuk > methode penyimpanannya tidak menggunakan sparsematrix implementasi yang > berbasis list saja. Jadi yang disimpan hanya informasi yang tidak kosong > saja. Jadi kalau jumlah dokumentnya 100 dan rata 2 keyword tiap > dokument 100 maka tempat yang dibutuhkan kan cuma 100*100. > > david_liauw wrote: > > > > > > saya lagi buat project data mining untuk clustering dokumen...semua > > dokumen yang terindex di retrieve untuk diambil matrix TF-IDF nya, nah > > atribut yang digunakan cukup besar??? > > tolong bantu saya thx > > > > --- In jug-indonesia@ yahoogroups. com > > <mailto:jug-indonesia%40yahoogroups.com>, timotius sakti > ...> wrote: > > > > > > Untuk apa matrix sebesar itu ? Mungkin bisa dijelaskan apa tujuannya > > jadi nanti saya bisa bantu menggunakan cara lain yg juga solve masalah > > anda. > > > > > > - Timotius Sakti > > > > > > visit my blog: > > > http://nomoreac. wordpress. com <http://nomoreac.wordpress.com> > > > > > > --- Pada Kam, 2/7/09, david_liauw menulis: > > > > > > Dari: david_liauw > > > Topik: [JUG-Indonesia] Huge Matrix pake HashMap > > > Kepada: jug-indonesia@ yahoogroups. com > > <mailto:jug-indonesia%40yahoogroups.com> > > > Tanggal: Kamis, 2 Juli, 2009, 1:07 AM > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > Hi, > > > > > > > > > > > > Tolong bantu dong... Bagaimana membuat Huge Matrix (Matrix berukuran > > besar misalnya Mat[100] [100] menggunakan HashMap? > > > > > > > > > > > > Thanks yah ! > > > > > > > > > > > > > > > > > > > > > > > > Regards, > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > _ _ _ _ _ _ > > > Dapatkan alamat Email baru Anda! > > > Dapatkan nama yang selalu Anda inginkan sebelum diambil orang lain! > > > http://mail. promotions. yahoo.com/ newdomains/ id/ > > <http://mail.promotions.yahoo.com/newdomains/id/> > > > > > > > >
Re: Bls: [JUG-Indonesia] Huge Matrix pake HashMap
Semacam tokenizer ya ? Kenapa tidak menggunakan Lucene ? http://lucene.apache.org 2009/7/4 david_liauw > Matrix nya termasuk SparseMatrixfrekuensi kemunculan term (kata) dalam > tiap dokumen itulah yang digunakan sebagai pembobotnya.
