Wah makasih untuk penjelasannya. Tadinya saya mau nanya di milis Pentaho,
tapi gak jadi ah, nanyanya di jug aja (biar sekalian promosi kettle). Hehe..

Saya belum ahli kok Bung Jos, masih menuntut ilmu nih, sayang waktu kuliah
dulu gak ada Mata Kuliah Data Warehouse, jadinya masih newbie.

 

Btw koreksi tulisan Bung Feris : Data process yang kedua dilakukan tgl 2
September jam 2:30 pagi yang bener.

 

Regards,

 

Andreas 

 

  _____  

From: jug-indonesia@yahoogroups.com [mailto:[EMAIL PROTECTED]
On Behalf Of Feris Thia
Sent: Thursday, September 04, 2008 8:21 PM
To: jug-indonesia@yahoogroups.com
Subject: Re: [JUG-Indonesia] Kettle : Error connection lost

 

Wah, 

 

Pertanyaan yang sulit dijawab, ini tergantung :

- masifnya data 

- waktu pemindahan data

- jumlah workaround yang bisa dilakukan  

- jumlah waktu yang kita punya untuk menyelesaikan proyek

- kemampuan menganalisa, membuat hipotesa dan melakukan test untuk reverse
engineering

Tapi biasanya... jawabannya adalah : reverse engineering itu sangat memakan
waktu jadi tidak disarankan :)

 

Kalau kita memang melihat peluang kesana bisa coba-coba aja. Karena aplikasi
seperti itu pasti banyak diinginkan. 

 

Bayangkan dari seharusnya blueprint => penyelesaian konstruksi bangunan
menjadi bangunan jadi => blueprint ? Effortnya tidak main-main... tapi ya
kembali lagi ke faktor-faktor di atas.

 

Change Data Capture sepertinya sudah cukup jelas di artikel tersebut ya...
mungkin saya menggunakan contoh aja.

 

Ada 2 point data insertion, yaitu p1 (1 September jam 1.00 pagi) dan p2 (2
September 2:00 pagi) dan kedudukan datanya :

 

* p1 => a1, a2, a3, a4, a5

* p2 => b1, b2, a3, a4, a5, a6, a7, a8 (catatan: b1 & b2 adalah update dari
a1 & a2)

 

Data process kita lakukan tgl 1 September jam 1:30 pagi, maka CDC hasilnya :

a1, a2, a3, a4, a5 (5 insertions)

 

Data process kita lakukan tgl 1 September jam 2:30 pagi, maka CDC hasilnya :

b1, b2, a6, a7, a8 (2 update dan 3 insertions)

 

Nah, bagaimana metode kita mengcapturenya ? Mungkin menambahkan timestamp di
record kita jadi kita bisa melakukan query seperti (where lastupdate <= 1
September 1:30 dan where lastupdate <= 1 September 2:30).

 

Sekarang kita lihat point p3 :

* p3 => x1, x2, a9, a10 (x1 & x2 artinya b1 dan b2 sudah dihapus)

 

Sekarang kita mau lihat perubahan data dengan menggunakan timestamp. Apakah
masih bisa ? Tidak bisa... lagi. Tapi di transaction log kita masih bisa
tracking.... kalau kita tahu formatnya penulisannya :p

 

Mungkin seperti itu sih... atau mungkin yang tidak jelas bukan disananya ?

 

Btw, kok nanyanya tidak di milis Pentaho aja ? ;)

 

Regards,

 

Feris

 

2008/9/4 Tjong, Andreas <andreas.tjong@ <mailto:[EMAIL PROTECTED]>
aig.com>

Bung Feris.

 

Mau Tanya lagi donk tentang logic dari reverse engineering yang disebutkan
di artikel-nya anda. Kalau boleh tau, perbandingan lama waktu untuk
melakukan reverse engineering ini dengan  memindahkan data ulang>

O iya, tolong dijelaskan lagi tentang Change Data Capture (CDC).

 

Best Regards,

Andreas

 

 

 

 

 

IMPORTANT NOTICE: 
The information in this email (and any attachments) is confidential. If you are 
not the intended recipient, you must not use or disseminate the information. If 
you have received this email in error, please immediately notify me by "Reply" 
command and permanently delete the original and any copies or printouts 
thereof.  Although this email and any attachments are believed to be free of 
any virus or other defect that might affect any computer system into which it 
is received and opened, it is the responsibility of the recipient to ensure 
that it is virus free and no responsibility is accepted by American 
International Group, Inc. or its subsidiaries or affiliates either jointly or 
severally, for any loss or damage arising in any way from its use.

Kirim email ke