[JUG-Indonesia] Code Coverage (Cobertura vs Emma)
Hi all. Ada yang berpengalaman dengan code coverage?Lebih pilih mana? Cobertura atau Emma? atau yang lain? Thx
Re: [JUG-Indonesia] Code Coverage (Cobertura vs Emma)
> Ada yang berpengalaman dengan code coverage? > Lebih pilih mana? Cobertura atau Emma? atau yang lain? vote for cobertura ;) http://endy.artivisi.com/blog/java/ruthless-testing-2/ -- Senior Engineer @ ArtiVisi Intermedia Java Training Center See our course @ artivisi.com http://ifnu.artivisi.com +62 856 9211 8687 regards
Re: [JUG-Indonesia] Code Coverage (Cobertura vs Emma)
Kalo saya biasanya pake Emma. Cobertura belom pernah coba. -Kurniady 2009/8/21 uud ashr > > > Hi all. > > Ada yang berpengalaman dengan code coverage?Lebih pilih mana? Cobertura > atau Emma? atau yang lain? > > Thx > >
Re: [JUG-Indonesia] Code Coverage (Cobertura vs Emma)
Cool emang. Klo di topcoder dulu si yang gw tau harus pake cobertura. Code coverage harus diatas 80%, klo gak segitu gak lolos, jadi tingkat keyakinan component bebas error lebih tinggi (klo testing-nya bener tapi) :-P Thx nu. On Fri, Aug 21, 2009 at 4:19 PM, Ifnu bima wrote: > > > > Ada yang berpengalaman dengan code coverage? > > Lebih pilih mana? Cobertura atau Emma? atau yang lain? > > vote for cobertura ;) > > http://endy.artivisi.com/blog/java/ruthless-testing-2/ > > -- > Senior Engineer @ ArtiVisi Intermedia > Java Training Center > See our course @ artivisi.com > > http://ifnu.artivisi.com > +62 856 9211 8687 > regards > > >
Re: [JUG-Indonesia] Code Coverage (Cobertura vs Emma)
2009/8/24 uud ashr : > > > Cool emang. > > Klo di topcoder dulu si yang gw tau harus pake cobertura. > Code coverage harus diatas 80%, klo gak segitu gak lolos, jadi tingkat > keyakinan component bebas error lebih tinggi (klo testing-nya bener tapi) Sebetulnya tidak menjamin juga. Ada 2 pitfall utama dalam menggunakan test coverage tools : 1. Coverage itu adalah perbandingan antara total test dibandingkan dengan total code dalam scope tertentu. Sedangkan scopenya ditentukan sendiri. Jadi bisa saja terjadi LOC 1000, coverage 80%, tapi yang ditest cuma 80 baris. Gimana caranya? Ya jalankan aja coverage tools di 10% kode. Misalnya, kode untuk UI dan domain model tidak ditest. 2. Coverage tools hanya melihat apakah suatu baris kode sudah pernah dipanggil oleh automated test. Bagaimana cara memanggilnya tidak diperiksa. Bisa saja coverage 80%, tapi hanya happy path yang dijalankan. Karena 2 hal di atas, saat ini di ArtiVisi kita tidak memberlakukan coverage test. Soalnya mostly aplikasi yang kita buat adalah aplikasi bisnis yang UI intensive. Sedangkan kode UI sendiri justru adalah yang paling sulit untuk diautomate testnya. Baik desktop (Swing) apalagi web (HTML + JS). Dalam suatu aplikasi bisnis, kode yang bisa diotomasi testnya biasanya adalah implementasi query database. Ini persentasenya relatif kecil (kira2 20% - 30%) saja dari overall code. Sisanya adalah koding UI, yaitu enable/disable komponen, validasi, parsing input, formatting output, workflow, yang mana sulit untuk diautomate. Kita balik ke old fashion yet proven technique. Test scenario menggunakan spreadsheet dan bug tracker. -- Endy Muhardin http://endy.artivisi.com Y! : endymuhardin -- life learn contribute --
Re: [JUG-Indonesia] Code Coverage (Cobertura vs Emma)
Hi Endy, Apakah pernah bereksperimen dgn UI testing tool seperti SWT Bot (untuk SWT) ? Saya belum tahu apa tool yg bagus utk Swing, apakah ada yg pernah coba ? regards, T Budi S On 8/27/09, Endy Muhardin wrote: > > > > 2009/8/24 uud ashr >: > > > > > > Cool emang. > > > > Klo di topcoder dulu si yang gw tau harus pake cobertura. > > Code coverage harus diatas 80%, klo gak segitu gak lolos, jadi tingkat > > keyakinan component bebas error lebih tinggi (klo testing-nya bener tapi) > > Sebetulnya tidak menjamin juga. > Ada 2 pitfall utama dalam menggunakan test coverage tools : > > 1. Coverage itu adalah perbandingan antara total test dibandingkan > dengan total code dalam scope tertentu. > Sedangkan scopenya ditentukan sendiri. > Jadi bisa saja terjadi LOC 1000, coverage 80%, tapi yang ditest cuma 80 > baris. > Gimana caranya? Ya jalankan aja coverage tools di 10% kode. > Misalnya, kode untuk UI dan domain model tidak ditest. > > 2. Coverage tools hanya melihat apakah suatu baris kode sudah pernah > dipanggil oleh automated test. > Bagaimana cara memanggilnya tidak diperiksa. > Bisa saja coverage 80%, tapi hanya happy path yang dijalankan. > > Karena 2 hal di atas, saat ini di ArtiVisi kita tidak memberlakukan > coverage test. > Soalnya mostly aplikasi yang kita buat adalah aplikasi bisnis yang UI > intensive. > Sedangkan kode UI sendiri justru adalah yang paling sulit untuk > diautomate testnya. > Baik desktop (Swing) apalagi web (HTML + JS). > > Dalam suatu aplikasi bisnis, kode yang bisa diotomasi testnya biasanya > adalah > implementasi query database. > Ini persentasenya relatif kecil (kira2 20% - 30%) saja dari overall code. > Sisanya adalah koding UI, yaitu enable/disable komponen, validasi, > parsing input, > formatting output, workflow, yang mana sulit untuk diautomate. > > Kita balik ke old fashion yet proven technique. > Test scenario menggunakan spreadsheet dan bug tracker. > > -- > Endy Muhardin > http://endy.artivisi.com > Y! : endymuhardin > -- life learn contribute -- > >
Re: [JUG-Indonesia] Code Coverage (Cobertura vs Emma)
2009/9/6 T Budi S : > > > Hi Endy, > > Apakah pernah bereksperimen dgn UI testing tool seperti SWT Bot (untuk SWT) > ? > Saya belum tahu apa tool yg bagus utk Swing, apakah ada yg pernah coba ? > > regards, > T Budi S > Dulu pernah dengar Abbot & Costello dan Rational Robot. Tapi cuma pernah dengar, belum pernah coba. -- Endy Muhardin http://endy.artivisi.com Y! : endymuhardin -- life learn contribute --
Re: [JUG-Indonesia] Code Coverage (Cobertura vs Emma)
Endy Muhardin wrote: > > Dulu pernah dengar Abbot & Costello dan Rational Robot. > Tapi cuma pernah dengar, belum pernah coba. > Saya biasa pakai abbot dan sukses. Locking-nya dengan event queue bagus sehingga tes-nya reliabel dan konsisten. -- Salam/Regards, Thomas Edwin Santosa http://facebook.com/ThomasEdwin http://jaringbuku.com http://facebook.com/JaringBuku Kaset, MP3 dan VCD rohani dalam jangkauan Anda
Re: [JUG-Indonesia] Code Coverage (Cobertura vs Emma)
Masih ada Jester (http://jester.sourceforge.net/). Ini lebih akurat karna yang diukur buat code coverage doank. Bukan sekedar certain line of code diexecute oleh unit-test ato gak, melainkan apakah certain line of code itu perlu ada disitu buat bikin unit-test pass. Jadi at runtime dia bakal ganti codenya dengan nghapus tiap line of code satu persatu, n each time dicek, kalo gak ada test yang fail, artinya line itu gak dicover oleh test. 2009/8/21 uud ashr > > > Hi all. > > Ada yang berpengalaman dengan code coverage?Lebih pilih mana? Cobertura > atau Emma? atau yang lain? > > Thx > >
Re: [JUG-Indonesia] Code Coverage (Cobertura vs Emma)
*bukan* 2009/9/9 Hendry Luk > Masih ada Jester (http://jester.sourceforge.net/). Ini lebih akurat karna > yang diukur buat code coverage doank. Bukan sekedar certain line of code > diexecute oleh unit-test ato gak, melainkan apakah certain line of code itu > perlu ada disitu buat bikin unit-test pass. > Jadi at runtime dia bakal ganti codenya dengan nghapus tiap line of code > satu persatu, n each time dicek, kalo gak ada test yang fail, artinya line > itu gak dicover oleh test. > > 2009/8/21 uud ashr > > >> >> Hi all. >> >> Ada yang berpengalaman dengan code coverage?Lebih pilih mana? Cobertura >> atau Emma? atau yang lain? >> >> Thx >> >> > >
