Betul mas, pake robot.txt, atau Robot Exclusion (http://www.robotstxt.org/wc/norobots.html) memang kegunaannya untuk membatasi akses para program-program robotic yang tugasnya menelaah content, seperti wget, search engines, atau teleport.
Sayangnya, robot.txt itu di sisi server. di client gak ada kewajiban untuk menghargai robot.txt sama sekali. Sebagai contoh, teleport bisa di-set untuk ignore robot.txt. Setau saya, selama menggunakan teleport, gak bisa ngambil seluruh site yang linknya menggunakan javascript function. mungkin bisa dicoba. HTH, Anto On 4/29/2004, "Denie Nataprawira" <[EMAIL PROTECTED]> wrote: >coba block dengan fasilitas "robot.txt" > >CMIIW -- Unsubscribe: kirim email kosong ke [EMAIL PROTECTED] Arsip dan info di http://linux.or.id/milis.php FAQ milis http://linux.or.id/faq.php