Betul mas, pake robot.txt, atau Robot Exclusion
(http://www.robotstxt.org/wc/norobots.html)
memang kegunaannya untuk membatasi akses para program-program robotic yang
tugasnya menelaah content, seperti wget, search engines, atau teleport.

Sayangnya, robot.txt itu di sisi server. di client gak ada kewajiban untuk
menghargai robot.txt sama sekali.  Sebagai contoh, teleport bisa di-set untuk
ignore robot.txt.

Setau saya, selama menggunakan teleport, gak bisa ngambil seluruh site yang
linknya menggunakan javascript function.  mungkin bisa dicoba.

HTH,

Anto

On 4/29/2004, "Denie Nataprawira" <[EMAIL PROTECTED]> wrote:

>coba block dengan fasilitas "robot.txt"
>
>CMIIW

--
Unsubscribe: kirim email kosong ke [EMAIL PROTECTED]
Arsip dan info di http://linux.or.id/milis.php
FAQ milis http://linux.or.id/faq.php

Kirim email ke