¿Merece la pena?
Yo creó que por mucho que lo pongas en el robots.txt Google lo leerá si
quiere aunque no lo muestre en las búsquedas y de esta manera la gente
tendrá más complicado encontrar la información ¿útil? que pueda haber en la
lista.
Salud!
El 09/09/2013 00:06, escribió:
> Ey, gente, he
Ey, gente, hemos pensado en hacer un robots.txt con los buscadores
"malos" (exceptuando duckduckgo por ejemplo) que filtren, del estilo:
User-Agent: GoogleBot
Disallow: *
Nos quitaría google de enmedio y seguiriamos manteniendo las ventajas
de lista publica e indexada.
___
