Pessoal, bom dia.
O site aqui da empresa parou do nada e fui ver o que havia acontecido no log do
Plone, depois de ter reiniciado.
Encontrei isto:
HTTP_ACCEPT 'text/html, */*
'CONNECTION_TYPE 'Keep-Alive'
HTTP_USER_AGENT 'Mozilla/5.0 (Twiceler-0.9
http://www.cuil.com/twiceler/robot.html)'
O agente é Twiceler. Já ouviram falar? Pelo que pesquisei, é um robô do site
www.cuil.com e consome muita banda de conexão (vi pelo gráfico que isto
aconteceu com a gente também) quando está indexando as páginas e acaba
derrubando o site.
Vi que a solução é colocar para bloquear este robô.
Encontrei estes sites falando do problema, mas sem falar do Plone.
http://black-of-hat.blogspot.com/2008/09/cuil-twiceler.html
http://www.maximumpc.com/article/news/cuils_twiceler_website_crawlers_causing_plenty_problems_websites
Está acontecendo isto com alguém da lista? Alguém sabe como resolver isto?
Abraço, Rodrigo Leite.
Veja quais são os assuntos do momento no Yahoo! +Buscados
http://br.maisbuscados.yahoo.com
