Повадилась такая вот напасть. 

http://www.80legs.com/webcrawler.html

Как ее грамотно выпилить? 

В логах много такого:

109.166.134.39 - - [29/Oct/2013:18:34:09 +0400] site.domain.com "GET
/page/url/  HTTP/1.1" 502 107 "-" "Mozilla/5.0 (compatible; 008/0.85;
http://www.80legs.com/webcrawler.html) Gecko/2008032620" 0.000

Posted at Nginx Forum: 
http://forum.nginx.org/read.php?21,244236,244236#msg-244236

_______________________________________________
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Ответить