https://stackoverflow.com/questions/7716531/facebook-and-crawl-delay-in-robots-txt
(Stiu din surse sigure ca nu iti place stackoverflow - dar pare o cauza foarte valida) Cristic あなたのコードを確保する！ -----Original Message----- From: rlug-boun...@lists.lug.ro [mailto:rlug-boun...@lists.lug.ro] On Behalf Of Petru Ratiu Sent: Thursday, November 27, 2014 15:16 To: Romanian Linux Users Group Subject: Re: [rlug] problema cu crawlerul facebook M-am gandit, da' toate requesturile erau identice. :) -- P. 2014-11-27 14:54 GMT+02:00 Mihai Tianu <mihai.ti...@gmail.com>: > Imi aduce aminte de asta: > http://chr13.com/2014/04/20/using-facebook-notes-to-ddos-any-website/? > > 2014-11-27 14:13 GMT+02:00 Petru Ratiu <rpe...@gmail.com>: > > > Ceva mai devreme m-am trezit ca crawlerul de la Facebook s-a > > indragostit foarte tare de anumite resurse de pe prima pagina a > > site-ului si a > inceput > > sa le ceara intr-o veselie (de vreo 100 de ori pe secunda). L-a > > apucat brusc pe la 13:05 si i-a trecut la fel de brusc pe la 13:45. > > > > Nu parea sa se uite la ETag si ca atare imi cerea in disperare > > resursa cu pricina. Din cate vad nu-i dau header de expires, asa ca > > poate de-aia > nu-i > > dadeam 304 la urmatoarele, but still, ce naiba i-a venit? > > > > Stiti careva mai bine scheme de-astea cu boti? Pe net n-am gasit > > nimic > care > > sa ma lamureasca. (Da, sunt convins ca e facebook, era de la ip-ul > > corect si tot tacamul). > > > > -- > > P. > > _______________________________________________ > > RLUG mailing list > > RLUG@lists.lug.ro > > http://lists.lug.ro/mailman/listinfo/rlug > > > > > > -- > > ~Mihai > _______________________________________________ > RLUG mailing list > RLUG@lists.lug.ro > http://lists.lug.ro/mailman/listinfo/rlug > _______________________________________________ RLUG mailing list RLUG@lists.lug.ro http://lists.lug.ro/mailman/listinfo/rlug _______________________________________________ RLUG mailing list RLUG@lists.lug.ro http://lists.lug.ro/mailman/listinfo/rlug
