--- Original Nachricht --- Absender: Andreas Otto Datum: 26.06.2007 14:22: > Hallo Peter > > Peter Russ wrote: >> m.E. ist fgets deshalb so langsam, weil es auf die Auslieferung der >> Seite warten muss. Deshalb könnte es interessant sein, welche Queries >> u.U. das System ausbremsen. Was sagt der MySQL Slow-Log? Nach meiner >> Erfahrung könnte es mit dem cache zusammenhängen, sprich je mehr Seiten >> gecached sind, umso langsamer: Hier verbraten Abfragen wie select >> count(*) from cache_pages u.ä. emens Zeit. > > Daran kann es in meinem Testfall nicht liegen. Wenn man sich den > Skriptdurchlauf etwas genauer anschaut merkt man, daß alle Daten ohne > Probleme abgeholt werden, dann aber anscheinend kein EOF kommt und so die > Verbindung auf irgendeinen Timeout wartet. Kapser hat für fsockopen() einen > Timeout von 2 Sekunden angegeben - der scheint nicht zu greifen. Das mag an > dem Header Keep-Alive liegen den Kasper setzt. > > Ohne den Header Keep-Alive läuft alles sauber durch [1]. > > [1]<http://wiki.typo3.org/index.php/Ext_crawler#Performance> >
Hallo Andreas, danke, das war es. Bei uns wird nun deutlich schneller gecrawlt. Allerdings müssen wir den Timeout parametrisierbar machen. Gerade bei externen Dokumenten stoßen wir schnell ans Timeout bei 2 s. Umfangreiche Dokumente verlangen hier m.E. eine flexibele Einstellmöglichkeit. Gruss. Peter -- Fiat lux! Docendo discimus. _____________________________ 4Many® Services XING: http://www.xing.com/go/invuid/Peter_Russ _______________________________________________ TYPO3-german mailing list TYPO3-german@lists.netfielders.de http://lists.netfielders.de/cgi-bin/mailman/listinfo/typo3-german
