--- Original Nachricht ---
Absender: Andreas Otto
Datum: 27.06.2007 11:25:
> Hallo Peter,
>
> Peter Russ wrote:
>> danke, das war es. Bei uns wird nun deutlich schneller gecrawlt.
>> Allerdings müssen wir den Timeout parametrisierbar machen. Gerade bei
>> externen Dokumenten stoßen wir sch
Hallo Peter,
Peter Russ wrote:
> danke, das war es. Bei uns wird nun deutlich schneller gecrawlt.
> Allerdings müssen wir den Timeout parametrisierbar machen. Gerade bei
> externen Dokumenten stoßen wir schnell ans Timeout bei 2 s. Umfangreiche
> Dokumente verlangen hier m.E. eine flexibele Einste
--- Original Nachricht ---
Absender: Andreas Otto
Datum: 26.06.2007 14:22:
> Hallo Peter
>
> Peter Russ wrote:
>> m.E. ist fgets deshalb so langsam, weil es auf die Auslieferung der
>> Seite warten muss. Deshalb könnte es interessant sein, welche Queries
>> u.U. das System ausbremsen. Was
Hallo Peter
Peter Russ wrote:
> m.E. ist fgets deshalb so langsam, weil es auf die Auslieferung der
> Seite warten muss. Deshalb könnte es interessant sein, welche Queries
> u.U. das System ausbremsen. Was sagt der MySQL Slow-Log? Nach meiner
> Erfahrung könnte es mit dem cache zusammenhängen, spr
--- Original Nachricht ---
Absender: Andreas Otto
Datum: 26.06.2007 11:08:
> Hallo Thomas
>
> Thomas Scholze wrote:
>> der Crawler benötigt am meisten Zeit für readUrl_exec(), dort gehen
>> knappe 15sek drauf und das auf dem produktiv-system.
>
> Ich habe mittlerweile mal den Profiler in
Hallo Thomas
Thomas Scholze wrote:
> der Crawler benötigt am meisten Zeit für readUrl_exec(), dort gehen
> knappe 15sek drauf und das auf dem produktiv-system.
Ich habe mittlerweile mal den Profiler in Xdebug angeworfen. In den
Profiling Daten sieht man sehr gut, daß das Problem mit der PHP Funkt
Peter Russ schrieb:
> Thomas Scholze schrieb:
>> Hallo,
>> eine kurze Frage: Ist es möglich den crawler etwas zu beschleunigen?
>>
>> Ich möchte (da Mitternachts der Cache geleert wird) mit dem crawler
>> die Seiten neu cachen und in dem Zug auch im Index updaten.
>>
>> Das ganze läuft mit folgend
Andreas Otto schrieb:
> Hallo Thomas,
>
> Thomas Scholze wrote:
>> -- crawler-aufruf in der Shell --
>> $ time
>> /home/www/vh/www.fh-lausitz.de/typo3/sites/typo3_FHL_test/typo3/cli_dispatch.phpsh
>> crawler_im 2 -d 999 -n 999 -ss -proc
>> tx_cachemgm_recache,tx_indexedsearch_reindex,tx_indexedsea
Thomas Scholze schrieb:
> Hallo,
> eine kurze Frage: Ist es möglich den crawler etwas zu beschleunigen?
>
> Ich möchte (da Mitternachts der Cache geleert wird) mit dem crawler die
> Seiten neu cachen und in dem Zug auch im Index updaten.
>
> Das ganze läuft mit folgender config:
> -- TypoScript
Hallo Thomas,
Thomas Scholze wrote:
> -- crawler-aufruf in der Shell --
> $ time
> /home/www/vh/www.fh-lausitz.de/typo3/sites/typo3_FHL_test/typo3/cli_dispatch.phpsh
> crawler_im 2 -d 999 -n 999 -ss -proc
> tx_cachemgm_recache,tx_indexedsearch_reindex,tx_indexedsearch_crawler -o
> exec
>
> -- mit
Hallo,
eine kurze Frage: Ist es möglich den crawler etwas zu beschleunigen?
Ich möchte (da Mitternachts der Cache geleert wird) mit dem crawler die
Seiten neu cachen und in dem Zug auch im Index updaten.
Das ganze läuft mit folgender config:
-- TypoScript --
## http://wiki.typo3.org/index.php/Ex
11 matches
Mail list logo
