Hallo,
ich schlage mich nun seit Tagen mit dem neuen Crawler (3.0) herum, im
besonderen mit der Gruppenkonfiguration.
Hintergrund ist, dass es etliche FE-Benutzergruppen gibt. Ingesamt gibt
es ca. 90 verschiedene Gruppenkombinationen für FE-User, die ich alle
einzeln Crawlen muss.
Doch in dem
Hallo!
Ich versuche seit zwei Tagen einen statischen Export einer Seite
anzustossen.
Leider läuft zwar der crawler (er trägt auch die configuration staticpub
in seine liste ein) per Backend und per Kommandozeile, allerdings wird
keine einzige Seite von staticpub angelegt.
Die
Habs geade selbst rausgefunden:
durch die Verwendung eines PHP_SCRIPT_EXT im TypoScript und der Angabe
config.no_cache=1 wurde der Export verhindert.
Allerdings auch ohne Fehlermeldung bzw. wenn nur das PHP_SCRIPT_EXT
erschien die Meldung die Seite wäre nicht cachebar.
Vielleicht erspart sich
On Wed, 30 Sep 2009 17:50:08 +0200, Timon Grützmacher
ti...@zeilenschmiede.de wrote:
Habs geade selbst rausgefunden:
durch die Verwendung eines PHP_SCRIPT_EXT im TypoScript und der Angabe
config.no_cache=1 wurde der Export verhindert.
Allerdings auch ohne Fehlermeldung bzw. wenn nur das
Hi
/www/web1234.com/1234/123456/typo3/cli_dispatch.phpsh crawler
wenn ich diesen pfad bei den cronjobs angebe, dann bekomme ich:
Die Datei 1234/123456/typo3/cli_dispatch.phpsh crawler existiert nicht
Muss man diesen cj irgendwie anders anlegen?
Die Datei typo3/cli_dispatch.phpsh
Hi,
Hi,
irgendwie hat mein crawler noch nie so richtig funktioniert.
Also der cronjob geht schonmal gar nicht.
Ich hab den cj über das domainfactory interface laufen, als Direkter
Scriptaufruf:
/www/web1234.com/1234/123456/typo3conf/ext/crawler/cli/crawler_cli.phpsh
aktuelle
Tolleiv Nietsch schrieb:
Hi,
Hi,
irgendwie hat mein crawler noch nie so richtig funktioniert.
Also der cronjob geht schonmal gar nicht.
Ich hab den cj über das domainfactory interface laufen, als Direkter
Scriptaufruf:
Hi,
irgendwie hat mein crawler noch nie so richtig funktioniert.
Also der cronjob geht schonmal gar nicht.
Ich hab den cj über das domainfactory interface laufen, als Direkter
Scriptaufruf:
/www/web1234.com/1234/123456/typo3conf/ext/crawler/cli/crawler_cli.phpsh
Der cj läuft jeden abend, aber
Hallo Newsgroup :)
Ich beschäftige mich jetzt das erste mal mit der indexed_search und der
crawler-Extension, daher steige ich noch nicht so ganz durch.
In der Typo3-Wiki Seite für die crawler-Extension
(http://wiki.typo3.org/index.php/Crawler) steht folgender Eintrag:
== PageTS ==
Hallo
Jochen Graf schrieb:
ich habe den crawler eingerichtet und diesen kann ich auch manuell im
Backend anstossen.
klappt soweit gut.
Nun möchte ich dieses Script per cron laufen lassen.
Dazu erstellte ich einen cronjob
* * * * *
Bernd Schuhmacher nMedien GbR schrieb:
Hallo
Jochen Graf schrieb:
ich habe den crawler eingerichtet und diesen kann ich auch manuell im
Backend anstossen.
klappt soweit gut.
Nun möchte ich dieses Script per cron laufen lassen.
Dazu erstellte ich einen cronjob
* * * * *
Daniel Pötzinger a écrit :
Andreas Mueller schrieb:
Hallo,
Hi,
Danke für die Antwort!
sorry die verspätete Antwort, ich war am Wochenende ohne Internet.
ich habe hier ein Problem mit dem Crawler den ich dazu verwenden will
meine Seite zu indizieren. Ich erstelle per cron job erfolgreich
Hallo,
ich habe hier ein Problem mit dem Crawler den ich dazu verwenden will
meine Seite zu indizieren. Ich erstelle per cron job erfolgreich Queue
Einträge. Lasse ich diese aber manuell oder per cron abarbeiten bekomme
ich folgende Fehlermeldung:
http://www.mydomain.org/index.php?id=5864
Andreas Mueller schrieb:
Hallo,
ich habe hier ein Problem mit dem Crawler den ich dazu verwenden will
meine Seite zu indizieren. Ich erstelle per cron job erfolgreich Queue
Einträge. Lasse ich diese aber manuell oder per cron abarbeiten bekomme
ich folgende Fehlermeldung:
Hi,
ich übermittle mit der Crawler extension eine URL zum Crawlen und starte
danach das Script per Kommandozeile, da die Seite einige PDF's enthält.
Nach ein-zwei Minuten bricht das Crawlen ab mit folgender Fehlermeldung:
Warning: implode(): Bad arguments. in
Hallo,
ich benutze auch meiner Seite die indexed-search Extension. Ich habe
eine Seite auf der ca. 50 PDF's verlinkt sind (alle aus dem fileadmin,
allerdings 'händisch' mit typolink) mit ca. 80 Seiten pro PDF. Wenn ich
die Seite nun besuche startet der Crwaler anscheinend automatisch das
liegt vermutlich an den einstellungen der indexed-search extension.
im ext-mamager kannst du einstellen wie viele 'exteren' Dateien
indiziert werden. hier kannst du dann auch einen haken setzen, dass alle
gefundenen 'externen' dateien der crawler-warteschlange hinzugefügt werden.
Gerhard Mehsel
Hallo,
es gibt hier ja einige, die mit dem crawler (+indexed search)
kämpfen. Ich habe in den letzten Tagen den wiki-Eintrag zur crawler
extension überarbeitet: http://wiki.typo3.org/index.php/Ext_crawler
Ich bin kein professioneller Typo3ler und habe den Eintrag nach dem
Motto ich wäre
Hallo Liste,
ich möchte den crawler für indexed_search konfigurieren. Dazu habe ich
mir die Anleitung im Typo3-wiki[1] durchgelesen und auf meine
Installation hin angepasst. Mein TS sieht folgendermassen aus:
-8-8-8-8-8-8-8-8-8-8-
page = PAGE
...
Am Montag, den 13.08.2007, 14:10 +0200 schrieb Tamas Szalai:
Hallo Liste,
...
habe mittlerweile (wieder mal) selber die Lösung gefunden
Schaue ich nun unter Web/Info/Site Crawler - Start Crawling steht bei
jeder Seite überall nur No Entries. Als nächstes schaue ich mir den
Crawler Log
--- Original Nachricht ---
Absender: Andreas Otto
Datum: 26.06.2007 14:22:
Hallo Peter
Peter Russ wrote:
m.E. ist fgets deshalb so langsam, weil es auf die Auslieferung der
Seite warten muss. Deshalb könnte es interessant sein, welche Queries
u.U. das System ausbremsen. Was sagt der
Hallo Peter,
Peter Russ wrote:
danke, das war es. Bei uns wird nun deutlich schneller gecrawlt.
Allerdings müssen wir den Timeout parametrisierbar machen. Gerade bei
externen Dokumenten stoßen wir schnell ans Timeout bei 2 s. Umfangreiche
Dokumente verlangen hier m.E. eine flexibele
--- Original Nachricht ---
Absender: Andreas Otto
Datum: 27.06.2007 11:25:
Hallo Peter,
Peter Russ wrote:
danke, das war es. Bei uns wird nun deutlich schneller gecrawlt.
Allerdings müssen wir den Timeout parametrisierbar machen. Gerade bei
externen Dokumenten stoßen wir schnell ans
Hallo Thomas
Thomas Scholze wrote:
der Crawler benötigt am meisten Zeit für readUrl_exec(), dort gehen
knappe 15sek drauf und das auf dem produktiv-system.
Ich habe mittlerweile mal den Profiler in Xdebug angeworfen. In den
Profiling Daten sieht man sehr gut, daß das Problem mit der PHP
--- Original Nachricht ---
Absender: Andreas Otto
Datum: 26.06.2007 11:08:
Hallo Thomas
Thomas Scholze wrote:
der Crawler benötigt am meisten Zeit für readUrl_exec(), dort gehen
knappe 15sek drauf und das auf dem produktiv-system.
Ich habe mittlerweile mal den Profiler in Xdebug
Hallo Peter
Peter Russ wrote:
m.E. ist fgets deshalb so langsam, weil es auf die Auslieferung der
Seite warten muss. Deshalb könnte es interessant sein, welche Queries
u.U. das System ausbremsen. Was sagt der MySQL Slow-Log? Nach meiner
Erfahrung könnte es mit dem cache zusammenhängen, sprich
Peter Russ schrieb:
Thomas Scholze schrieb:
Hallo,
eine kurze Frage: Ist es möglich den crawler etwas zu beschleunigen?
Ich möchte (da Mitternachts der Cache geleert wird) mit dem crawler
die Seiten neu cachen und in dem Zug auch im Index updaten.
Das ganze läuft mit folgender config:
--
Andreas Otto schrieb:
Hallo Thomas,
Thomas Scholze wrote:
-- crawler-aufruf in der Shell --
$ time
/home/www/vh/www.fh-lausitz.de/typo3/sites/typo3_FHL_test/typo3/cli_dispatch.phpsh
crawler_im 2 -d 999 -n 999 -ss -proc
tx_cachemgm_recache,tx_indexedsearch_reindex,tx_indexedsearch_crawler
Hallo Thomas,
Thomas Scholze wrote:
-- crawler-aufruf in der Shell --
$ time
/home/www/vh/www.fh-lausitz.de/typo3/sites/typo3_FHL_test/typo3/cli_dispatch.phpsh
crawler_im 2 -d 999 -n 999 -ss -proc
tx_cachemgm_recache,tx_indexedsearch_reindex,tx_indexedsearch_crawler -o
exec
-- mit dem
Thomas Scholze schrieb:
Hallo,
eine kurze Frage: Ist es möglich den crawler etwas zu beschleunigen?
Ich möchte (da Mitternachts der Cache geleert wird) mit dem crawler die
Seiten neu cachen und in dem Zug auch im Index updaten.
Das ganze läuft mit folgender config:
-- TypoScript --
##
Hallo Andreas,
bei mir hatte es damals mit der Cachemgm Extension funktioniert, da die
reindex lediglich Seiten neu indexiert, die bereits vorher indexiert
waren (hab ich zumindest so verstanden).
Da weiterhin nur Seiten indexziert werden, die auch gecacht sind, hatte
es bei mir mit der
Hallo,
ich habe ein Problem mit der Crawler-Extension. Ich verwende Version
2.0.0. auf TYPO3 4.1.1.
Die Extension ist eingerichtet und scheint auch auf den ersten Blick zu
funktionieren, ich kann URLs generieren lassen und diese werden auch in
die Queue geschrieben. Wenn ich die Queue über
Hi!
Ich moechte mit der crawler-Extension meine Seiten (vor allem meine
tt_news) indizieren.
Ich habe auch dazu ein Beispiel gefunden:
tx_crawler.crawlerCfg.paramSets {
tt_news = tx_ttnews[tt_news]=[_TABLE:tt_news;_PID:7]
tt_news.procInstrFilter = tx_indexedsearch_reindex,
Hi,
wenn ich den crawler anschmeiße, dann läuft der so 60-80 Sekunden.
Im Backend wird der Status und Zeit alles sauer angezeigt.
Dort steht dann auch immer
Message: 50 rows
Kann mir jemand erklären was das bedeutet?
Ich würde jetzt mal vermuten, dass er nur 50 Einträge abgearbeitet hat.
Was
Hallo zusammen,
gibt es eine Möglichkeit die Extension crawler so zu konfigurieren, dass
mir anstatt dem ersten in der Konfiguration der
Indexierungseinstellung für einen Datenbank Datensatz angegebenen Feld
(Felder (erstes ist Titel)) zwei Felder als Titel des Suchergebnisses
der
35 matches
Mail list logo
