Hallo Erik,

vielen Dank für die schnelle Antwort.

> Die Erklärung ist einfach: es handelt sich um _dynamisch generierte_
> Seiten, also um Seiten die nicht so wie sie zum Client geschickt werden
> schon auf der Harddisk zur Verfügung stehen sondern aus [...]

Deine Erklärung ist gut, zumal sie (1)+(2) auf einmal erklärt.

Aber die Seiten unter z.B. http://www.mpi-inf.mpg.de sind alle STATISCH,
d.h. es wird ganz gewöhnlich das entsprechende File aus dem DocumentRoot
directory zurückgegeben.

Oder siehst du, wie deine Erklärung dann immer noch greift?

> Achso, um auf Dein ursprüngliches Crawling-Problem zurückzukommen:
> damit musst Du wohl Leben. Dies verursacht auch in anderen Gebieten
> des Internets (Upstream-Proxies, ...) Probleme die vermeidbar wären,
> aber so ist es halt.

Stimmt. Aber in mindestens einem Fall geht es um eine Domain wo ich
zumindestens teilweise Einfluss auf den Setup habe. Da wär's schon
großartig wenn ich die Re-Crawl Zeit von 15 Stunden auf 1 Stunde
reduzieren könnte!

Holger


--------------------------------------------------------------------------
                Apache HTTP Server Mailing List "users-de"
      unsubscribe-Anfragen an [EMAIL PROTECTED]
           sonstige Anfragen an [EMAIL PROTECTED]
--------------------------------------------------------------------------

Antwort per Email an