Hallo! Beim einlesen sollte in jedem Fall ein Logresolve laufen, damit man daraus ver�nftige Stats bauen kann. Ausserdem w�rde ich mich nicht auf das Logfileformat festlegen, sondern (wie z.B. Analog) f�r jedes Feld im Logfile einen Parameter verwenden. Damit w�re es dann auch m�glich "artfremde" Logfileformate zu definieren und zu verarbeiten.
Das Einlesen w�rde ich nicht per ASP sondern per VBS orgnisieren und dass per Scheduler autom. 1x t�gl. Durchf�hren (sofern Zugrif auf einen eig. Server). Des weiteren sollte das verarbeitete Logfile nicht vernichtet, sondern gepackt abgelegt werden (Zumindest sollte man das konfigurieren k�nnen). Per ASP w�rde ich dann die "On-The-Fly" Ausgabe erstellen. Die DB sollte dabei extr. Optimiert sein (indizies, o.�.). Wir haben z.B. NT Server mit Logfiles zw. 1 & 2 GB!! / Tag. Daraus eine On-the-Fly Ausgabe nach Kundenwunsch ist schon heftig, wenn damit der Server nicht zu sehr belastet werden soll (schliesslich ist die erste Aufgabe das Ausliefern der Website). Z.Zt. Braucht unser Server mit den gr�ssten Logfiles (zw. 1,5 - 2GB / Tag) zur Stats generierung ca. 60Min. Inkl. Logresolve (wobei wir zwei eig. Cache Nameserver daf�r zur Verf�gung haben, die wir mit 1000 gleichz. Anfragen / Server bei ca. 250 Servern fluten k�nnen). In dieser Zeit hat die Maschine alle Proz zu ca. 40-60% , der Ram Speicher zu ca. 50% gelastet, nur um Stats zu erzeugen. Das machen wir halt nachts, so dass das keine allzu grossen Probl. macht. Lange Rede kurzer Sinn: Wenn Du aber ein Teil bauen willst, das das "on-the-fly" generiert, solltest Du den Punkt Performance unbedingt ber�cksichtigen (Schliesslich wollen wir doch alle mal einen Server mit Logfiles > 1GB, oder? ;)) ) Mit freundlichen Gr�ssen Mathias Becker [EMAIL PROTECTED] > -----Urspr�ngliche Nachricht----- > Von: Claudius Ceteras [mailto:[EMAIL PROTECTED]] > Gesendet: Freitag, 17. Mai 2002 00:13 > An: ActiveServerPages German > Betreff: [aspgerman] RE: Logfile-Analyse mit Access - Wer hat > Script oder Idee parat? > > > Kleine Idee f�r auswahl-Algorithmus... > > - �ber alle *.log Dateien iterieren > - Datei schon eingelesen?(In der DB gespeichert; > oder gelesene Dateien in anderes Directory schieben, > dann entf�llt dieser Test) > - Aus Dateinamen Datum erzeugen mit dateserial > - mit datediff checken, ob datum �lter ist als "heute".. > - falls ja, einlesen (und datei verschieben) > - sonst: ignorieren... > > Claudius > > > > > Hi Leute, > > > > habe den Artikel http://www.aspheute.com/artikel/20010502.htm > > auf ASP heute > > gelesen (Logfiles mit Access auswerten). > > > > Nun w�rde ich das gerne so machen: > > > > Den Ordner angeben, den das ASP-File nach Logfiles suchen > soll. Wenn > > Logfiles gefunden wurden, nachgucken, ob schon Logfiles im Ordner > > sind, wenn ja, dann soll er das j�ngste Logfile (Namensschema > > exyymmdd.txt) raussuchen, > > nachgucken, von wann das Logfile ist und mit dem heutigen > > Datum vergleichen. > > Ist das Logfile in der DB von gestern soll er gar nichts > > machen. Ist es von > > vorgestern, soll er das Logfile von gestern in die DB schreiben. > > > > Nun kann es aber vorkommen, das massig Logfiles da sind, aber > > noch keine > > Eintr�ge in der DB, dann soll das Script s�mtliche Logfiles > > bis gestern > > (nicht das heutige Logfile, weil das ja noch nicht > > abgeschlossen ist), in > > die DB schreiben. > > > > Nun w�rde ich gerne mehrere Webs in einer DB abhandeln, ein > > zus�tzliches > > Feld "Webnummer" habe ich schon in der DB hinzugef�gt. Es > > sollen in einem > > zweidimensionalen Array die Webnummer und der Pfad angegeben > > sein, in dem > > die Logfiles liegen, dann soll nacheinander alles abgehandelt > > nach obigen > > Schema abgehandelt werden. > > > > Das Script wird dann einmal am Tag aufgerufen (Automatisation > > per VBS oder > > so ist nicht n�tig). > > > > Hat jemand sowas schon gemacht? Ich will das Rad ja nicht > zum 2. Mal > > erfinden. Nutzt hier jemand die Logfile-Analyse mit Access > und w�rde > > mir sein Script �berlassen? Oder eine Grundschemata geben? Ich > > kriege heute > > nicht mal eine einfache For each ... Next-Schleife auf die > > Reihe. Habe es > > wohl gestern mit Buchis EventCalender etwas �bertrieben (sa� > > da heute morgen > > um 5 noch dran). *g* > > > > Ideen? Vorschl�ge? Scripte? > > > > Ihr fragt Euch, warum ich das so machen will? Ganz einfach, > weil unser > > bl�des Logfile-Analyse-Programm jeden Tag s�mtliche (!!!) > Logfiles neu > > einliest, statt einfach nur das neueste hinten dran zu > h�ngen und das > > beansprucht den Server sehr, da sich mittlerweile eine ganze Masse > > Logfiles angesammelt haben. > > > > W�re auch nicht schlecht, wenn das Logfile, sobald ein in die > > DB geschrieben > > wurde, in einen anderen Ordner verschoben (nicht kopiert!) > > wird, das ist > > aber nicht zwingend erforderlich. Das kriege ich dann wohl > > auch noch selbst > > hin... hoffe ich zumindest... *g* > > > > W�re echt dankbar! > > > > Euer "ewiger Beginner" > > > > Arkor, http://www.drhirn.com/20 > > > > > > | [aspgerman] als [EMAIL PROTECTED] subscribed > > | http://www.aspgerman.com/archiv/aspgerman/ = Listenarchiv > Sie k�nnen > > | sich unter folgender URL an- und abmelden: > > | http://www.aspgerman.com/aspgerman/listen/anmelden/aspgerman.asp > > > > > | [aspgerman] als [EMAIL PROTECTED] subscribed > | http://www.aspgerman.com/archiv/aspgerman/ = Listenarchiv > Sie k�nnen > | sich unter folgender URL an- und abmelden: > | http://www.aspgerman.com/aspgerman/listen/anmelden/aspgerman.asp > | [aspgerman] als [email protected] subscribed | http://www.aspgerman.com/archiv/aspgerman/ = Listenarchiv | Sie k�nnen sich unter folgender URL an- und abmelden: | http://www.aspgerman.com/aspgerman/listen/anmelden/aspgerman.asp
