Hallo,

du sage mal gibt es die Möglichkeit das man beim Automatischen erstellen eines Reports die Priorität mit angeben kann? Damit man das Programm z.B. als CronJob laufen lassen kann.

Das problem mit den FehlerCodes besteht weiterhin. (Verwede bereits die von dir Vorgeschlagene FormatStr Version).

MfG
neo

NeoInDerMATRIX hat folgendes geschrieben :

du sage mal gibt es die Möglichkeit das man beim Automatischen erstellen eines Reports die Priorität mit angeben kann? Damit man das Programm z.B. als CronJob laufen lassen kann.

Ich werde mir das mal ansehen.
Danke für den Vorschlag!

NeoInDerMATRIX hat folgendes geschrieben :

Das problem mit den FehlerCodes besteht weiterhin. (Verwede bereits die von dir Vorgeschlagene FormatStr Version).

Ich glaube du hast einige falsche Zeichen drin (sh. PM).

Version 1.3.1:
[+] Eventuelle Fehler beim Parsen der Protokolldateien können jetzt in eine Datei ausgegeben werden.
[*] Die Erkennung der Betriebssysteme, Suchmaschinen und User-Agents wurde erweitert.

(Download im ersten Posting)

Version 1.3.2:
[+] Es werden jetzt weitere Betriebssysteme erkannt, wie z.B. SymbianOS und Varianten von div. MacOS- und Windows-Systemen.
[+] Im Namen der Ausgabedatei für den Report können jetzt Platzhalter verwendet werden, die gegen diverse Datumsinformationen ersetzt werden.
[*] Die IPCountry-Datenbank zur Ermittlung des Landes zu einer IP-Adresse wurde aktualisiert.
[-] Kleinere Korrekturen am HTML-Code der Report-Vorlagen.

(Download im ersten Posting)

Version 1.3.3:
[+] Die Einstellung "Einträge ohne erfolgreiche Zugriffe nicht anzeigen" kann in den Vorlagen für jede Tabelle gesondert eingestellt werden.
[+] Diverse kleinere Änderungen an den Vorlagen. Für die Reporte wird u.a. im Webbroser jetzt das Programmicon als Fav-Icon angezeigt.
[+] Für jede Protokolldatei kann jetzt eine eigene Ausgabedatei erstellt werden.
[+] In der Browser- und Spider-Liste werden jetzt ebenfalls grafische Balken angezeigt.

(Download im ersten Posting)

Version 1.3.4:
[+] Die Größe der angeforderten Daten kann jetzt in einer Tabelle aufgegliedert werden.
[+] Die Vorlageneinstellungen werden jetzt in einer eigenen Datei gespeichert.
[+] Festgelegte Referrer Sites können jetzt in einer eignen Liste ausgegeben werden. Dadurch können z.B. die Zugriffe von Partnerseiten einfach beobachtet werden.
[*] Es werden jetzt weitere Betriebssysteme und Browser erkannt. (Änderungen in den Dateien "OperatingSystems.dat" und "UserAgents.dat")

(Download im ersten Posting)

Version 1.3.5:
[+] Für Robots und Browser werden jetzt Links zur Informationsseite des jeweiligen Robots bzw. zur Produktseite des Browsers angezeigt.
[+] In den Referrern wird jetzt auch das Betriebssystem "Ubuntu" und die Suchmaschine "Bing" erkannt. Weiters werden einige weitere User-Agents erkannt.
[+] In der Übersicht wird jetzt, neben den eindeutigen IP-Adressen, auch die vermutliche Anzahl der eindeutigen Benutzer angezeigt. Diese wird auf Grund der IP-Adresse und des User-Agents ermittelt.

(Download im ersten Posting)

Version 1.4:
[+] Die maximale Anzahl der Einträge für untergeordnete Tabellen (z.B. wie unter "Fehler nach Dateien und Referrer") kann jetzt festgelegt werden.
[+] Im Report können für IP-Adressen jetzt die dazugehörigen Hostnamen angezeigt werden. Die Namensauflösung erfolgt benutzergesteuert und wirkt sich so nicht auf die Verarbeitungsgeschwindigkeit der Reporterstellung aus.
[*] Die optionale Datei "IPCountry.dat" wurde aktualisiert.
[*] Diverse Ergänzungen und Änderungen in der User-Agent-Liste und der Liste der Betriebssysteme.

(Download im ersten Posting)

Version 1.4.1:
[+] Das Betriebssystem "Windows 7" wird jetzt erkannt.
[+] Für die Dateinamen im Report kann jetzt optional eine Bezeichnung bzw. ein Name angezeigt werden. Damit kann beispielsweise für Downloads der Name des Programms oder der Name einer Webseite an Stelle oder zusätzlich zum Dateinamen angezeigt werden.
[*] In den Protokolldateien werden jetzt Zeilenumbrüche (CR und/oder LF) alleine, oder zusammen in beliebiger Reihenfolge erkannt.
[*] In der Hilfe wurde der Abschnitt "DNS-Auflösung verwalten" detaillierter ausgeführt.

(Download im ersten Posting)

Nach längerer Zeit hab ich deinen Log-Parser mal wieder getestet und dabei sind mir ein par dinge aufgefallen.

Ich habe derzeit eine Server Konfiguration mit mehreren IPs und Domains und SubDomains die alle in eine Log-Datei mit einer Tages Log-Rotation geschrieben wird. Mein Log Format ist etwas Umfangreicher. Soviel zur Server Umgebung.

Die zum Test herangezogenen Log-Dateien umfassen derzeit 1.16 GB in 460 Dateien.

Das im Test Verwendete Log Format ist:

"%t %V:%p %a (%I,%O) [%T] %{X-Forwarded-For}i %u %l %>H %>m %>f %<s %>s %b Req=\"%r\" Referer=\"%{Referer}i\" Agent=\"%{User-Agent}i\""

Daraus ergeben sich Log-Daten wie folgend:



[02/Dec/2009:01:44:06 +0200] www.domain_b.de:80 217.0.0.23 (918,203) [0] - - - HTTP/1.1 GET D:/home/web/80.de.domain_b.www/images/smiles/yahoo/jetzt_komm_schon.gif 304 304 - Req="GET /images/smiles/yahoo/jetzt_komm_schon.gif HTTP/1.1" Referer="http://www.domain_a.de/shoutbox_view.php?0?auto_refresh=1" Agent="Mozilla/5.0 (Windows; U; Windows NT 5.1; de; rv:1.9.0. Gecko/2009032609 Firefox/3.0.8 (.NET CLR 3.5.30729)"
[02/Dec/2009:01:44:11 +0200] www.domain_b.de:80 84.0.0.127 (598,10789) [1] - - - HTTP/1.1 GET D:/home/web/80.de.domain_b.www/portal.php 200 200 10124 Req="GET /portal.php HTTP/1.1" Referer="-" Agent="Mozilla/5.0 (Windows; U; Windows NT 6.0; de; rv:1.9.0.9) Gecko/2009040821 Firefox/3.0.9 (.NET CLR 3.5.30729)"
[02/Dec/2009:01:44:32 +0200] 85.0.0.149:80 217.0.0.89 (46,506) [0] - - - HTTP/1.1 GET - 400 400 315 Req="GET /w00tw00t.at.ISC.SANS.DFind:) HTTP/1.1" Referer="-" Agent="-"
[02/Dec/2009:01:44:33 +0100] domain_a.de:80 66.0.0.132 (251,652) [0] - - - HTTP/1.1 GET - 303 303 353 Req="GET /robots.txt HTTP/1.1" Referer="-" Agent="Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
[02/Dec/2009:01:44:41 +0100] www.domain_a.de:80 66.0.0.183 (255,581) [0] - - - HTTP/1.1 GET D:/home/web/80.de.domain_a.www/robots.txt 404 404 326 Req="GET /robots.txt HTTP/1.1" Referer="-" Agent="Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
[02/Dec/2009:01:44:41 +0100] domain_a.de:80 66.0.0.132 (224,631) [0] - - - HTTP/1.1 GET - 303 303 343 Req="GET / HTTP/1.1" Referer="-" Agent="Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
[02/Dec/2009:01:44:41 +0100] www.domain_a.de:80 66.0.0.183 (255,580) [0] - - - HTTP/1.1 GET D:/home/web/80.de.domain_a.www/robots.txt 404 404 326 Req="GET /robots.txt HTTP/1.1" Referer="-" Agent="Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
[02/Dec/2009:01:44:41 +0100] www.domain_a.de:80 66.0.0.183 (228,2474) [0] - - - HTTP/1.1 GET D:/home/web/80.de.domain_a.www/index.php 200 200 2221 Req="GET / HTTP/1.1" Referer="-" Agent="Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

Nun die Dinge die mir aufgefallen sind:
1) Es ist bei dieser Log Konfiguration nicht Möglich ein Report für nur eine Domain oder SubDomain zu machen.
2) Das Parser dauert extrem Lang. Bei Nutzung eines CPU Kerns gestoppte 5 Minuten 20 Sekunden.
3) Man kann im Profil nur ein Hostname und co Eintragen.
4) Die per Default eingetragenen Dateinamenserweiterungen sind etwas Unvollständig. Dort gehören auch die gebräuchlichen Endungen für Videos und Medien Dazu oder besser sogar in eine extra Gruppe in den Report.
5) Idee: Es währe denke ich effektiver die Daten nicht direkt auszuwerten sondern in eine SQL-Lite oder ähnliche Datenbank zu Parsen und bei späteren erneuten Parser diese Daten nur aktualisieren. Den Report dann aus dieser Daten erstellen ist schneller. So handhabe ich das per PHP auf meinem Server.
6) Das Layout der Reports überarbeiten. So das jede Tabelle in einer Art einzel Seite Dargestellt wird und nicht wie jetzt alle Daten untereinander. Das macht es unübersichtlich.
7) Eine Frage: Hast du das mit dem CronJob aufrufen schon eingebunden. Damit man den Parser per Console alla
"HttpLogState.exe /Parse"
"HttpLogState.exe /Report /Profil=ALL"

So glaube das war erstmal alles, denke ich. Wie gesagt das sind nur kleine Anmerkungen von mir.

MfG
neo

NeoInDerMATRIX hat folgendes geschrieben :

2) Das Parser dauert extrem Lang. Bei Nutzung eines CPU Kerns gestoppte 5 Minuten 20 Sekunden. 5) Idee: Es währe denke ich effektiver die Daten nicht direkt auszuwerten sondern in eine SQL-Lite oder ähnliche Datenbank zu Parsen und bei späteren erneuten Parser diese Daten nur aktualisieren. Den Report dann aus dieser Daten erstellen ist schneller. So handhabe ich das per PHP auf meinem Server.

Das Parsen und Auswerten der Daten in einer GZip-komprimierten Datei erfolgt mit einer Geschwindigkeit von ca. 100.000 Zeilen pro Sekunde. Abhängig vom Computer und der Länge der Zeilen kann dies natürlich variieren.

Gestern habe ich ein kommerzielles Analyseprogramm getestet, bei dem das Parsen einer Datei (ohne Reporterstellung) knapp 2 Minuten gedauert hat. HTTP LogStat hat die selbe Datei in 2 Sekunden verarbeitet - mit Report.

Dieses Programm hat beispielsweise eine Datenbank zum Speichern der Informationen verwendet. Ich denke nicht, dass eine SQL-Anweisung schneller verarbeitet wird als dies bei meiner Lösung der Fall ist. Davon abgesehen ist SQLite beim Schreiben von Daten relativ langsam.

NeoInDerMATRIX hat folgendes geschrieben :

4) Die per Default eingetragenen Dateinamenserweiterungen sind etwas Unvollständig. Dort gehören auch die gebräuchlichen Endungen für Videos und Medien Dazu oder besser sogar in eine extra Gruppe in den Report.

Welche Dateiendungen meinst du konkret?

NeoInDerMATRIX hat folgendes geschrieben :

6) Das Layout der Reports überarbeiten. So das jede Tabelle in einer Art einzel Seite Dargestellt wird und nicht wie jetzt alle Daten untereinander. Das macht es unübersichtlich.

Danke für den Vorschlag. Ich werde ihn mir für eine der nächsten Versionen vormerken.

NeoInDerMATRIX hat folgendes geschrieben :

1) Es ist bei dieser Log Konfiguration nicht Möglich ein Report für nur eine Domain oder SubDomain zu machen. 3) Man kann im Profil nur ein Hostname und co Eintragen. 7) Eine Frage: Hast du das mit dem CronJob aufrufen schon eingebunden. Damit man den Parser per Console alla "HttpLogState.exe /Parse" "HttpLogState.exe /Report /Profil=ALL"

Diese Funktionen sind bereits enthalten und werden vermutlich in einer der nächsten Versionen auch in der Freeware-Version verfügbar sein.

Wobei bei der Verarbeitung von mehereren Domains ein Profil für jede Domain erstellt werden muss. Mit Hilfe einer Filterfunktion (RegEx-Ausdrücken) werden dann die von der Domain stammenden Informationen ausgewertet.

Ich habe nicht gesagt das andere Programme das besser können ich wollte nur sagen das ich es für recht lang empfinde. Da die Log Dateien jedes mal komplett neu gelesen werden müssen. Und genau hier greift der Punkt wenn du das in eine Datenbank oder irgend einem anderen Format zwischen speicherst. Dann müssen die Daten nur einmal gelesen werden können aber relativ leicht per Web Frontend oder ähnliches als Report ausgegeben werden. Und das lesen der Log Daten ist auch etwas schneller weil du nur ab dem letzten Punkt weiter lesen musst und nicht alles immer wieder neu. Das war eigentlich mein Vorschlag. Wie gesagt ich selber habe das auf meinem Server mit PHP so ähnlich geregelt. Sprich ich lasse den Server alle 30 Minuten die Log Daten lesen. Aber nur was neu ist. Und packe die Daten dann in die Datenbank. Wenn ich dann ein Report haben möchte brauche ich die Infos nur aus der Datenbank zu lesen. Und da ich die Daten nicht ständig komplett neu lesen muss kann ich die etwas größere Latenz zum schreiben der Daten auch noch verkraften.

Wie gesagt es ist keine Kritik bei weitem nicht. Dein Projekt ist recht interessant für jeden mit eigenem Log Dateien. Da so ein Report einige Informationen bereit hält die Interessant sind. Ich dachte nur das ich dir ein par von meinen Ideen von mir nahe bringe.

In diesen Sinne
MfG
neo

Ich glaube, dass da ein Mißverständnis war. Ich vermute mal, dass du nicht nur den letzten Tag oder die letzten Tage auswertest sondern einen längeren Zeitraum. Dafür wäre ein Datenbank vermutlich besser.

Da ich regelmäßig nur das Protokoll des letzen Tages auswerte, ist das Programm auch für diesen Zweck optimiert.

Für die tägliche oder mehrmals tägliche Auswertung von vielen Protokollen - etwa die des gesamten Jahres - ist HTTP LogStat nicht ausgelegt und somit auch nicht das optimale Werkzeug dafür. Eine serverseitige Lösung dürfte dafür geeigneter sein.

Dennoch wäre es nicht gan verkehrt, wenn man eine Möglichkeit bietet, die von HTTP LogStat zwischengespeicherten Daten zwischen mehreren Profilen zu "sharen", um beim Analysieren vieler Domains, die in die gleichen Logfiles geloggt werden (durchaus üblich*) nicht jedes Mal die Logfiles neu lesen zu müssen.

*Hab selber nur eine große Logfile für ~20 Domains. Selbst wenn ich die pro Domain\Subdomain in 10 Sekunden analysiert bekomme, sind das bei 20 Domains mit je 2-10 Subdomains mal schnell 15 Minuten Arbeitszeit, nur damit er Daten neu auswertet, die er bereits kennt.

Anyone who is capable of being elected president should on no account be allowed to do the job.
Ich code EdgeMonkey - In dubio pro Setting.

OK, wenn du es natürlich so siehst hast du recht. Aber wieso wertet man denn Log Dateien nur für einen Tag aus? Und nein die frage ist nicht böse gemeint, sondern es wundert mich nur gerade etwas. Da die meisten Informationen aus dem Report eigentlich erst Statistischen Sinn machen wenn man über einen Längeren Zeitraum auswertet.
Deshalb hatte ich es auch entsprechend verwendet.

Wie bereits geschrieben, finde ich für diese Art der Auswertung eine serverbasierte Lösung besser. Ich werde mir die inkrementelle Protokollauswertung mal vormerken und sobald die bereits geplanten Features umgesetzt wurden mal in Angriff nehmen (bzw. dies zu versuchen).

Version 1.4.2:
[+] Die Eintritts-Seiten (Webseiten mit einem Referrer einer anderen Seite) können jetzt im Report ausgegeben werden.
[+] Im benutzerdefinierten Format können jetzt zusätzliche Platzhalter verwendet werden, welche hauptsächlich für das Parsen von IIS-Logs ausgelegt sind.
[*] Die Datei "IPCountry.dat" wurde aktualisiert.
[*] Diverse kleinere Änderungen und Ergänzungen.

(Download im ersten Posting)

So nach langem mal wieder ein Bericht von mir. ^^

• Also beim Template sollte eventuell der Pfad für die Grafiken angepasst werden damit man den Bericht auch direkt auf eine Server zur Verfügung stellen kann.
  
• Im Template bei den IP und Domain sachen sollten Info Links hinzugefügt werden. Sowas wie:
  - whois.domaintools.com/{IP}
  - uptime.netcraft.com/...graph/?host={DOMAIN}
  - www.robtex.com/dns/{DOMAIN}
  - www.semrush.com/sear...=de&stype=domain
  - dns.l4x.org/{DOMAIN}
  
• Immer noch der Fehler beim Parsen meiner Logdateien bei den Fehlercodes und Statuscodes.
  
• Die Größen angaben für Trafik und Dateien sollte auch über den GB Bereich gehen.
  
• Im Template wird anstelle "Januar" "Jänner" ausgegeben
  
• Dateitypen sollten in Gruppiert werden können:
  Also so wie
  Gruppe | Dateitype
  Grafik | JPG
  Grafik | GIF
  Video | MPEG
  ...
  In der Dateietypeliste meine ich jetzt zum Beispiel.
  
• Das Template sollte ein komplette box herum bekommen damit eine Tabelle nicht breiter ist wie die anderen.
  
• eventuell in der Letzten Zeile einen Link auf die Datei die die Fehlerhaften Zeilen der Logdateien enthält oder glaich als neue Tabelle mit einfügen.
  
• Eventuelll das Template überarbeiten so das jede Tabelle entweder eine extra HTML_Seite ist und dadurch eine art Navigation entsteht oder aber das ganze per CSS oder JS lösen. Sprich oben ein Tableiste mit den einzelnen Punkten und so weiter. Das würde das ganze übersichtlicher machen bei größeren listen.
  

In diesem Sinne,

Cu
neo

Danke, ich habe mir deine Vorschläge vorgemerkt.

NeoInDerMATRIX hat folgendes geschrieben :

[*] Immer noch der Fehler beim Parsen meiner Logdateien bei den Fehlercodes und Statuscodes.

Welche Fehler treten bei Statuscodes auf?
Die Protokollzeilen und der Format-Ausdruck aus deinem Posting vom 03.12.2009 funktionieren bei mir scheinbar problemlos (2x 303 und 404, 1x alle anderen Statuscodes). Auch die übrigen Informationen werden im Report angezeigt und es gibt keine fehlerhaften Zeilen.

NeoInDerMATRIX hat folgendes geschrieben :

[*] Im Template wird anstelle "Januar" "Jänner" ausgegeben

In Österreich ist "Jänner" das richtige Wort für den ersten Monat. Wenn dich das stört, kannst du ja eine Sprachdatei für Deutschland erstellen.
Klingt vielleicht witzig, fuktioniert aber sehr einfach:
Erstelle eine neue Sprachdatei im Ordner "Languages", z.B. "Deutsch - BRD.lng" und schreibe nur die Zeile "DefVal.MonthNames.January=Januar" rein.

NeoInDerMATRIX hat folgendes geschrieben :

[*] Das Template sollte ein komplette box herum bekommen damit eine Tabelle nicht breiter ist wie die anderen.

Das ist schlecht, wenn bei automatisierten Zugriffen sehr lange - nicht existente - Pfade übergeben werden. Dann wären alle Tabellen zu breit, so ist es nur die mit den entsprechenden Einträgen.

Wenn du möchtest dann sende ich die die Debug Output LOG wegen dem falschen Parsen.
Das mit der Sprach Datei ist so OK. Dann währe eventuel das mit den einzelnen html seiten pro tabelle besser und oben drüber sowas wie ne tab wo die einzelnen gruppen oder tabelen auszuwählen sind.