Bonjour,
Je pense à logstach et et l'interface web Kibana :
http://logstash.net/
http://kibana.org/
Cordialement,
Le 03/09/2013 13:32, Rémy Sanchez a
écrit :
Bonjour à tous,
Je déploie actuellement avec grand plaisir des applications Java
en charge de faire du traitement de masse sur des données.
Actuellement, on utilise log4j pour sortir ces logs, configuré
grosso modo comme tel :
* Les messages de debug sortent dans un fichier debug.log qui
est rotaté dès qu'il dépasse 100 Mo
* Les messages autres vont dans des fichiers info.log,
warn.log, error.log, qui sont rotatés sur base de la date
* Quand une erreur arrive, on envoie un mail
Donc pour les messages de debug, tout va bien, par contre pour le
reste comment dire... Quand on a une erreur lancée pour chaque
ligne de donnée (ce qui est arrivé plus d'une fois), alors on a
grosso modo la même exception qui monte des millions de fois (mais
pas exactement la même).
Cela a plusieurs effets de bord : d'une part faire tomber le
serveur mail, et d'autre part saturer les disques et empêcher le
fonctionnement du service.
L'idée serait donc d'externaliser la gestion des logs pour 2
raisons :
* Empêcher que les logs nuisent à l'exécution du programme en
saturant l'espace disque
* Être capable de gérer les erreurs par lot : si une même
exception arrive 2 millions de fois, générer une seule alerte et
l'envoyer par mail à la team de maintenance, par exemple
Je cherche donc un système en mesure d'absorber des gros pics de
logs, de ne pas consommer des gigas et des gigas de stockage, et
de préférence avec une interface de visualisation web sympa.
Possiblement compatible avec syslog ou en tout cas avec un
appender log4j.
Pour l'instant j'ai trouvé http://three.kibana.org/ qui semble
convenir approximativement à ces besoins. Il y a aussi un vieux
thread
(http://www.frsag.org/pipermail/frsag/2010-July/000226.html) qui
liste pas mal de choses, mais qui n'ont pas l'air d'être adaptées
au besoin de traiter les choses en bloc. À part Facebook Scribe
éventuellement, mais ça a l'air trop perché par rapport au temps
que je peux y consacrer.
Je suis preneur de toute proposition/retour d'expérience :)
Merci,
--
|
|
|
/*
Grégory Epp Administrateur
Système
( Aix*Marseille Université
Direction Opérationnelle du Système d'Information
(D.O.S.I)
Pôle Ressources Système, Infrastructure (Campus
Saint-Jérôme)
Avenue Escadrille Normandie Niemen 13397 MARSEILLE
CEDEX 20
Tel : (+33|0) 413 55
04 73
*/
|
Ce message et toutes les pièces jointes
sont confidentiels et établis à l'attention exclusive
de ses destinataires. Toute utilisation de ce message
non conforme à sa destination, toute diffusion ou
toute publication, totale ou partielle, est interdite,
sauf autorisation expresse.
Si vous recevez ce message par erreur, merci de le
détruire et d'en avertir immédiatement l'expéditeur.
Aix*Marseille Université décline toute responsabilité
au titre des délais de réception de ce message, s'il a
été altéré, falsifié, ou a causé des dommages à votre
système. |
|