Bonjour à tous,
Je déploie actuellement avec grand plaisir des applications Java en
charge de faire du traitement de masse sur des données.
Actuellement, on utilise log4j pour sortir ces logs, configuré grosso
modo comme tel :
* Les messages de debug sortent dans un fichier debug.log qui est
rotaté dès qu'il dépasse 100 Mo
* Les messages autres vont dans des fichiers info.log, warn.log,
error.log, qui sont rotatés sur base de la date
* Quand une erreur arrive, on envoie un mail
Donc pour les messages de debug, tout va bien, par contre pour le reste
comment dire... Quand on a une erreur lancée pour chaque ligne de donnée
(ce qui est arrivé plus d'une fois), alors on a grosso modo la même
exception qui monte des millions de fois (mais pas exactement la même).
Cela a plusieurs effets de bord : d'une part faire tomber le serveur
mail, et d'autre part saturer les disques et empêcher le fonctionnement
du service.
L'idée serait donc d'externaliser la gestion des logs pour 2 raisons :
* Empêcher que les logs nuisent à l'exécution du programme en
saturant l'espace disque
* Être capable de gérer les erreurs par lot : si une même exception
arrive 2 millions de fois, générer une seule alerte et l'envoyer par
mail à la team de maintenance, par exemple
Je cherche donc un système en mesure d'absorber des gros pics de logs,
de ne pas consommer des gigas et des gigas de stockage, et de préférence
avec une interface de visualisation web sympa. Possiblement compatible
avec syslog ou en tout cas avec un appender log4j.
Pour l'instant j'ai trouvé http://three.kibana.org/ qui semble convenir
approximativement à ces besoins. Il y a aussi un vieux thread
(http://www.frsag.org/pipermail/frsag/2010-July/000226.html) qui liste
pas mal de choses, mais qui n'ont pas l'air d'être adaptées au besoin de
traiter les choses en bloc. À part Facebook Scribe éventuellement, mais
ça a l'air trop perché par rapport au temps que je peux y consacrer.
Je suis preneur de toute proposition/retour d'expérience :)
Merci,
--
Rémy Sanchez
http://hyperthese.net/
_______________________________________________
Liste de diffusion du FRsAG
http://www.frsag.org/
