-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA1 Bonjour,
il y aurait Splunk qui pourrait faire l'affaire. Le logiciel est sujet à licence (au volume de données à indexer), mais est très bien fait. De plus il y a une énorme communauté active autour de Splunk. Nicolas On 9/3/2013 1:32 PM, Rémy Sanchez wrote: > Bonjour à tous, > > Je déploie actuellement avec grand plaisir des applications Java > en charge de faire du traitement de masse sur des données. > > Actuellement, on utilise log4j pour sortir ces logs, configuré > grosso modo comme tel : > > * Les messages de debug sortent dans un fichier debug.log qui est > rotaté dès qu'il dépasse 100 Mo * Les messages autres vont dans des > fichiers info.log, warn.log, error.log, qui sont rotatés sur base > de la date * Quand une erreur arrive, on envoie un mail > > Donc pour les messages de debug, tout va bien, par contre pour le > reste comment dire... Quand on a une erreur lancée pour chaque > ligne de donnée (ce qui est arrivé plus d'une fois), alors on a > grosso modo la même exception qui monte des millions de fois (mais > pas exactement la même). > > Cela a plusieurs effets de bord : d'une part faire tomber le > serveur mail, et d'autre part saturer les disques et empêcher le > fonctionnement du service. > > L'idée serait donc d'externaliser la gestion des logs pour 2 > raisons : > > * Empêcher que les logs nuisent à l'exécution du programme en > saturant l'espace disque * Être capable de gérer les erreurs par > lot : si une même exception arrive 2 millions de fois, générer une > seule alerte et l'envoyer par mail à la team de maintenance, par > exemple > > Je cherche donc un système en mesure d'absorber des gros pics de > logs, de ne pas consommer des gigas et des gigas de stockage, et de > préférence avec une interface de visualisation web sympa. > Possiblement compatible avec syslog ou en tout cas avec un appender > log4j. > > Pour l'instant j'ai trouvé http://three.kibana.org/ qui semble > convenir approximativement à ces besoins. Il y a aussi un vieux > thread (http://www.frsag.org/pipermail/frsag/2010-July/000226.html) > qui liste pas mal de choses, mais qui n'ont pas l'air d'être > adaptées au besoin de traiter les choses en bloc. À part Facebook > Scribe éventuellement, mais ça a l'air trop perché par rapport au > temps que je peux y consacrer. > > Je suis preneur de toute proposition/retour d'expérience :) > > Merci, - -- Vos conversations sont privées, sécurisez-les. Your conversations are private, secure them. https://gpgtools.org or http://gpg4win.org -----BEGIN PGP SIGNATURE----- Version: GnuPG v2.0.20 (MingW32) Comment: Using GnuPG with Thunderbird - http://www.enigmail.net/ iQEcBAEBAgAGBQJSJeG7AAoJEIylYwQV0UQc0TMH/jEzBnPp0B3/421kgfdJ2DCm Kz5m2e71GkgZpQ5dg/tPgeReAFpOf+vhjFbaYu8vOnkhF9BoYCrQd2nDTU+8qJtq 8x2YcR+Wlb5VwC2jWBRHJya8gF8lMYQNgOtfULV5GSUzGilaWl4TN4zU4yne8GS9 nys/93/9YHh9w/2ak1Gcau4aHRLkk4o9m+giBgGXlQv/yLOvxuZWZS0HhpjK0Z/6 RJr6IBVRUeTqn9Lh/jxhuudTsuVwgIleW1o5/TwUkQkrC9miEujFQvM1UApgyJOu U/EcUbG4qprhXQ72OeTLdw8vkxuqpLmKhe2fw+YNENKIuu7T/KFchcjINHDkvW0= =N2Fv -----END PGP SIGNATURE----- _______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
