On Sep 3, 2013, at 3:18 PM, Nicolas Roosen wrote: > -----BEGIN PGP SIGNED MESSAGE----- > Hash: SHA1 > > Bonjour,
Bonjour > > il y aurait Splunk qui pourrait faire l'affaire. Le logiciel est sujet > à licence (au volume de données à indexer), mais est très bien fait. > De plus il y a une énorme communauté active autour de Splunk. > J'ai mis splunk la ou je travaille actuellement, on a dépassé les 500 Mo de données / j. Ce qui fait que le produit me balance une erreur mettant en cause ce dépassement. Outre le fait qu'il me faille passer sur une version pro, je ne peux même plus consulter mes logs. Je pense que logstash avec les compléments (kibana, graylog...) est une solution intéressante. Par contre attention aux IO la concentration de log c'est tjs assez consommateur suivant la volumétrie > Nicolas > > On 9/3/2013 1:32 PM, Rémy Sanchez wrote: >> Bonjour à tous, >> >> Je déploie actuellement avec grand plaisir des applications Java >> en charge de faire du traitement de masse sur des données. >> >> Actuellement, on utilise log4j pour sortir ces logs, configuré >> grosso modo comme tel : >> >> * Les messages de debug sortent dans un fichier debug.log qui est >> rotaté dès qu'il dépasse 100 Mo * Les messages autres vont dans des >> fichiers info.log, warn.log, error.log, qui sont rotatés sur base >> de la date * Quand une erreur arrive, on envoie un mail >> >> Donc pour les messages de debug, tout va bien, par contre pour le >> reste comment dire... Quand on a une erreur lancée pour chaque >> ligne de donnée (ce qui est arrivé plus d'une fois), alors on a >> grosso modo la même exception qui monte des millions de fois (mais >> pas exactement la même). >> >> Cela a plusieurs effets de bord : d'une part faire tomber le >> serveur mail, et d'autre part saturer les disques et empêcher le >> fonctionnement du service. >> >> L'idée serait donc d'externaliser la gestion des logs pour 2 >> raisons : >> >> * Empêcher que les logs nuisent à l'exécution du programme en >> saturant l'espace disque * Être capable de gérer les erreurs par >> lot : si une même exception arrive 2 millions de fois, générer une >> seule alerte et l'envoyer par mail à la team de maintenance, par >> exemple >> >> Je cherche donc un système en mesure d'absorber des gros pics de >> logs, de ne pas consommer des gigas et des gigas de stockage, et de >> préférence avec une interface de visualisation web sympa. >> Possiblement compatible avec syslog ou en tout cas avec un appender >> log4j. >> >> Pour l'instant j'ai trouvé http://three.kibana.org/ qui semble >> convenir approximativement à ces besoins. Il y a aussi un vieux >> thread (http://www.frsag.org/pipermail/frsag/2010-July/000226.html) >> qui liste pas mal de choses, mais qui n'ont pas l'air d'être >> adaptées au besoin de traiter les choses en bloc. À part Facebook >> Scribe éventuellement, mais ça a l'air trop perché par rapport au >> temps que je peux y consacrer. >> >> Je suis preneur de toute proposition/retour d'expérience :) >> >> Merci, > > - -- > Vos conversations sont privées, sécurisez-les. > Your conversations are private, secure them. > https://gpgtools.org or http://gpg4win.org > -----BEGIN PGP SIGNATURE----- > Version: GnuPG v2.0.20 (MingW32) > Comment: Using GnuPG with Thunderbird - http://www.enigmail.net/ > > iQEcBAEBAgAGBQJSJeG7AAoJEIylYwQV0UQc0TMH/jEzBnPp0B3/421kgfdJ2DCm > Kz5m2e71GkgZpQ5dg/tPgeReAFpOf+vhjFbaYu8vOnkhF9BoYCrQd2nDTU+8qJtq > 8x2YcR+Wlb5VwC2jWBRHJya8gF8lMYQNgOtfULV5GSUzGilaWl4TN4zU4yne8GS9 > nys/93/9YHh9w/2ak1Gcau4aHRLkk4o9m+giBgGXlQv/yLOvxuZWZS0HhpjK0Z/6 > RJr6IBVRUeTqn9Lh/jxhuudTsuVwgIleW1o5/TwUkQkrC9miEujFQvM1UApgyJOu > U/EcUbG4qprhXQ72OeTLdw8vkxuqpLmKhe2fw+YNENKIuu7T/KFchcjINHDkvW0= > =N2Fv > -----END PGP SIGNATURE----- > _______________________________________________ > Liste de diffusion du FRsAG > http://www.frsag.org/ _______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
