Bonsoir,
On reste dans le traitement des logs.
J'appelle une commande subst dans un fichier syslog-ng.conf (sur Ubuntu
16.10 à jour)
Si le motif recherché est un littéral, ça marche très bien.
Si le motif recherché est une expression rationnelle au format POSIX, ça
marche très bien.
Si le m
Après avoir lu vos mails, il semblerait que j'ai un peu sous estimé le
projet sur la partie scalable et perf.
Je vais tester :
- rsyslog en natif
- fluentd en alternative avec logstash (info Stéphane Cottin)
- kafka (info Raphael Mazelier)
- [Client rsyslog] --> [logstash shipper (redis pour
Merci pour ce retour très complet.
On Mon, 06 Feb 2017 16:27:23 +0100
"Stéphane Cottin" wrote:
> fluentd est une alternative possible à logstash, beaucoup + léger.
>
> Chez nous on envoi tout ce qui est applicatif directement à fluentd
> en json et au format natif lorsque c'est possible, et sin
Il s'agit de CDD (3 ans) évolutif en CDI.
Cdlt,
Laurent
De: "FanThomaS"
Toujours pas d'info sur CDI ou CDD ?
Le 2017-02-05 10:41, l.mercier@laposte.net a écrit :
> Bonjour,
>
> Après avoir reçu plusieurs CV intéressants le mois dernier, je vous
> retransmet notre offre d'emploi.
>
Tout dépend ce que tu veux logguer et combien de temps, mais chez nous
on utilise un mix d'un peu tout en fonction des besoins :
- logbeam -> redis <- ELK (quand on a de l'applicatif legacy) : très
consommateur, logbeam est correct, logstash horrible, Kibana très
pratique (mais attention aux v
Bonjour;
C'est que j'ai mis en place.
[Client rsyslog] --> [logstash shipper (redis pour la perf) --> logstash
indexer] --> [ES]
Ca fonctionne parfaitement.
J´index un demi milliard de log (srv, fw, mysql queries) par jour.
A+
Nicolas Girardi.
> Le 6 févr. 2017 à 15:01, fr...@jack.fr.eu.org a
Le 06/02/2017 à 16:27, Stéphane Cottin a écrit :
fluentd est une alternative possible à logstash, beaucoup + léger.
Intéressant !
Un peu HS aussi, mais petit retour d'EX ELK :
Après avoir utilisé pendant pas mal de temps ELK, on en est revenu car
la base devenait énorme. Je l'ai sûrement
J'aime bien avoir la main mon infra car j'ai le temps pour bien bosser.
La doc semble intéressante.
On Mon, 6 Feb 2017 15:28:41 +0100
Pierre De Paepe wrote:
> Bonjour,
>
> (Désolé pour la pub, mais vous verrez, elle a du sens).
>
> Nous proposons chez OVH la stack ELK avec l'hébergement dédié
fluentd est une alternative possible à logstash, beaucoup + léger.
Chez nous on envoi tout ce qui est applicatif directement à fluentd en
json et au format natif lorsque c'est possible, et sinon au format
syslog pour les apps legacy.
De même pour nginx , haproxy, etc ... qui supportent syslog
Cette technique me convient. J'ai plus qu'a versionner et push de la
conf dans /etc/rsyslog.d/ et restart. J'aime bien cette technique.
On Mon, 6 Feb 2017 15:01:36 +0100
fr...@jack.fr.eu.org wrote:
> Mon idée pour l'instant (qui n'est pas fini de concevoir, et donc pas
> en prod), c'est d'utilis
Lu en diagonal:
http://www.rsyslog.com/doc/v8-stable/tutorials/reliable_forwarding.html
http://www.rsyslog.com/doc/v8-stable/configuration/modules/imrelp.html
On 06/02/2017 15:50, Alexandre wrote:
> J'avais vu cette méthode ou le logstash peut écouter directement sur le
> 514 et capter l'info. Je
J'avais vu cette méthode ou le logstash peut écouter directement sur le
514 et capter l'info. Je ne sais pas si c'est mieux de configurer le
rsyslog en mode serveur et de donner les logs à manger à logstash.
D'ailleurs en cas de coupure réseau, rsyslog bufferise un peu ?
Alex.
On Mon, 6 Feb 2017
Bonjour,
(Désolé pour la pub, mais vous verrez, elle a du sens).
Nous proposons chez OVH la stack ELK avec l'hébergement dédié de vos
logstash(s) sous le nom "Logs Data Platform".
Page produit: https://www.ovh.com/fr/data-platforms/logs/
Doc logstash dédié:
https://docs.ovh.com/gb/en/mobile-host
Mon idée pour l'instant (qui n'est pas fini de concevoir, et donc pas en
prod), c'est d'utiliser rsyslog sur toutes les machines
Sur un serveur centralisé, je récupére l'ensemble des logs, format
"classique", et je pousse les informations que je juge nécessaire dans ELK
Les avantages:
- rsyslog e
On utilise aussi bien rsyslog que syslog-ng les 2 ont le même genre de
fonctionnalités (ex : insertion sql, mais ça mange du cpu ...)
mais on peut aussi configurer le syslog original pour renvoyer les
message au format syslog (!) vers un ou plusieurs serveurs dédié a cette
tache.
Le 06/02/2017 à
Le 06/02/2017 à 14:44, Alexandre a écrit :
> Bonjour à tous,
>
> je pense que se sujet a été abordés plusieurs fois mais je n'ai pas
> trouvé d'informations.
>
> Nous souhaitons centraliser nos logs (applicatifs, systèmes ...). Nous
> avons maquetté une solution standard avec Elasticsearh + Logs
Bonjour ,
il me semble que la solution que vous pourrez trouver dans
https://www.artofmonitoring.com/ est adaptee
vous ne pourrez pas l'utiliser "as is" mais je pense que vous pourrez
vous en inspirer .
Je recommande la lecture de ce livre a tous
Bonne journee
IS
On 2017-02-06 14:44, Al
Bonjour à tous,
je pense que se sujet a été abordés plusieurs fois mais je n'ai pas
trouvé d'informations.
Nous souhaitons centraliser nos logs (applicatifs, systèmes ...). Nous
avons maquetté une solution standard avec Elasticsearh + Logstash +
Kibana. Le trio fonctionne très bien, nous créons
18 matches
Mail list logo
