On 03.09.2013 14:46, Stéphane Cottin wrote:
Bonjour,
Pour les applicatifs, on envoi les messages au format gelf, afin de ne pas subir la limite a 1024 octets de syslog, avoir des traces complètes et pouvoir ajouter tagger les messages. Le tout (gelf + syslog pour les logs système) est filtré par logstash qui distribue ensuite vers un cluster elasticsearch pour le stockage, et riemann pour la gestion des alertes.
Riemann est juste parfait pour traiter des flux, faire de l'analyse en temps réèl et générer les notifications sans flooder les serveurs mails, et les humains qui sont derrière, petit détail, le projet est écrit en clojure, et dans la logique "code is data", le fichier de config est du code clojure. la prise en main est dc un peu inhabituelle, il faut apprendre les bases d'un language fonctionnel, mais clairement, c'est un super outil.
on utilise kibana3 comme interface de consultation pour elasticsearch, attention, c'est de l'alpha/beta, j'ai déjà du refaire 2 fois mes dashboards pour cause de changements incompatibles.
L'ensemble se comporte bien, et a clairement amélioré la qualité de service globale depuis sa mise en place. Comme tout ceci utilise la JVM, RAM/CPU/IO sont a provisionner avec générosité si l'on veut conserver de bonnes performances sur la durée.
Stéphane
Merci à tous pour vos retours, je vois que le consensus est plutôt vers Logstash/Kibana3, et effectivement ça a l'air plutôt sympa.
Merci aussi pour le tuyau sur Riemann, qui a l'air effectivement vraiment adapté à ce que je veux faire, voire même donne des idées pour la suite. Par contre ça n'a pas l'air d'être une sinécure à mettre en place, et encore moins si on veut créer des alertes/indicateurs pertinents. J'imagine que le projet est trop récent pour être muni d'une littérature digne de ce nom ?
Par contre, vous soulignez le fait que c'est assez gourmand en ressources, est-ce que vous auriez des chiffres à donner pour avoir une idée ?
J'entends assez peu parler de Greylog2, j'imagine que Logstash est sensiblement mieux ? De même pour Splunk, est-ce que quelqu'un a comparé ?
Merci encore :)