Hello,
petit retour d'XP sur logstash / kibana. Ici on injecte environ 40 millions d'évènements / jour (logs http, logs applicatifs GELF et logs système / réseeau rsyslog). Le système grossit environ de 40 Go / jour et ca tient sur 10 instances amazon (4 noeuds ES, et le reste qui se répartit en brokers redis, injecteurs et filtres logstash / syslog)
On garde 15 jours d'historique environ (on voudrait garder +, mais bien qu'ayant largement la place (qq To en stockage ephémère AWS et bien que logstash faisant tourner les index (un par jour), si on garde trop d'index, le cluster ES finit par mal se comporter.
J'envisage de séparer les différents types de log dans des index différents, afin de régler un historique différent par type de log (http vs syslog par exemple).
-- rémi
Le 8 septembre 2013 12:25, Remy Sanchez remy.sanchez@hyperthese.net a écrit :
On Friday, September 06, 2013 06:21:14 PM Stéphane Cottin wrote:
Merci aussi pour le tuyau sur Riemann, qui a l'air effectivement
vraiment adapté à ce que je veux faire, voire même donne des idées pour la suite. Par contre ça n'a pas l'air d'être une sinécure à mettre en place, et encore moins si on veut créer des alertes/indicateurs pertinents. J'imagine que le projet est trop récent pour être muni d'une littérature digne de ce nom ?
Riemann est totalement lié au langage qu'il utilise, clojure, il faut
obligatoirement le connaitre pour sortir des qqs exemples fournis, pour le coup, c'est du vrai devops
J'ai noté ça, mais pour ma part ça devrait aller.
Par contre, vous soulignez le fait que c'est assez gourmand en
ressources, est-ce que vous auriez des chiffres à donner pour avoir une idée ?
Je compare aux outils en bash/python/perl/... habituels, la JVM a besoin
de RAM, les perfs s'écroulent au moindre début de swap.
Par ex sur une vm gandi pour logstash/riemann + dashboard/kibana3, 1.25G
de ram , 2 cores, traite en moyenne sans aucune optimisation 100 events/sec avec une charge ~ 0.5
Les nodes elasticsearch rament rapidement en dessous de 2Go de ram,
prévoir 2 cores par instance au mini.
Ah on peut faire des machines plus petites que ça ? *_*
Blague à part, ok c'est pas si gourmand que ça en fait, vous m'aviez fait peur !
J'entends assez peu parler de Greylog2, j'imagine que Logstash est
sensiblement mieux ? De même pour Splunk, est-ce que quelqu'un a comparé ?
j'ai testé graylog2 sans le retenir, trop usine-qui-fait-tout IMHO, par
contre j'ai gardé le format GELF pour les logs applicatifs.
Okay ça confirme mon impression.
Merci beaucoup pour les retours,
Rémy Sanchez http://hyperthese.net/
Liste de diffusion du FRsAG http://www.frsag.org/