On Mon, Sep 30, 2013 at 05:26:19PM +0200, Remi Paulmier wrote:
Hello,
petit retour d'XP sur logstash / kibana. Ici on injecte environ 40 millions d'évènements / jour (logs http, logs applicatifs GELF et logs système / réseeau rsyslog). Le système grossit environ de 40 Go / jour et ca tient sur 10 instances amazon (4 noeuds ES, et le reste qui se répartit en brokers redis, injecteurs et filtres logstash / syslog)
On garde 15 jours d'historique environ (on voudrait garder +, mais bien qu'ayant largement la place (qq To en stockage ephémère AWS et bien que logstash faisant tourner les index (un par jour), si on garde trop d'index, le cluster ES finit par mal se comporter.
J'envisage de séparer les différents types de log dans des index différents, afin de régler un historique différent par type de log (http vs syslog par exemple).
Hello,
Par curiosité, tu utilises l'output elasticsearch ou elasticsearch_http ?
Pourquoi baser l'historique sur la création d'index quotidiens ?