[FRsAG] Syslog et Prometheus

Olivier Bonvalet frsag.list at daevel.fr
Mer 10 Juin 14:36:48 CEST 2020


Le mercredi 10 juin 2020 à 13:56 +0200, Xavier Beaudouin a écrit :
> Hello,
> 
> L'UI de Prometheus est pas mal, même si d'un point de vue perso je
> n'adhère pas, mais c'est une question de gouts évidement.
> Par contre chose que j'ai effectivement remarqué comme tout infra
> grafana like, c'est que la taille des machines et du stockage sont
> loin d’être anodin.
> Loin de moi de dire que c'est pas bien, mais je trouve que pour les
> même métriques la surface et le nombre de cœurs/mémoire par rapport a
> des choses "legacy" (legacy = rrd), on est loin de la même
> efficacité.
> Encore plus pour les logs, ou un FS ZFS avec dedup + compression avec
> un  grep -r pour retrouver les informations sera toujours aussi
> efficace qu'un SQL ou un autre backend de "haut niveau".
> 
> Donc je reste vieux con, et je garde sur un frontend web que les data
> chaudes du jour / semaine / max 1 mois, le reste fichier plats + zfs
> + compression + dedup -> priceless (et grep -r est mon ami).
> 
> Xavier
> _______________________________________________

Hello,

pour la partie logs, le plus "pratique" pour mon usage aujourd'hui
c'est du fichier plat, sur une partition Btrfs + Zstd, le tout avec du
LVM cache.
Et oui, je pense que j'aurais pû monter la même chose des années plus
tôt avec ZFS.

Maintenant, les équipes techs de nos clients n'aiment pas ça. Elles
veulent une interface HTTP, notamment pour pouvoir faire des rapports
plus facilement.

Du coup ça fait quelques mois qu'on prévoit de mettre du Loki en place,
justement pour satisfaire tout le monde. Le ratio de compression me
semble similaire à mon Zstd actuel (c'est à dire x10), et derrière ça
reste un "grep", avec une notion de tags en plus... donc au final, ça
permet surtout de s'interfacer avec Grafana, comme ça tout le monde est
content, non ? :)

En tous cas, on va tester ça.

Olivier



Plus d'informations sur la liste de diffusion FRsAG