Bonjour,

Je suis entrain de faire des benchmarks S3 sur une RadosGW[1] CEPH[2]. J'ai 3 RadosGW en round-robin DNS avec 5 serveurs clients. Tous les serveurs sont connectés en 10Gbits/s sur un réseau Fat Tree[3]

1. http://docs.ceph.com/docs/master/radosgw/ 2. http://www.ceph.com 3. https://en.wikipedia.org/wiki/Fat_tree

J'ai besoin de tester les performances globales en lecture du cluster ceph sur 2 pools de données. Un des pool[4] est "replicated" (x3) , l'autre en "Erasure Code"[5] (7+3).

4. http://docs.ceph.com/docs/master/rados/operations/pools/ 5. http://docs.ceph.com/docs/master/rados/operations/erasure-code/

J'ai généré 8To de fichiers au contenu aléatoire (openssl rand) sur chacun des pools. Il y a 8 tailles de fichiers soit 1To pour chaque taille :

32768 fichiers de 32Mo 16384 fichiers de 64Mo 8192 fichiers de 128Mo ... 256 Fichiers de 4Go

Actuellement j'ai un scripts bash qui peut lire de manière aléatoire ou déterministe dans l'un ou l'autre des pools un fichier aléatoires parmi les 65280 fichiers, je peux forcer le script à choisir une taille fichier.

J'aimerai donc mesurer où se trouvent les bottlenecks en fonction de la taille des fichiers, le pool de lecture, le nombre de serveur et le nombre de client par serveur etc...

Je cherche un outils qui me permet de mesurer de manière précise la bande passante agrégée des 5 serveurs clients (j'ai bien observium qui tourne mais ce n'est pas assez précis)

Mesurer directement sur les 3 rados gateway est compliqué sachant qu'elles font aussi OSDs serveurs, j'ai donc le trafic interne à ceph qui passe par les interfaces.

J'ai dans l'idée de générer plusieurs scenarii à exécuter en faisant varier la taille des fichiers lu, le pool de lecture, le nombre de serveurs clients et le nombre de clients par serveurs avec des TimeCode précis et ensuite de corréler ça avec les mesures réseaux (avoir les mesures dans un fichier csv peut faire l'affaire)

Peut-être qu'il existe des outils pour ça (genre benchmark sur un pool de reverse proxy) mais je n'ai pas trouvé

Avez-vous des conseils, outils pour faire ces mesures ?

Merci d'avance et bonne journée.