Bonjour à tous,
Je cherche à mettre en place un système de stockage flexible, c'est à dire qu'il aurait les propriétés suivantes : - pouvoir ajouter ou supprimer de la capacité à chaud (que ce soit voulu ou non, crash d'une unité de disque par exemple) sans perturber le fonctionnement des clients - pouvoir accéder au système de fichier de façon concurrente - pouvoir fonctionner de 1 à plusieurs dizaines de nœuds.
Le but est de stocker des machines virtuelles en assurant de la haute disponibilité (migration à chaud) et pouvant grossir au besoin sans avoir à tout reconfigurer (on commence avec 8To en espérant grossir d'ici quelques mois si l'activité le permet).
J'ai regardé du côté de GlusterFS, Lustre, MooseFS, cLVM, OCFS2, GFS, DRDB, Ceph, ... Ce que j'en retiens : - GlusterFS : a une tendance à corrompre les données dans la phase de récupération après déconnexion d'un noeud - Lustre : a besoin d'un stockage partagé pour le serveur de méta-données... Et les OST ne semblent pas répliqués. cLVM : n'apporte rien en terme de haute-dispo. Si un des noeuds tombe, tout le volume tombe. OCFS2 / GFS : il manque la couche du dessous qui saura faire la réplication DRDB : empile les noeuds ce qui n'est pas vraiment gérable Ceph : encore un peu jeune... Les infos sont
MooseFS serait peut-être le meilleur candidat...
Avez-vous des pistes/des idées ? Comment gérez-vous le stockage ? Comment font les S3/Linode/OVH pour fournir un service flexible ?
Merci par avance, Denis
On 22/04/2012 21:48, Denis F. wrote:
Bonjour à tous,
Je cherche à mettre en place un système de stockage flexible, c'est à dire qu'il aurait les propriétés suivantes :
- pouvoir ajouter ou supprimer de la capacité à chaud (que ce soit voulu
ou non, crash d'une unité de disque par exemple) sans perturber le fonctionnement des clients
- pouvoir accéder au système de fichier de façon concurrente
- pouvoir fonctionner de 1 à plusieurs dizaines de nœuds.
Bonjour Denis,
Une piste (quoique orientée KVM/QEMU): http://www.osrg.net/sheepdog/
Bonjour,
Le 22/04/2012 22:17, Laurent CARON a écrit :
Une piste (quoique orientée KVM/QEMU): http://www.osrg.net/sheepdog/
Merci à tous pour les pistes, je vais étudier ça de près :)
Denis
Bonsoir,
Je reviens pour donner des nouvelles après quelques mois de tests.
Pour le moment, le grand vainqueur est Ceph !
Pendant que je testais et cherchais la solution miracle, les équipes de Inktank travaillaient dur. Quelques mois plus tard on arrive à un produit qui devient utilisable. Même si tout n'est pas encore bien sec, il y'a une grosse dynamique autour de ce projet et le futur s'annonce brillant.
En espérant pouvoir revenir dans quelques mois pour confirmer ce sentiment... ;-)
Denis
Hello,
2012/9/19 Denis F. xxsag@ledeuns.net
Je reviens pour donner des nouvelles après quelques mois de tests.
Pour le moment, le grand vainqueur est Ceph !
Pendant que je testais et cherchais la solution miracle, les équipes de Inktank travaillaient dur. Quelques mois plus tard on arrive à un produit qui devient utilisable. Même si tout n'est pas encore bien sec, il y'a une grosse dynamique autour de ce projet et le futur s'annonce brillant.
Merci pour ce retour. Si tu as un petit peu de temps devant toi pour détailler tes tests et tes conclusions, ça m'intéresse beaucoup !
Fabien
Salut,
Le 22 avr. 2012 21:48, "Denis F." xxsag@ledeuns.net a écrit :
Le but est de stocker des machines virtuelles en assurant de la haute
disponibilité (migration à chaud) et pouvant grossir au besoin sans avoir à tout reconfigurer (on commence avec 8To en espérant grossir d'ici quelques mois si l'activité le permet).
Openstack a l'air d'être dans cette optique.
http://openstack.org/projects/storage/
Merci pour ta synthèse des FS existant.
On Sun, Apr 22 2012, seb astien wrote:
Openstack a l'air d'être dans cette optique.
Oui, par contre OpenStack ne propose pas de stockage en mode bloc. "Object storage" auquel tu fais référence ici se base sur Swift¹ qui fourni un stockage clé/valeur dans des containers, identique à Amazon S3.
Pour ce qui est du stockage en mode bloc, la solution est au libre de choix de chacun dans le cadre d'OpenStack. Ce dernier supporte par exemple Ceph et Sheepdog (mais aussi des choses plus non distribués comme LVM ou un SAN).
Bonsoir,
2012/4/22 Denis F. xxsag@ledeuns.net:
Je cherche à mettre en place un système de stockage flexible, c'est à dire qu'il aurait les propriétés suivantes :
- pouvoir ajouter ou supprimer de la capacité à chaud (que ce soit voulu ou
non, crash d'une unité de disque par exemple) sans perturber le fonctionnement des clients
- pouvoir accéder au système de fichier de façon concurrente
- pouvoir fonctionner de 1 à plusieurs dizaines de nœuds.
MooseFS et Ceph présentent exactement les caractéristiques que tu recherches. Mais comme tu le soulignes, Ceph est encore très très jeune et pas près pour la prod.
Concernant MooseFS, que je connais très bien, certains l'utilisent en effet pour stocker des VM mais ce n'est pas son but premier et les perfs (IOPS) ne sont pas forcément extrêmes. Par contre niveau fiabilité / redondance / HA, c'est top ! Si tu as des questions sur MooseFS, je suis à ta dispo sur la liste ou en privé.
Fabien
-
Denis F. -
Fabien Germain -
Julien Danjou -
Laurent CARON -
seb astien -
Sebastien WILLEMIJNS