Stockage partagé en environnement virtualisé
Bonjour à tous, Dans un contexte d'architecture web virtualisée, de quelle manière avez vous l'habitude de gérer le stockage partagé entre les frontaux ? Il y a le classique NFS monté par l'ensemble des frontaux mais virtualisez vous également cette couche ? Quid des trucs plus rigolo du type GlusterFS ? Directement sur les nœuds frontaux ? Sur des nœuds dédiés ? Je suis très intéressé par des retours d'expérience de la communauté. -- Simon.
On Thu, Jun 06, 2013 at 03:07:53PM +0200, Simon Morvan wrote:
Bonjour à tous,
Dans un contexte d'architecture web virtualisée, de quelle manière avez vous l'habitude de gérer le stockage partagé entre les frontaux ?
Il y a le classique NFS monté par l'ensemble des frontaux mais virtualisez vous également cette couche ?
Quid des trucs plus rigolo du type GlusterFS ? Directement sur les nœuds frontaux ? Sur des nœuds dédiés ?
Bonjour, On a testé GlusterFS et Ceph/CephFS ici. GlusterFS a l'avantage de ne pas avoir de serveur de métadonnées, mais sur la version qu'on a testé (3.2 à l'époque) on avait eu quelques problèmes de performance sur du gros volume. On utilise CephFS actuellement, il y a plus de briques à mettre en place mais la solution est stable (et très sympa à utiliser). -- Kevin Decherf - @Kdecherf GPG C610 FE73 E706 F968 612B E4B2 108A BD75 A81E 6E2F http://kdecherf.com
Le 06/06/2013 15:24, Kevin Decherf a écrit :
On utilise CephFS actuellement, il y a plus de briques à mettre en place mais la solution est stable (et très sympa à utiliser). Et les briques en questions sont physiques ou virtualisée?
A ce que je comprend de Ceph, on peut utiliser le même cluster pour le stockage des images des VM (mode block) et pour remplacer le NFS (mode FS). J'ai bon ?
Le 06/06/2013 15:37, Simon Morvan a écrit :
Le 06/06/2013 15:24, Kevin Decherf a écrit :
On utilise CephFS actuellement, il y a plus de briques à mettre en place mais la solution est stable (et très sympa à utiliser). Et les briques en questions sont physiques ou virtualisée?
A ce que je comprend de Ceph, on peut utiliser le même cluster pour le stockage des images des VM (mode block) et pour remplacer le NFS (mode FS). J'ai bon ?
Oui, tu peux déclarer plusieurs pools sur un même cluster physique et en créer un que tu dédieras à du mode bloc et un autre en mode fs. Tes pools pourront partager une configuration commune (CRUSHmap, algorithme qui définie ou et comment est stockée répliquée la donnée) et éventuellement la personnaliser pour chaque.
On Thu, Jun 06, 2013 at 03:49:29PM +0200, Vincent Hurtevent wrote:
Le 06/06/2013 15:37, Simon Morvan a écrit :
Le 06/06/2013 15:24, Kevin Decherf a écrit :
On utilise CephFS actuellement, il y a plus de briques à mettre en place mais la solution est stable (et très sympa à utiliser). Et les briques en questions sont physiques ou virtualisée?
A ce que je comprend de Ceph, on peut utiliser le même cluster pour le stockage des images des VM (mode block) et pour remplacer le NFS (mode FS). J'ai bon ?
Oui, tu peux déclarer plusieurs pools sur un même cluster physique et en créer un que tu dédieras à du mode bloc et un autre en mode fs.
Je précise pour "plus de briques" : il y a trois softs différents à mettre en place, l'osd qui s'occupe du stockage pur, le mon qui s'occupe de la supervision et du management du cluster et le mds qui est le serveur de metadonnées utilisé pour faire du CephFS. Les mon et mds peuvent être virtualisés facilement, les osd un peu moins. Ceph dispose de trois modes de stockage et d'accès aux données : le mode bloc, le mode FS et pour finir un mode S3-like, le tout sur le même cluster avec le concept de pools. Autre avantage de CephFS : le support est natif dans le noyau linux, contrairement à GlusterFS où il faut jouer avec un client FUSE. -- Kevin Decherf - @Kdecherf GPG C610 FE73 E706 F968 612B E4B2 108A BD75 A81E 6E2F http://kdecherf.com
quelqu'un a testé du DRBD primary/primary surmonté d'un FS cluster (genre OCFS2 ou un truc dans le genre) ? Le 06/06/2013 15:58, Kevin Decherf a écrit :
On Thu, Jun 06, 2013 at 03:49:29PM +0200, Vincent Hurtevent wrote:
Le 06/06/2013 15:37, Simon Morvan a écrit :
Le 06/06/2013 15:24, Kevin Decherf a écrit :
On utilise CephFS actuellement, il y a plus de briques à mettre en place mais la solution est stable (et très sympa à utiliser). Et les briques en questions sont physiques ou virtualisée?
A ce que je comprend de Ceph, on peut utiliser le même cluster pour le stockage des images des VM (mode block) et pour remplacer le NFS (mode FS). J'ai bon ?
Oui, tu peux déclarer plusieurs pools sur un même cluster physique et en créer un que tu dédieras à du mode bloc et un autre en mode fs. Je précise pour "plus de briques" : il y a trois softs différents à mettre en place, l'osd qui s'occupe du stockage pur, le mon qui s'occupe de la supervision et du management du cluster et le mds qui est le serveur de metadonnées utilisé pour faire du CephFS.
Les mon et mds peuvent être virtualisés facilement, les osd un peu moins.
Ceph dispose de trois modes de stockage et d'accès aux données : le mode bloc, le mode FS et pour finir un mode S3-like, le tout sur le même cluster avec le concept de pools.
Autre avantage de CephFS : le support est natif dans le noyau linux, contrairement à GlusterFS où il faut jouer avec un client FUSE.
Oui, avec export NFS, ça marche très bien, je conseille les écritures que sur un serveur toutefois. Une doc de RedHat très bien faite explique cette architecture. Le 06/06/2013 16:01, Pierre `Sn4kY` DOLIDON a écrit :
quelqu'un a testé du DRBD primary/primary surmonté d'un FS cluster (genre OCFS2 ou un truc dans le genre) ?
Le 06/06/2013 15:58, Kevin Decherf a écrit :
On Thu, Jun 06, 2013 at 03:49:29PM +0200, Vincent Hurtevent wrote:
Le 06/06/2013 15:37, Simon Morvan a écrit :
Le 06/06/2013 15:24, Kevin Decherf a écrit :
On utilise CephFS actuellement, il y a plus de briques à mettre en place mais la solution est stable (et très sympa à utiliser). Et les briques en questions sont physiques ou virtualisée?
A ce que je comprend de Ceph, on peut utiliser le même cluster pour le stockage des images des VM (mode block) et pour remplacer le NFS (mode FS). J'ai bon ?
Oui, tu peux déclarer plusieurs pools sur un même cluster physique et en créer un que tu dédieras à du mode bloc et un autre en mode fs. Je précise pour "plus de briques" : il y a trois softs différents à mettre en place, l'osd qui s'occupe du stockage pur, le mon qui s'occupe de la supervision et du management du cluster et le mds qui est le serveur de metadonnées utilisé pour faire du CephFS.
Les mon et mds peuvent être virtualisés facilement, les osd un peu moins.
Ceph dispose de trois modes de stockage et d'accès aux données : le mode bloc, le mode FS et pour finir un mode S3-like, le tout sur le même cluster avec le concept de pools.
Autre avantage de CephFS : le support est natif dans le noyau linux, contrairement à GlusterFS où il faut jouer avec un client FUSE.
_______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
Si possible, et selon l'utilisation, l'utilisation de base de donnée (MariaDB avec ARCHIVE par exemple), ou de serveur clef-valeur type Redis, ou autre Hadoop, CouchDB, MongoDB, etc, sont aussi des pistes à explorer ;) Le 6 juin 2013 17:24, Fabrice Clement <clement@echo.fr> a écrit :
Oui, avec export NFS, ça marche très bien, je conseille les écritures que sur un serveur toutefois. Une doc de RedHat très bien faite explique cette architecture.
Le 06/06/2013 16:01, Pierre `Sn4kY` DOLIDON a écrit :
quelqu'un a testé du DRBD primary/primary surmonté d'un FS cluster (genre
OCFS2 ou un truc dans le genre) ?
Le 06/06/2013 15:58, Kevin Decherf a écrit :
On Thu, Jun 06, 2013 at 03:49:29PM +0200, Vincent Hurtevent wrote:
Le 06/06/2013 15:37, Simon Morvan a écrit :
Le 06/06/2013 15:24, Kevin Decherf a écrit :
On utilise CephFS actuellement, il y a plus de briques à mettre en place mais la solution est stable (et très sympa à utiliser).
Et les briques en questions sont physiques ou virtualisée?
A ce que je comprend de Ceph, on peut utiliser le même cluster pour le stockage des images des VM (mode block) et pour remplacer le NFS (mode FS). J'ai bon ?
Oui, tu peux déclarer plusieurs pools sur un même cluster physique et en créer un que tu dédieras à du mode bloc et un autre en mode fs.
Je précise pour "plus de briques" : il y a trois softs différents à mettre en place, l'osd qui s'occupe du stockage pur, le mon qui s'occupe de la supervision et du management du cluster et le mds qui est le serveur de metadonnées utilisé pour faire du CephFS.
Les mon et mds peuvent être virtualisés facilement, les osd un peu moins.
Ceph dispose de trois modes de stockage et d'accès aux données : le mode bloc, le mode FS et pour finir un mode S3-like, le tout sur le même cluster avec le concept de pools.
Autre avantage de CephFS : le support est natif dans le noyau linux, contrairement à GlusterFS où il faut jouer avec un client FUSE.
______________________________**_________________ Liste de diffusion du FRsAG http://www.frsag.org/
______________________________**_________________ Liste de diffusion du FRsAG http://www.frsag.org/
-- Greg
Le 06/06/2013 15:07, Simon Morvan a écrit :
Bonjour à tous,
Dans un contexte d'architecture web virtualisée, de quelle manière avez vous l'habitude de gérer le stockage partagé entre les frontaux ?
Il y a le classique NFS monté par l'ensemble des frontaux mais virtualisez vous également cette couche ?
Quid des trucs plus rigolo du type GlusterFS ? Directement sur les nœuds frontaux ? Sur des nœuds dédiés ?
Je suis très intéressé par des retours d'expérience de la communauté.
Le NFS est le plus simple, et relativement scalable, mais attention en cas de crash du serveur NFS tu auras plein de cas ou tu devras reboot tout tes frontaux. C'est l'ennui du NFS, c'est centralisé (sauf si tu utilises du ISILON mais la c'est plus le même prix). Pour des frontaux web, si le contenu ne bouge pas constamment, je préferre nettement avoir des outils de déploiement et répliquer le contenu. -- Raphael Mazelier
Le 06/06/2013 15:29, Raphael Mazelier a écrit :
Le NFS est le plus simple, et relativement scalable, mais attention en cas de crash du serveur NFS tu auras plein de cas ou tu devras reboot tout tes frontaux. C'est l'ennui du NFS, c'est centralisé (sauf si tu utilises du ISILON mais la c'est plus le même prix).
Si les fichiers en NFS n'ont besoin d'être qu'en lecture, FS-Cache peut faire le taff.
Pour des frontaux web, si le contenu ne bouge pas constamment, je préferre nettement avoir des outils de déploiement et répliquer le contenu.
Effectivement c'est de loin le plus sûr, mais suivant les applis, ca peut dupliquer des volumes important.
participants (7)
-
Fabrice Clement -
Greg -
Kevin Decherf -
Pierre `Sn4kY` DOLIDON -
Raphael Mazelier -
Simon Morvan -
Vincent Hurtevent