Hello la liste,
On utilise du NFS, sur un serveur, rsyncé sur un autre (Debian). Ca marche comme il se doit, mais : - quand ça stall y'a rien à faire d'autre que de rebooter, ce qui est contrariant - il n'y pas de haute dispo (on ne peut utiliser que le master en écriture, pas de fail-over automatique, etc.)
Quelles sont les différentes options existantes, et dans quel ordre de prix ? A priori une topo basées sur des serveurs "normaux" et du soft serait le plus économique, mais quelles sont les perfs et la fiabilités ? Qu'avez-vous testé ? GlusterFS, DRBD, lsync ... UnionFS ?
Sinon je suppose qu'un bon SAN est fait pour ça, mais si je ne m'abuse pas mal de contrôleurs pour SAN ne gèrent pas, ou très mal, les disques SSD.
Retours d'expérience anyone?
Benjamin
Salut Benjamin,
On utilise du NFS, sur un serveur, rsyncé sur un autre (Debian). Ca marche comme il se doit, mais :
- quand ça stall y'a rien à faire d'autre que de rebooter, ce qui
est contrariant
Ah ? :)
- il n'y pas de haute dispo (on ne peut utiliser que le master en
écriture, pas de fail-over automatique, etc.)
Ah ? :)
Quelles sont les différentes options existantes, et dans quel ordre de prix ?
De mon coté je suis sur du BSD (ok la guerre est repartie) avec du serveur avec du ZFS + Carp.
Le coup que ca stale pas : mntudp (connection less donc stale less) et voila.
Après je peux pas dire que le client NFS de linux soit le mieux qui existe, il s'autoviande tout seul et ne scale pas... Mais ce n'est que mon humble expérience.
A priori une topo basées sur des serveurs "normaux" et du soft serait le plus économique, mais quelles sont les perfs et la fiabilités ? Qu'avez-vous testé ? GlusterFS, DRBD, lsync ... UnionFS ?
Glusterfs j'ai essayé, bien _surtout_ si toutes tes nodes on un storage local, *MAIS* c'est userfs (donc... lent) et j'ai toujours pas compris comment il gere le split brain.
DRBD, bah attention aux bottleneck, unionfs (ok mais pas aussi evolue que sur du bsd / solaris, désolé encore un fois), celui que je trouvais pas mal, mais attentions a l'usine a gaz c'est OCFS2...
Sinon je suppose qu'un bon SAN est fait pour ça, mais si je ne m'abuse pas mal de contrôleurs pour SAN ne gèrent pas, ou très mal, les disques SSD.
Heu LSI ?
Le 03/06/2014 14:10, Benjamin BILLON a écrit :
Hello la liste,
Bonjour,
On utilise du NFS, sur un serveur, rsyncé sur un autre (Debian). Ca marche comme il se doit, mais :
- quand ça stall y'a rien à faire d'autre que de rebooter, ce qui est
contrariant
- il n'y pas de haute dispo (on ne peut utiliser que le master en
écriture, pas de fail-over automatique, etc.)
Le NFS est imposé comme protocole d'accès ?
Quelles sont les différentes options existantes, et dans quel ordre de prix ?
Pour faire quoi ? De la haute dispo ?
A priori une topo basées sur des serveurs "normaux" et du soft serait le plus économique, mais quelles sont les perfs et la fiabilités ? Qu'avez-vous testé ? GlusterFS, DRBD, lsync ... UnionFS ?
Si c'est pour la haute dispo, la solution DRBD avec cluster pacemaker commence à avoir de la bouteille. Évidement, les perfs sont fortement impactée par la réplication, surtout en mode synchrone, ce qu'on choisit généralement. Au dessus de DRBD, tu auras toujours ton NFS, si c'est le seul moyen pour tes clients. Sinon, tu peux envisager de faire de l'iSCSI, mais ça sera un client pour une target à la foi (sauf si FS clusterisé, comme déjà mentionné : OCFS, GFS).
Sinon je suppose qu'un bon SAN est fait pour ça, mais si je ne m'abuse pas mal de contrôleurs pour SAN ne gèrent pas, ou très mal, les disques SSD.
Si tu veux du NFS, c'est du NAS qu'il te faut. Un SAN te permettra de mettre des LUN à dispo de machines (FC ou iSCSI), vu comme un disque dur, niveau block. Dans les solutions commerciales basées sur du libre, on a NexentaStore, qui utilise du ZFS, avec support des caches en SSD et de la haute dispo avec bascule qu'ils disent transparente.
Je vois qu'ils s'y mettent tous, mais pas en entrée de gamme évidement, sauf Synologie. De ce que je vois, ça ne fait que du cache en lecture et pas de writeback pour les écritures, dommage.
Généralement, la haute dispo sur des baies HP, NetApp, EMC, IBM, c'est des licences, et la bascule n'est pas automatique.
Retours d'expérience anyone?
- J'ai eu du HP EVA : SAN FC uniquement, licences au volume pour la réplication "Continuous Acces", et bascule à faire manuellement ou avec des outils qu'ils ne fournissent que pour les systèmes supportés (donc pas pour un cluster Linux fait maison).
- J'ai aussi eu du NetApp, avec une réplication asynchrone, basée sur les snapshots. C'est rapide, pas intrusif, mais on n'a pas une vrai continuité de service. Si on doit basculer, on a perdu toutes les données depuis la dernière synchro. Celà dit, ils ont une solution de réplication synchrone : metroCluster.
Si tu as au moins 3 serveurs, du temps et des serveurs clients capables de monter le truc, il y a CephFS (pas encore décrété production-ready)...
Le 3 juin 2014 17:48:52 CEST, Gilles Mocellin gilles.mocellin@nuagelibre.org a écrit :
Le 03/06/2014 14:10, Benjamin BILLON a écrit :
- J'ai aussi eu du NetApp, avec une réplication asynchrone, basée sur
les snapshots. C'est rapide, pas intrusif, mais on n'a pas une vrai continuité de service. Si on doit basculer, on a perdu toutes les données depuis la dernière synchro. Celà dit, ils ont une solution de réplication synchrone : metroCluster.
Tu peux aussi faire du snapmirror synchrone.
Le 03/06/2014 14:10, Benjamin BILLON a écrit :
Si c'est pour la haute dispo, la solution DRBD avec cluster pacemaker commence à avoir de la bouteille. Évidement, les perfs sont fortement impactée par la réplication, surtout en mode synchrone, ce qu'on choisit généralement. Au dessus de DRBD, tu auras toujours ton NFS, si c'est le seul moyen pour tes clients. Sinon, tu peux envisager de faire de l'iSCSI, mais ça sera un client pour une target à la foi (sauf si FS clusterisé, comme déjà mentionné : OCFS, GFS).
ça dépends. Corosync/Pacemaker + DRBD + OCFS2. ça reste viable. Je l'ai mis en place il y a encore quelques mois. Corosync reste moins évident à utiliser que heartbeat mais ce dernier n'étant plus maintenu... Si on veut quelque chose de sérieux.
Bonjour à tous,
Mon avis de petit nouveau/débutant, il me semble que les produits Datacore le font aussi. Dans la même lignée que Nexenta.
Boris
Le 4 juin 2014 14:30, Pierre BELLEMAIN pierre.bellemain@enpc.fr a écrit :
Le 03/06/2014 14:10, Benjamin BILLON a écrit :
Si c'est pour la haute dispo, la solution DRBD avec cluster pacemaker commence à avoir de la bouteille.
Évidement, les perfs sont fortement impactée par la réplication, surtout en mode synchrone, ce qu'on choisit généralement. Au dessus de DRBD, tu auras toujours ton NFS, si c'est le seul moyen pour tes clients. Sinon, tu peux envisager de faire de l'iSCSI, mais ça sera un client pour une target à la foi (sauf si FS clusterisé, comme déjà mentionné : OCFS, GFS).
ça dépends. Corosync/Pacemaker + DRBD + OCFS2. ça reste viable. Je l'ai mis en place il y a encore quelques mois. Corosync reste moins évident à utiliser que heartbeat mais ce dernier n'étant plus maintenu... Si on veut quelque chose de sérieux.
Liste de diffusion du FRsAG http://www.frsag.org/
Bonsoir,
Oui pour datacore mais nfs depuis un Windows et prix++ semble t'il...
Du côté de ZFS en HA (disclaimer : je prêche pour ma paroisse, ref : openzfs) voir : - nexenta - erastor.eu et syneto - freenas version commerciale pour le HA - ZoL ou base Illumos en mode DiY avec corosync et pacemaker...
Pour de plus amples infos sur openzfs... Voir : http://m.youtube.com/playlist?list=PLdBD-9ivKe61lxSrJKYBaBY6PNTOmqc4-
Yacine kheddache / www.alyseo.com
Le 5 juin 2014 à 19:37, Boris TASSOU boris.tassou@gmail.com a écrit :
Bonjour à tous,
Mon avis de petit nouveau/débutant, il me semble que les produits Datacore le font aussi. Dans la même lignée que Nexenta.
Boris
Le 4 juin 2014 14:30, Pierre BELLEMAIN pierre.bellemain@enpc.fr a écrit :
Le 03/06/2014 14:10, Benjamin BILLON a écrit :
Si c'est pour la haute dispo, la solution DRBD avec cluster pacemaker commence à avoir de la bouteille.
Évidement, les perfs sont fortement impactée par la réplication, surtout en mode synchrone, ce qu'on choisit généralement. Au dessus de DRBD, tu auras toujours ton NFS, si c'est le seul moyen pour tes clients. Sinon, tu peux envisager de faire de l'iSCSI, mais ça sera un client pour une target à la foi (sauf si FS clusterisé, comme déjà mentionné : OCFS, GFS).
ça dépends. Corosync/Pacemaker + DRBD + OCFS2. ça reste viable. Je l'ai mis en place il y a encore quelques mois. Corosync reste moins évident à utiliser que heartbeat mais ce dernier n'étant plus maintenu... Si on veut quelque chose de sérieux.
Liste de diffusion du FRsAG http://www.frsag.org/
Liste de diffusion du FRsAG http://www.frsag.org/
Effectivement je n'ai pas regardé le coup.
Il y a napp-it il me semble aussi qui peut être sur une base d'Illumos ou *BSD mais à voir si ca convient pour un usage pro et HA.
Le 5 juin 2014 21:23, Yacine Kheddache yacine@alyseo.com a écrit :
Bonsoir,
Oui pour datacore mais nfs depuis un Windows et prix++ semble t'il...
Du côté de ZFS en HA (disclaimer : je prêche pour ma paroisse, ref : openzfs) voir :
- nexenta
- erastor.eu et syneto
- freenas version commerciale pour le HA
- ZoL ou base Illumos en mode DiY avec corosync et pacemaker...
Pour de plus amples infos sur openzfs... Voir : http://m.youtube.com/playlist?list=PLdBD-9ivKe61lxSrJKYBaBY6PNTOmqc4-
Yacine kheddache / www.alyseo.com
Le 5 juin 2014 à 19:37, Boris TASSOU boris.tassou@gmail.com a écrit :
Bonjour à tous,
Mon avis de petit nouveau/débutant, il me semble que les produits Datacore le font aussi. Dans la même lignée que Nexenta.
Boris
Le 4 juin 2014 14:30, Pierre BELLEMAIN pierre.bellemain@enpc.fr a écrit :
Le 03/06/2014 14:10, Benjamin BILLON a écrit :
Si c'est pour la haute dispo, la solution DRBD avec cluster pacemaker commence à avoir de la bouteille.
Évidement, les perfs sont fortement impactée par la réplication, surtout en mode synchrone, ce qu'on choisit généralement. Au dessus de DRBD, tu auras toujours ton NFS, si c'est le seul moyen pour tes clients. Sinon, tu peux envisager de faire de l'iSCSI, mais ça sera un client pour une target à la foi (sauf si FS clusterisé, comme déjà mentionné : OCFS, GFS).
ça dépends. Corosync/Pacemaker + DRBD + OCFS2. ça reste viable. Je l'ai mis en place il y a encore quelques mois. Corosync reste moins évident à utiliser que heartbeat mais ce dernier n'étant plus maintenu... Si on veut quelque chose de sérieux.
Liste de diffusion du FRsAG http://www.frsag.org/
Liste de diffusion du FRsAG http://www.frsag.org/
Petite précision Datacore c'est très bien, mais cela ne fait que présenter des lun iscsi. Si tu veux du NFS il faut rajouter une brique supplémentaire.
En propriétaire pour faire du NFS distribué et performant c'est Isilon qu'il faut. C'est pas donné mais c'est vraiment très bien.
Cdt,
Le 05/06/2014 21:23, Yacine Kheddache a écrit :
Bonsoir,
Oui pour datacore mais nfs depuis un Windows et prix++ semble t'il...
Du côté de ZFS en HA (disclaimer : je prêche pour ma paroisse, ref : openzfs) voir :
- nexenta
- erastor.eu http://erastor.eu et syneto
- freenas version commerciale pour le HA
- ZoL ou base Illumos en mode DiY avec corosync et pacemaker...
Pour de plus amples infos sur openzfs... Voir : http://m.youtube.com/playlist?list=PLdBD-9ivKe61lxSrJKYBaBY6PNTOmqc4-
Yacine kheddache / www.alyseo.com http://www.alyseo.com
Le 5 juin 2014 à 19:37, Boris TASSOU <boris.tassou@gmail.com mailto:boris.tassou@gmail.com> a écrit :
Bonjour à tous,
Mon avis de petit nouveau/débutant, il me semble que les produits Datacore le font aussi. Dans la même lignée que Nexenta.
Boris
Le 4 juin 2014 14:30, Pierre BELLEMAIN <pierre.bellemain@enpc.fr mailto:pierre.bellemain@enpc.fr> a écrit :
Le 03/06/2014 14:10, Benjamin BILLON a écrit : Si c'est pour la haute dispo, la solution DRBD avec cluster pacemaker commence à avoir de la bouteille. Évidement, les perfs sont fortement impactée par la réplication, surtout en mode synchrone, ce qu'on choisit généralement. Au dessus de DRBD, tu auras toujours ton NFS, si c'est le seul moyen pour tes clients. Sinon, tu peux envisager de faire de l'iSCSI, mais ça sera un client pour une target à la foi (sauf si FS clusterisé, comme déjà mentionné : OCFS, GFS). ça dépends. Corosync/Pacemaker + DRBD + OCFS2. ça reste viable. Je l'ai mis en place il y a encore quelques mois. Corosync reste moins évident à utiliser que heartbeat mais ce dernier n'étant plus maintenu... Si on veut quelque chose de sérieux. _________________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
Liste de diffusion du FRsAG http://www.frsag.org/
Liste de diffusion du FRsAG http://www.frsag.org/
A priori une topo basées sur des serveurs "normaux" et du soft serait le plus économique, mais quelles sont les perfs et la fiabilités ? Qu'avez-vous testé ? GlusterFS, DRBD, lsync ... UnionFS ?
Ceph !
Relativement fiable (suffit juste de ne pas faire confiance à BTRFS :o ), pas forcément super performant mais ça scale pas mal du tout c'est hautement dispo. Encore jeune mais évolue vite. Si tu cherches une solution d'avenir, je pense que c'est le bon cheval (sauf si tu n'aimes pas RedHat :o).
Denis
-
Benjamin BILLON -
Boris TASSOU -
Denis Fondras -
Gilles Mocellin -
Laurent Caron (Mobile) -
Pierre BELLEMAIN -
Raphael Mazelier -
Xavier Beaudouin -
Yacine Kheddache