Software Defined Storage : Nexenta vs FreeNAS
Bonjour à tous/toutes, Je me penche actuellement sur les SAN software, destinés à de la prod. orienté filer pour des hyperviseurs KVM (iSCSI ou NFS). Mis à part EMC, Netapp et autres produits commerciaux je suis arrivé assez naturellement sur Nexenta et FreeNAS. Avez-vous testé Nexenta CE ? D'après la documentation la seul limitation sont les 18TB de stockage raw. Quant à FreeNAS avez-vous des retours sur une infrastructure de production ? Merci pour les feedbacks, Cya
Le 09/12/2013 13:12, Leslie-Alexandre DENIS a écrit :
Bonjour à tous/toutes, Bonjour.
Je me penche actuellement sur les SAN software, destinés à de la prod. orienté filer pour des hyperviseurs KVM (iSCSI ou NFS). Mis à part EMC, Netapp et autres produits commerciaux je suis arrivé assez naturellement sur Nexenta et FreeNAS.
Avez-vous testé Nexenta CE ? D'après la documentation la seul limitation sont les 18TB de stockage raw. Quant à FreeNAS avez-vous des retours sur une infrastructure de production ? Pour ma part, j'ai pu tester les 2, pour les mêmes besoins d'ailleurs. Je trouver que Nexenta est beaucoup plus réactif et stable que FreeNAS, il gère plusieurs types de RAID soft dont le RAIDZ (propre au FS ZFS). En somme, Nexenta est plus fiable à mon gout.
Merci pour les feedbacks, Cya
_______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
Attention à ne pas confondre SAN et NAS :) -----Original Message----- From: frsag-bounces@frsag.org [mailto:frsag-bounces@frsag.org] On Behalf Of Yohann Poilvert Sent: lundi 9 décembre 2013 13:19 To: frsag@frsag.org Subject: Re: [FRsAG] Software Defined Storage : Nexenta vs FreeNAS Le 09/12/2013 13:12, Leslie-Alexandre DENIS a écrit :
Bonjour à tous/toutes, Bonjour.
Je me penche actuellement sur les SAN software, destinés à de la prod. orienté filer pour des hyperviseurs KVM (iSCSI ou NFS). Mis à part EMC, Netapp et autres produits commerciaux je suis arrivé assez naturellement sur Nexenta et FreeNAS.
Avez-vous testé Nexenta CE ? D'après la documentation la seul limitation sont les 18TB de stockage raw. Quant à FreeNAS avez-vous des retours sur une infrastructure de production ? Pour ma part, j'ai pu tester les 2, pour les mêmes besoins d'ailleurs. Je trouver que Nexenta est beaucoup plus réactif et stable que FreeNAS, il gère plusieurs types de RAID soft dont le RAIDZ (propre au FS ZFS). En somme, Nexenta est plus fiable à mon gout.
Merci pour les feedbacks, Cya
_______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
_______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
Le 09/12/2013 14:54, Joël DEREFINKO a écrit :
Attention à ne pas confondre SAN et NAS :) Merci pour cette précision.
-----Original Message----- From: frsag-bounces@frsag.org [mailto:frsag-bounces@frsag.org] On Behalf Of Yohann Poilvert Sent: lundi 9 décembre 2013 13:19 To: frsag@frsag.org Subject: Re: [FRsAG] Software Defined Storage : Nexenta vs FreeNAS
Le 09/12/2013 13:12, Leslie-Alexandre DENIS a écrit :
Bonjour à tous/toutes, Bonjour. Je me penche actuellement sur les SAN software, destinés à de la prod. orienté filer pour des hyperviseurs KVM (iSCSI ou NFS). Mis à part EMC, Netapp et autres produits commerciaux je suis arrivé assez naturellement sur Nexenta et FreeNAS.
Avez-vous testé Nexenta CE ? D'après la documentation la seul limitation sont les 18TB de stockage raw. Quant à FreeNAS avez-vous des retours sur une infrastructure de production ? Pour ma part, j'ai pu tester les 2, pour les mêmes besoins d'ailleurs. Je trouver que Nexenta est beaucoup plus réactif et stable que FreeNAS, il gère plusieurs types de RAID soft dont le RAIDZ (propre au FS ZFS). En somme, Nexenta est plus fiable à mon gout.
Merci Yohann, As-tu pus expérimenter le iSCSI et/ou la virtualisation de l'appliance Nexentastor ? Mon but serait de tirer partie de Nexentastor on top de KVM, ce qui permet plus de souplesse sur la machine type filer. Je trouve des docs à ce sujet sur le net, apparemment ça se fait chez les autres aussi , si certains sont intéressés, je peux les transmettre.
Le 09/12/2013 15:22, Leslie-Alexandre DENIS a écrit :
Le 09/12/2013 14:54, Joël DEREFINKO a écrit :
Attention à ne pas confondre SAN et NAS :) Merci pour cette précision. Exact!
-----Original Message----- From: frsag-bounces@frsag.org [mailto:frsag-bounces@frsag.org] On Behalf Of Yohann Poilvert Sent: lundi 9 décembre 2013 13:19 To: frsag@frsag.org Subject: Re: [FRsAG] Software Defined Storage : Nexenta vs FreeNAS
Le 09/12/2013 13:12, Leslie-Alexandre DENIS a écrit :
Bonjour à tous/toutes, Bonjour. Je me penche actuellement sur les SAN software, destinés à de la prod. orienté filer pour des hyperviseurs KVM (iSCSI ou NFS). Mis à part EMC, Netapp et autres produits commerciaux je suis arrivé assez naturellement sur Nexenta et FreeNAS.
Avez-vous testé Nexenta CE ? D'après la documentation la seul limitation sont les 18TB de stockage raw. Quant à FreeNAS avez-vous des retours sur une infrastructure de production ? Pour ma part, j'ai pu tester les 2, pour les mêmes besoins d'ailleurs. Je trouver que Nexenta est beaucoup plus réactif et stable que FreeNAS, il gère plusieurs types de RAID soft dont le RAIDZ (propre au FS ZFS). En somme, Nexenta est plus fiable à mon gout.
Merci Yohann,
As-tu pus expérimenter le iSCSI et/ou la virtualisation de l'appliance Nexentastor ? Mon but serait de tirer partie de Nexentastor on top de KVM, ce qui permet plus de souplesse sur la machine type filer.
Je trouve des docs à ce sujet sur le net, apparemment ça se fait chez les autres aussi , si certains sont intéressés, je peux les transmettre. Je l'utilise en tant que SAN avec du disque SATA. Ça fonctionne plutôt bien (il ne faut pas s'attendre non plus a des perfs de malade hein). Si j'arrive à 50Mo/s avec 3 VMs qui démarrent en même temps, c'est déjà super. Je n'ai pas essayé de le virtualisé car il demande énormément de RAM... _______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
Hello Après 4 ans sur nexenta, je viens de passer sur FreeNAS... Nexenta c'est bien, mais Nexenta n'aime pas sa communauté, qui se meurt... Nexenta dans la dernière version a changé pas mal de truc par exemple la détection prédictive des pannes disque, provoquant sur un de mes SAN, la reconstruction en boucle de n miroir d'un tank, avec pendant ce temps des perfs plus que dégradées... Ensuite, le support de VAAI est plus que moyen, avec du vmware, il vaut mieux le désactiver... Pareil pour les Delayed ack sur l'adaptateur iscsi soft, à désactiver de préférence Si vous mettez des disques sata, il est vraiment conseillé de fixer ça set zfs:zfsvdevmax_pending = 1 après pour le reste, c'est cool et performant... j'ai travaillé avec sans trop de soucis longtemps, et puis d'un coup, j'ai eu plein de soucis de latence sur les LUNs dès qu'il y avait trop d'accès concurrent... je dois reconnaitre par contre que les snapshot zfs illimité m'ont sauvé plus d'une fois... après, comme dit plus haut, nexenta ne semble pas très bien disposé avec la communauté, qui est pour ainsi dire morte ou pas loin... ce qui n'est pas le cas de FreeNAS ...FreeNas qui depuis sa dernière version a comblé pas mal de lacunes, et qui est assez performant (pour faire un SAN, de secours, un SAN de backup pour ma part) Visiblement le support des zvol est zarb, car ils conseillent encore de passer par un extend via un fichier, mais ça devrait être réécrit dans une version proche... Sinon ne jamais oublier que zfs aime la ram, une conf digne de ce nom c'est mini 32, mais 64Go c'est mieux... et puis une bonne conf, avec de préférence des disques NL si besoin de grosses capa 2 ssd pour les logs en miroir 2 ssd pour le cache et plein de miroir dans un zpool pour avec des bonnes perfs en IO (miroir de raidz si plein de disque, simple miroir à la raid10 si genre 10 ou 12 disques data dispo) et ne pas oublier le spare... voila mes 2 cents PS : je n'ai jamais testé ni Nexenta ni FreeNAS en nfs, que en iscsi ----- Mail original -----
De: "Leslie-Alexandre DENIS" <ml@ladenis.fr> À: "French SysAdmin Group" <frsag@frsag.org> Envoyé: Lundi 9 Décembre 2013 13:12:57 Objet: [FRsAG] Software Defined Storage : Nexenta vs FreeNAS
Bonjour à tous/toutes,
Je me penche actuellement sur les SAN software, destinés à de la prod. orienté filer pour des hyperviseurs KVM (iSCSI ou NFS). Mis à part EMC, Netapp et autres produits commerciaux je suis arrivé assez naturellement sur Nexenta et FreeNAS.
Avez-vous testé Nexenta CE ? D'après la documentation la seul limitation sont les 18TB de stockage raw. Quant à FreeNAS avez-vous des retours sur une infrastructure de production ?
Merci pour les feedbacks, Cya
_______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
-- Christophe BAILLON Mobile :: +336 16 400 522 Home :: http://20h.com Twitter :: http://twitter.com/ctof
Le 09/12/2013 13:12, Leslie-Alexandre DENIS a écrit :
Bonjour à tous/toutes,
Je me penche actuellement sur les SAN software, destinés à de la prod. orienté filer pour des hyperviseurs KVM (iSCSI ou NFS). Mis à part EMC, Netapp et autres produits commerciaux je suis arrivé assez naturellement sur Nexenta et FreeNAS.
Avez-vous testé Nexenta CE ? D'après la documentation la seul limitation sont les 18TB de stockage raw. Quant à FreeNAS avez-vous des retours sur une infrastructure de production ?
Merci pour les feedbacks, Cya
Salut Leslie, J'ai fini par jeter les deux solutions directement par manque de vraie solution de réplication sync/async. ZFS c'est le pied mais les snapshots, ce n'est pas de la réplication destinée à un usage de VM selon moi. Du coup, là, je tente un lab à base de linux avec le zfs on linux et glusterfs. Un joli mélange, reste à voir les perfs et si l'hyperviseur en veut bien (pour le moment, ovirt me tente bien pour son support gluster natif). Ah le stockage cloud, ça m'en a déjà bouffé des heures de veille et de lab. Si il y avait moyen de mettre un peu de ressources/documentation en commun, je suis preneur. Julien
Le 09/12/2013 16:58, Julien Escario a écrit :
Le 09/12/2013 13:12, Leslie-Alexandre DENIS a écrit :
Bonjour à tous/toutes,
Je me penche actuellement sur les SAN software, destinés à de la prod. orienté filer pour des hyperviseurs KVM (iSCSI ou NFS). Mis à part EMC, Netapp et autres produits commerciaux je suis arrivé assez naturellement sur Nexenta et FreeNAS.
Avez-vous testé Nexenta CE ? D'après la documentation la seul limitation sont les 18TB de stockage raw. Quant à FreeNAS avez-vous des retours sur une infrastructure de production ?
Merci pour les feedbacks, Cya
Salut Leslie, J'ai fini par jeter les deux solutions directement par manque de vraie solution de réplication sync/async. ZFS c'est le pied mais les snapshots, ce n'est pas de la réplication destinée à un usage de VM selon moi.
Du coup, là, je tente un lab à base de linux avec le zfs on linux et glusterfs. Un joli mélange, reste à voir les perfs et si l'hyperviseur en veut bien (pour le moment, ovirt me tente bien pour son support gluster natif).
Ah le stockage cloud, ça m'en a déjà bouffé des heures de veille et de lab. Si il y avait moyen de mettre un peu de ressources/documentation en commun, je suis preneur.
Julien
Pour rester dans du Linux simple, j'ai déjà utilisé OpenMediaVault, basé sur Debian. Export iSCSI pour VMware, sur 8 SSD en RAID10 (je sais, ça fait riche). Nexentastore m'avait l'air très bien sur le papier, mais la licence est vraiment pas claire. Au delà des 18To, ils parlent aussi d'utilisation dans un cadre personnel. FreeNAS, je n'avais pas pu tester à cause d'une carte RAID pas supporté. Maintenant, Comme le dit Julien, tu peux aussi regarder du coté des filesystems distribués comme GlusterFS, Ceph, MooseFS. Surtout si tu veux de la haute dispo sur plusieurs machines. Préférence pour Ceph, surtout pour faire tourner des VM KVM, avec le driver RBD pour QEMU. Ça devient la solution de référence pour le stockage des Cloud IaaS, comme OpenStack. Avec la volumétrie de nos jours, les systèmes RAID et DRBD deviennent vite contraignant quand ils doivent se resynchroniser.
Le 10/12/2013 01:20, Gilles Mocellin a écrit :
[...] Maintenant, Comme le dit Julien, tu peux aussi regarder du coté des filesystems distribués comme GlusterFS, Ceph, MooseFS. Surtout si tu veux de la haute dispo sur plusieurs machines. Préférence pour Ceph, surtout pour faire tourner des VM KVM, avec le driver RBD pour QEMU. Ça devient la solution de référence pour le stockage des Cloud IaaS, comme OpenStack.
J'étais justement en train de regarder Ceph et il semblerait qu'il manque LE truc indispensable : la geo réplication et donc un mode asynchrone avec un système de 'zone' (je veux qu'à un instant t, il y au moins un réplicat dans CHAQUE datacenter). Ca a l'air très demandé par la communauté ceph et certains l'ont fait avec du DRBD protocol A sous rados. Pourquoi pas mais ça commence à faire des couches et des couches donc des perfs en moins. A confirmer mais qemu intègre maintenant aussi un accès direct à un domaine gluster sans passer par la case FUSE.
Avec la volumétrie de nos jours, les systèmes RAID et DRBD deviennent vite contraignant quand ils doivent se resynchroniser.
Déjà, si HDD >= 2 To, RAID6, plus RAID5. Et effectivement DRBD, même si ils ont amélioré les choses, nécessite une bonne compréhension de ce qu'est un slit-brain au risque de perdre des données. La resynchro drdb a pas évoluée aussi : on ne resynchronise que ce qui est désynchronisé maintenant, plus l'ensemble (peut être un comportement qui se configure ceci dit). Je suis également en recherche de système de 'geo cluster' en open source, si certains ont des idées, je prends ! Julien
Le 10/12/2013 15:26, Julien Escario a écrit :
Le 10/12/2013 01:20, Gilles Mocellin a écrit :
[...] Maintenant, Comme le dit Julien, tu peux aussi regarder du coté des filesystems distribués comme GlusterFS, Ceph, MooseFS. Surtout si tu veux de la haute dispo sur plusieurs machines. Préférence pour Ceph, surtout pour faire tourner des VM KVM, avec le driver RBD pour QEMU. Ça devient la solution de référence pour le stockage des Cloud IaaS, comme OpenStack.
J'étais justement en train de regarder Ceph et il semblerait qu'il manque LE truc indispensable : la geo réplication et donc un mode asynchrone avec un système de 'zone' (je veux qu'à un instant t, il y au moins un réplicat dans CHAQUE datacenter). Ca a l'air très demandé par la communauté ceph et certains l'ont fait avec du DRBD protocol A sous rados. Pourquoi pas mais ça commence à faire des couches et des couches donc des perfs en moins.
J'ai demandé récemment à un dev, et le truc qui pourrait remplacer une géo-réplication qu'il n'y aura pas de si tôt. Le snapshot incremental : http://ceph.com/dev-notes/incremental-snapshots-with-rbd/ L'idée : - Avoir un cluster Ceph, indépendants, dans deux datacenters. - Envoyer régulièrement (par scripts), des diffs des volumes que l'on souhaite protéger en Disaster Recovery.
A confirmer mais qemu intègre maintenant aussi un accès direct à un domaine gluster sans passer par la case FUSE. Je confirme.
Avec la volumétrie de nos jours, les systèmes RAID et DRBD deviennent vite contraignant quand ils doivent se resynchroniser.
Déjà, si HDD >= 2 To, RAID6, plus RAID5. Et effectivement DRBD, même si ils ont amélioré les choses, nécessite une bonne compréhension de ce qu'est un slit-brain au risque de perdre des données. La resynchro drdb a pas évoluée aussi : on ne resynchronise que ce qui est désynchronisé maintenant, plus l'ensemble (peut être un comportement qui se configure ceci dit).
Je suis également en recherche de système de 'geo cluster' en open source, si certains ont des idées, je prends !
Julien
On a aussi la partie stockage d'OpenStack : Swift. Là, ça prend en charge la géo-réplication. Mais, c'est pas fait pour des volumes en mode block, faisant tourner des VMs... Je crois que le Graal n'existe pas (encore)...
Le 10/12/2013 16:14, Gilles Mocellin a écrit :
J'ai demandé récemment à un dev, et le truc qui pourrait remplacer une géo-réplication qu'il n'y aura pas de si tôt. Le snapshot incremental : http://ceph.com/dev-notes/incremental-snapshots-with-rbd/
L'idée : - Avoir un cluster Ceph, indépendants, dans deux datacenters. - Envoyer régulièrement (par scripts), des diffs des volumes que l'on souhaite protéger en Disaster Recovery.
Oui donc on parle de disaster recovery dans le cas où l'on peut se permettre de perdre les x dernières minutes (suivant la granularité). Je n'ai aucune idée de la chose mais la génération des diff doivent bien prendre quelques I/O non ? Et dans ce cas, je vois mal de la live migration (mais j'ai peut être pas compris un truc).
On a aussi la partie stockage d'OpenStack : Swift. Là, ça prend en charge la géo-réplication. Mais, c'est pas fait pour des volumes en mode block, faisant tourner des VMs...
<mode pas testé> Oui aussi mais ça a l'air d'une usine à gaz à monter </mode>
Je crois que le Graal n'existe pas (encore)...
Alors je pense que je vais vraiment me faire un lab avec glusterfs. Au final, ça fait à peu près tout ce qu'il me faut : accès natif depuis qemu/kvm, réplication sync et async et metadata distribuées Et un peu de lecture : http://member.wide.ad.jp/~shima/publications/20120924-dfs-performance.pdf Ca date un peu (notamment, pas ne notion de support gluster natif dans KVM) mais ça donne déjà une bonne idée en fonction de vos besoins. Et pour y ajouter ça : http://www.gluster.org/community/documentation/images/9/9d/QEMU_GlusterFS.pd... Ca c'est moins impartial dirons-nous. Julien P.S. : merci pour l'idée de XtreemFS en privé mais les métadonnées centralisées, ça m'inquiète
participants (6)
-
Christophe BAILLON -
Gilles Mocellin -
Joël DEREFINKO -
Julien Escario -
Leslie-Alexandre DENIS -
Yohann Poilvert