Bien le bonsoir,
Etant nouveau sur la ML, jespère my prendre correctement.
Pour faire très simple, je suis à la recherche dune solution de stockage scalable, HA, ne nécéssitant pas une infrastucture démesurée.
Lidéal étant de pouvoir faire de la réplication Multi Datacenter ( 4ms environs ) et de commencer petit. Jentends par là entre 5To et 10To, à terme environ 100To.
Avez-vous des solutions intéréssantes, des retours dexpériences qui pourraient maider dans ma recherche ?
Jai déjà testé Ceph, javais été relativement déçu des performances. DrBD fait le taff mais niveau scalabilité, on repassera plus tard, et en cas de coupure delectricité, très compliqué davoir quelque chose de correct.
Je me pense sur une solution OpenSource/Maison car vu le tarif des baies de stockage .
Merci par avance.
Bien cordialement
Guillaume P.
Ta recherche m’intéresse aussi.
Il manque des éléments: -plutôt SATA/SAS ou SSD ? -accès stockage plutôt NFS seulement ? iSCSI ? Les 2 ? Autre ? -quel niveau de RAID ? -interface d’accès 1G ? 10G ? Autre ?
Tu as pensé à des baies de stockage en broke ?
Le 3 déc. 2019 à 17:38, Guillaume via FRsAG frsag@frsag.org a écrit :
Bien le bonsoir,
Etant nouveau sur la ML, j’espère m’y prendre correctement.
Pour faire très simple, je suis à la recherche d’une solution de stockage scalable, HA, ne nécéssitant pas une infrastucture démesurée. L’idéal étant de pouvoir faire de la réplication Multi Datacenter ( 4ms environs ) et de commencer petit. J’entends par là entre 5To et 10To, à terme environ 100To.
Avez-vous des solutions intéréssantes, des retours d’expériences qui pourraient m’aider dans ma recherche ?
J’ai déjà testé Ceph, j’avais été relativement déçu des performances. DrBD fait le taff mais niveau scalabilité, on repassera plus tard, et en cas de coupure d’electricité, très compliqué d’avoir quelque chose de correct. Je me pense sur une solution OpenSource/Maison car vu le tarif des baies de stockage….
Merci par avance.
Bien cordialement
Guillaume P.
Liste de diffusion du FRsAG http://www.frsag.org/ http://www.frsag.org/
Bonjour Guillaume,
Datacore me semble correspondre a ta demande.
Bonne soirée
De : FRsAG frsag-bounces@frsag.org au nom de Guillaume via FRsAG frsag@frsag.org Répondre à : guillaume@putier.fr Date : mardi 3 décembre 2019 à 17:41 À : frsag@frsag.org Objet : [FRsAG] Stockage scalable, HA
Bien le bonsoir,
Etant nouveau sur la ML, j’espère m’y prendre correctement.
Pour faire très simple, je suis à la recherche d’une solution de stockage scalable, HA, ne nécéssitant pas une infrastucture démesurée.
L’idéal étant de pouvoir faire de la réplication Multi Datacenter ( 4ms environs ) et de commencer petit. J’entends par là entre 5To et 10To, à terme environ 100To.
Avez-vous des solutions intéréssantes, des retours d’expériences qui pourraient m’aider dans ma recherche ?
J’ai déjà testé Ceph, j’avais été relativement déçu des performances. DrBD fait le taff mais niveau scalabilité, on repassera plus tard, et en cas de coupure d’electricité, très compliqué d’avoir quelque chose de correct.
Je me pense sur une solution OpenSource/Maison car vu le tarif des baies de stockage….
Merci par avance.
Bien cordialement
Guillaume P.
_______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
Bonjour Guillaume,+1 pour Datacore Richard -------- Message d'origine --------De : Alain Bieuzent alain.bieuzent@free.fr Date : 03/12/2019 17:51 (GMT+01:00) À : guillaume@putier.fr, frsag@frsag.org Objet : Re: [FRsAG] Stockage scalable, HA Bonjour Guillaume, Datacore me semble correspondre a ta demande. Bonne soirée De : FRsAG frsag-bounces@frsag.org au nom de Guillaume via FRsAG frsag@frsag.orgRépondre à : guillaume@putier.frDate : mardi 3 décembre 2019 à 17:41À : frsag@frsag.orgObjet : [FRsAG] Stockage scalable, HA Bien le bonsoir, Etant nouveau sur la ML, j’espère m’y prendre correctement. Pour faire très simple, je suis à la recherche d’une solution de stockage scalable, HA, ne nécéssitant pas une infrastucture démesurée.L’idéal étant de pouvoir faire de la réplication Multi Datacenter ( 4ms environs ) et de commencer petit. J’entends par là entre 5To et 10To, à terme environ 100To. Avez-vous des solutions intéréssantes, des retours d’expériences qui pourraient m’aider dans ma recherche ? J’ai déjà testé Ceph, j’avais été relativement déçu des performances. DrBD fait le taff mais niveau scalabilité, on repassera plus tard, et en cas de coupure d’electricité, très compliqué d’avoir quelque chose de correct.Je me pense sur une solution OpenSource/Maison car vu le tarif des baies de stockage…. Merci par avance. Bien cordialement Guillaume P. _______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
C’est OpenSource ?
Le 3 déc. 2019 à 17:48, Alain Bieuzent alain.bieuzent@free.fr a écrit :
Bonjour Guillaume,
Datacore me semble correspondre a ta demande.
Bonsoir,
Clairement CePH la solution idéale.
Le 03/12/2019 à 17:38, Guillaume via FRsAG a écrit :
Bien le bonsoir,
Etant nouveau sur la ML, j’espère m’y prendre correctement.
Pour faire très simple, je suis à la recherche d’une solution de stockage scalable, HA, ne nécéssitant pas une infrastucture démesurée.
L’idéal étant de pouvoir faire de la réplication Multi Datacenter ( 4ms environs ) et de commencer petit. J’entends par là entre 5To et 10To, à terme environ 100To.
Avez-vous des solutions intéréssantes, des retours d’expériences qui pourraient m’aider dans ma recherche ?
J’ai déjà testé Ceph, j’avais été relativement déçu des performances. DrBD fait le taff mais niveau scalabilité, on repassera plus tard, et en cas de coupure d’electricité, très compliqué d’avoir quelque chose de correct.
Je me pense sur une solution OpenSource/Maison car vu le tarif des baies de stockage….
Merci par avance.
Bien cordialement
Guillaume P.
Liste de diffusion du FRsAG http://www.frsag.org/
Deux syno avec Snapshot Replication ? https://www.synology.com/fr-fr/dsm/feature/snapshot_replication
De : FRsAG frsag-bounces@frsag.org De la part de Wallace Envoyé : mardi 3 décembre 2019 18:30 À : frsag@frsag.org Objet : Re: [FRsAG] Stockage scalable, HA
Bonsoir,
Clairement CePH la solution idéale.
Le 03/12/2019 à 17:38, Guillaume via FRsAG a écrit : Bien le bonsoir,
Etant nouveau sur la ML, j'espère m'y prendre correctement.
Pour faire très simple, je suis à la recherche d'une solution de stockage scalable, HA, ne nécéssitant pas une infrastucture démesurée. L'idéal étant de pouvoir faire de la réplication Multi Datacenter ( 4ms environs ) et de commencer petit. J'entends par là entre 5To et 10To, à terme environ 100To.
Avez-vous des solutions intéréssantes, des retours d'expériences qui pourraient m'aider dans ma recherche ?
J'ai déjà testé Ceph, j'avais été relativement déçu des performances. DrBD fait le taff mais niveau scalabilité, on repassera plus tard, et en cas de coupure d'electricité, très compliqué d'avoir quelque chose de correct. Je me pense sur une solution OpenSource/Maison car vu le tarif des baies de stockage....
Merci par avance.
Bien cordialement
Guillaume P.
_______________________________________________
Liste de diffusion du FRsAG
Je plussoie.
Moyennement open source mais effectivement cela marche bien pour un rapport qualité prix imbattable. BTRFS en sus.
Attention toutefois aux très nombreux I/O de la réplication. Bien prendre des disques NAS et/ou enterprise. Plus "hot spare"...etc, etc.
--
Confraternellement,
Philippe
Le 03/12/2019 à 18:34, Joel DEREFINKO a écrit :
Deux syno avec Snapshot Replication ?
https://www.synology.com/fr-fr/dsm/feature/snapshot_replication
*De :*FRsAG frsag-bounces@frsag.org *De la part de* Wallace *Envoyé :* mardi 3 décembre 2019 18:30 *À :* frsag@frsag.org *Objet :* Re: [FRsAG] Stockage scalable, HA
Bonsoir,
Clairement CePH la solution idéale.
Le 03/12/2019 à 17:38, Guillaume via FRsAG a écrit :
Bien le bonsoir, Etant nouveau sur la ML, j’espère m’y prendre correctement. Pour faire très simple, je suis à la recherche d’une solution de stockage scalable, HA, ne nécéssitant pas une infrastucture démesurée. L’idéal étant de pouvoir faire de la réplication Multi Datacenter ( 4ms environs ) et de commencer petit. J’entends par là entre 5To et 10To, à terme environ 100To. Avez-vous des solutions intéréssantes, des retours d’expériences qui pourraient m’aider dans ma recherche ? J’ai déjà testé Ceph, j’avais été relativement déçu des performances. DrBD fait le taff mais niveau scalabilité, on repassera plus tard, et en cas de coupure d’electricité, très compliqué d’avoir quelque chose de correct. Je me pense sur une solution OpenSource/Maison car vu le tarif des baies de stockage…. Merci par avance. Bien cordialement Guillaume P. _______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
Liste de diffusion du FRsAG http://www.frsag.org/
Je ne connais pas Datacore mais je sujet low-budget, stockage scalable me fais penser aussi à ZFS (learning curve to be expected) qui pourrais aussi entrer dans le cadre :) (en fonction du besoin bien sûr).
#contexte #my2cents Olivier
December 4, 2019 9:43 AM, "Philippe Beauchet" philippe.beauchet@map.cnrs.fr wrote:
Je plussoie.
Moyennement open source mais effectivement cela marche bien pour un rapport qualité prix imbattable. BTRFS en sus.
Attention toutefois aux très nombreux I/O de la réplication. Bien prendre des disques NAS et/ou enterprise. Plus "hot spare"...etc, etc.
--
Confraternellement,
Philippe
Le 03/12/2019 à 18:34, Joel DEREFINKO a écrit :
Deux syno avec Snapshot Replication ?
https://www.synology.com/fr-fr/dsm/feature/snapshot_replication
*De :*FRsAG frsag-bounces@frsag.org *De la part de* Wallace *Envoyé :* mardi 3 décembre 2019 18:30 *À :* frsag@frsag.org *Objet :* Re: [FRsAG] Stockage scalable, HA
Bonsoir,
Clairement CePH la solution idéale.
Le 03/12/2019 à 17:38, Guillaume via FRsAG a écrit :
Bien le bonsoir,
Etant nouveau sur la ML, j’espère m’y prendre correctement.
Pour faire très simple, je suis à la recherche d’une solution de stockage scalable, HA, ne nécéssitant pas une infrastucture démesurée.
L’idéal étant de pouvoir faire de la réplication Multi Datacenter ( 4ms environs ) et de commencer petit. J’entends par là entre 5To et 10To, à terme environ 100To.
Avez-vous des solutions intéréssantes, des retours d’expériences qui pourraient m’aider dans ma recherche ?
J’ai déjà testé Ceph, j’avais été relativement déçu des performances. DrBD fait le taff mais niveau scalabilité, on repassera plus tard, et en cas de coupure d’electricité, très compliqué d’avoir quelque chose de correct.
Je me pense sur une solution OpenSource/Maison car vu le tarif des baies de stockage….
Merci par avance.
Bien cordialement
Guillaume P.
Liste de diffusion du FRsAG
Liste de diffusion du FRsAG http://www.frsag.org
Liste de diffusion du FRsAG http://www.frsag.org
Quelqu’un a des retours d’expérience réels avec Syno ? Ca tient les perfs annoncées ? Parce que c’est pas donné quand même, en tout cas en prix public (comparativement à se monter une archi avec du matos éprouvé en broke). J’ai pas encore regardé s’ils se mettaient en slip pour les revendeurs.
Le 4 déc. 2019 à 10:43, Philippe Beauchet philippe.beauchet@map.cnrs.fr a écrit :
Je plussoie.
Moyennement open source mais effectivement cela marche bien pour un rapport qualité prix imbattable. BTRFS en sus.
Attention toutefois aux très nombreux I/O de la réplication. Bien prendre des disques NAS et/ou enterprise. Plus "hot spare"...etc, etc.
Expérience avec Syno FS2017 sur de la HA non-scalable.
On a mis 2 Syno reliés en 4Gbps au LAN et 10Gbps entre eux.
Dans cette config, pour avoir le Quorum, il faut fifil en direct, pas de switch rien entre les deux.
Avec 12x480GB en SSD, on a eu les perfs attendues sur le papier.
Le chassis est un Xeon-D avec 16 Go de RAM. Pour une exploitation avec btrfs ou zfs, ce sera rapidement trop faible.
Le choix avait été retenu car pas très cher pour monter du stockage en 24 baies full-flash, et possibilité d'utiliser n'importe quelle marque de ssd.
Le logiciel synology est bien fini et se laisse mettre en place facilement sur cette partie.
Pour la mise-en-slip, faut pas spécialement compter dessus.
Nous avons pris l'ensemble chez SQP, qui guide très bien pour pondre une config saine. https://www.sqp.fr/
Kévin
-----Message d'origine----- De : FRsAG frsag-bounces@frsag.org De la part de David Ponzone Envoyé : mercredi 4 décembre 2019 12:21 À : Philippe Beauchet philippe.beauchet@map.cnrs.fr Cc : frsag@frsag.org Objet : Re: [FRsAG] Stockage scalable, HA
Quelqu’un a des retours d’expérience réels avec Syno ? Ca tient les perfs annoncées ? Parce que c’est pas donné quand même, en tout cas en prix public (comparativement à se monter une archi avec du matos éprouvé en broke). J’ai pas encore regardé s’ils se mettaient en slip pour les revendeurs.
Le 4 déc. 2019 à 10:43, Philippe Beauchet philippe.beauchet@map.cnrs.fr a écrit :
Je plussoie.
Moyennement open source mais effectivement cela marche bien pour un rapport qualité prix imbattable. BTRFS en sus.
Attention toutefois aux très nombreux I/O de la réplication. Bien prendre des disques NAS et/ou enterprise. Plus "hot spare"...etc, etc.
_______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
Le chassis est un Xeon-D avec 16 Go de RAM. Pour une exploitation avec btrfs ou zfs, ce sera rapidement trop faible.
J’avais pas l’impression qu’il faisait du ZFS.
Tu avais joué avec le NFS seulement, ou en iSCSI aussi ?
Pour la mise-en-slip, faut pas spécialement compter dessus.
Oui je viens de voir ça, entre 15 et 25%, selon les modèles, mais plutôt 15 que 25 :)
On peut bidouiller* l'os assez profondéement sur ces baies.
Nous on fait du RAID-F1 qu'on exporte en mode block iscsi ( vmware oblige )
En local on a du NFS sur btrfs, ça rame un peu ( NAS plus petit ). Pas de mauvaise surprise pour l'instant. ( les fichiers sont checksummés par veeam a chaque cycle de backup )
Afin de bénéficier du support syno on-sait-jamais on est parfaitement dans les clous,
On a eu une panne de baie, une panne d'alim intégrale, tout remonte et alerte proprement.
Si synology le propose, en appelant SQP ils peuvent donner des infos intéressantes dessus,
Kévin
( * oui c'est sale )
-----Message d'origine----- De : David Ponzone david.ponzone@gmail.com Envoyé : mercredi 4 décembre 2019 12:37 À : Kevin CHAILLY | Service Technique kchailly@adeo-informatique.com Cc : Philippe Beauchet philippe.beauchet@map.cnrs.fr; frsag@frsag.org Objet : Re: [FRsAG] Stockage scalable, HA
Le chassis est un Xeon-D avec 16 Go de RAM. Pour une exploitation avec btrfs ou zfs, ce sera rapidement trop faible.
J’avais pas l’impression qu’il faisait du ZFS.
Tu avais joué avec le NFS seulement, ou en iSCSI aussi ?
Pour la mise-en-slip, faut pas spécialement compter dessus.
Oui je viens de voir ça, entre 15 et 25%, selon les modèles, mais plutôt 15 que 25 :)
Bidouiller au point d’ajouter le ZFS qui n’est pas natif ?
Le 4 déc. 2019 à 13:24, Kevin CHAILLY | Service Technique kchailly@adeo-informatique.com a écrit :
On peut bidouiller* l'os assez profondéement sur ces baies.
Malheureusement quand j'avais fait les tests aucune volonté de la part de syno ☹
-----Message d'origine----- De : David Ponzone david.ponzone@gmail.com Envoyé : mercredi 4 décembre 2019 13:34 À : Kevin CHAILLY | Service Technique kchailly@adeo-informatique.com Cc : Philippe Beauchet philippe.beauchet@map.cnrs.fr; frsag@frsag.org Objet : Re: [FRsAG] Stockage scalable, HA
Bidouiller au point d’ajouter le ZFS qui n’est pas natif ?
Le 4 déc. 2019 à 13:24, Kevin CHAILLY | Service Technique kchailly@adeo-informatique.com a écrit :
On peut bidouiller* l'os assez profondéement sur ces baies.
Bonsoir,
J'avais testé MooseFS(https://moosefs.com/) fut le temps c'était pas mal en terme de perf sur les petits et gros fichiers.
Par contre Gluster FS était vraiment pas bon en terme de perf sur les petits fichiers pour le coup.
My 2 cent Seb
Le 03-12-19 à 17:38, Guillaume via FRsAG a écrit :
Bien le bonsoir,
Etant nouveau sur la ML, j’espère m’y prendre correctement.
Pour faire très simple, je suis à la recherche d’une solution de stockage scalable, HA, ne nécéssitant pas une infrastucture démesurée.
L’idéal étant de pouvoir faire de la réplication Multi Datacenter ( 4ms environs ) et de commencer petit. J’entends par là entre 5To et 10To, à terme environ 100To.
Avez-vous des solutions intéréssantes, des retours d’expériences qui pourraient m’aider dans ma recherche ?
J’ai déjà testé Ceph, j’avais été relativement déçu des performances. DrBD fait le taff mais niveau scalabilité, on repassera plus tard, et en cas de coupure d’electricité, très compliqué d’avoir quelque chose de correct.
Je me pense sur une solution OpenSource/Maison car vu le tarif des baies de stockage….
Merci par avance.
Bien cordialement
Guillaume P.
Liste de diffusion du FRsAG http://www.frsag.org/
Proxmox dans sa dernière version semble faire cela ! Juste testé en cluster sur un VMWARE ! C’est simple à mettre en place ! Après à maintenir je ne sais pas !
Envoyé de mon iPhone
Le 3 déc. 2019 à 18:53, Sebastien Caps via FRsAG frsag@frsag.org a écrit :
Bonsoir,
J'avais testé MooseFS(https://moosefs.com/) fut le temps c'était pas mal en terme de perf sur les petits et gros fichiers.
Par contre Gluster FS était vraiment pas bon en terme de perf sur les petits fichiers pour le coup.
My 2 cent Seb
Le 03-12-19 à 17:38, Guillaume via FRsAG a écrit : Bien le bonsoir,
Etant nouveau sur la ML, j’espère m’y prendre correctement.
Pour faire très simple, je suis à la recherche d’une solution de stockage scalable, HA, ne nécéssitant pas une infrastucture démesurée. L’idéal étant de pouvoir faire de la réplication Multi Datacenter ( 4ms environs ) et de commencer petit. J’entends par là entre 5To et 10To, à terme environ 100To.
Avez-vous des solutions intéréssantes, des retours d’expériences qui pourraient m’aider dans ma recherche ?
J’ai déjà testé Ceph, j’avais été relativement déçu des performances. DrBD fait le taff mais niveau scalabilité, on repassera plus tard, et en cas de coupure d’electricité, très compliqué d’avoir quelque chose de correct. Je me pense sur une solution OpenSource/Maison car vu le tarif des baies de stockage….
Merci par avance.
Bien cordialement
Guillaume P.
_______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
_______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
Hello, Je confirme, Ceph sans hésiter à moins que tu es du cash et des besoins ultra critiques pour prendre du Infinidat.
GlusterFS, je ne perdrais même plus du temps à poc cette chose.
Sinon tu as OrangeFS qui reste une chose intéressante de mon point de vue.
Pour du Ready to Prod, c'est: - pas le budget et pas ultra critique: Ceph
- budget + ultra critique : Infinidat
- budget mais recherche solution open source: Ceph avec la montée en compétences de la team
- ultra critique et recherche solution open source: Ceph avec la montée en compétences de la team + accompagnement externe pour la mise en place
On Tue, Dec 3, 2019, 13:53 PAILLE Jeremie Jeremie.PAILLE@arhm.fr wrote:
Proxmox dans sa dernière version semble faire cela ! Juste testé en cluster sur un VMWARE ! C’est simple à mettre en place ! Après à maintenir je ne sais pas !
Envoyé de mon iPhone
Le 3 déc. 2019 à 18:53, Sebastien Caps via FRsAG frsag@frsag.org a écrit :
Bonsoir,
J'avais testé MooseFS(https://moosefs.com/) fut le temps c'était pas mal en terme de perf sur les petits et gros fichiers.
Par contre Gluster FS était vraiment pas bon en terme de perf sur les petits fichiers pour le coup.
My 2 cent Seb Le 03-12-19 à 17:38, Guillaume via FRsAG a écrit :
Bien le bonsoir,
Etant nouveau sur la ML, j’espère m’y prendre correctement.
Pour faire très simple, je suis à la recherche d’une solution de stockage scalable, HA, ne nécéssitant pas une infrastucture démesurée.
L’idéal étant de pouvoir faire de la réplication Multi Datacenter ( 4ms environs ) et de commencer petit. J’entends par là entre 5To et 10To, à terme environ 100To.
Avez-vous des solutions intéréssantes, des retours d’expériences qui pourraient m’aider dans ma recherche ?
J’ai déjà testé Ceph, j’avais été relativement déçu des performances. DrBD fait le taff mais niveau scalabilité, on repassera plus tard, et en cas de coupure d’electricité, très compliqué d’avoir quelque chose de correct.
Je me pense sur une solution OpenSource/Maison car vu le tarif des baies de stockage….
Merci par avance.
Bien cordialement
Guillaume P.
Liste de diffusion du FRsAGhttp://www.frsag.org/
Liste de diffusion du FRsAG http://www.frsag.org/
Liste de diffusion du FRsAG http://www.frsag.org/
Je plussoie Datacore, mais en effet ce n'est pas opensource et les licences pour la réplication sont d'un certain montant
Le mar. 3 déc. 2019 à 20:14, Florent CARRÉ colundrum@gmail.com a écrit :
Hello, Je confirme, Ceph sans hésiter à moins que tu es du cash et des besoins ultra critiques pour prendre du Infinidat.
GlusterFS, je ne perdrais même plus du temps à poc cette chose.
Sinon tu as OrangeFS qui reste une chose intéressante de mon point de vue.
Pour du Ready to Prod, c'est:
pas le budget et pas ultra critique: Ceph
budget + ultra critique : Infinidat
budget mais recherche solution open source: Ceph avec la montée en
compétences de la team
- ultra critique et recherche solution open source: Ceph avec la montée en
compétences de la team + accompagnement externe pour la mise en place
On Tue, Dec 3, 2019, 13:53 PAILLE Jeremie Jeremie.PAILLE@arhm.fr wrote:
Proxmox dans sa dernière version semble faire cela ! Juste testé en cluster sur un VMWARE ! C’est simple à mettre en place ! Après à maintenir je ne sais pas !
Envoyé de mon iPhone
Le 3 déc. 2019 à 18:53, Sebastien Caps via FRsAG frsag@frsag.org a écrit :
Bonsoir,
J'avais testé MooseFS(https://moosefs.com/) fut le temps c'était pas mal en terme de perf sur les petits et gros fichiers.
Par contre Gluster FS était vraiment pas bon en terme de perf sur les petits fichiers pour le coup.
My 2 cent Seb Le 03-12-19 à 17:38, Guillaume via FRsAG a écrit :
Bien le bonsoir,
Etant nouveau sur la ML, j’espère m’y prendre correctement.
Pour faire très simple, je suis à la recherche d’une solution de stockage scalable, HA, ne nécéssitant pas une infrastucture démesurée.
L’idéal étant de pouvoir faire de la réplication Multi Datacenter ( 4ms environs ) et de commencer petit. J’entends par là entre 5To et 10To, à terme environ 100To.
Avez-vous des solutions intéréssantes, des retours d’expériences qui pourraient m’aider dans ma recherche ?
J’ai déjà testé Ceph, j’avais été relativement déçu des performances. DrBD fait le taff mais niveau scalabilité, on repassera plus tard, et en cas de coupure d’electricité, très compliqué d’avoir quelque chose de correct.
Je me pense sur une solution OpenSource/Maison car vu le tarif des baies de stockage….
Merci par avance.
Bien cordialement
Guillaume P.
Liste de diffusion du FRsAGhttp://www.frsag.org/
Liste de diffusion du FRsAG http://www.frsag.org/
Liste de diffusion du FRsAG http://www.frsag.org/
Liste de diffusion du FRsAG http://www.frsag.org/
Petit question à se poser quand tu fait du stockage :Le volume c'est ok qq ToQuid des IOPS/workload attendus ?Quid des protocoles ? Fc/fcoe, nfs, cifs ... que tu souhaites utiliser ?Quid du niveau de dispo que tu attends ? RTO/RPOQuid du niveau de support ?Partir sur de l'open source c'est sympa mais sur une prod en 99,99 c'est potentiellement risqué et les temps de debug peuvent être long. Après sur les constructeurs c'est cher mais tu peux avoir des garanties. CdtCyrille Envoyé depuis mon appareil mobile Samsung. -------- Message d'origine --------De : SERRUT Arnaud qqqrno@gmail.com Date : 03/12/2019 20:54 (GMT+01:00) À : Florent CARRÉ colundrum@gmail.com Cc : French SysAdmin Group frsag@frsag.org Objet : Re: [FRsAG] Stockage scalable, HA Je plussoie Datacore, mais en effet ce n'est pas opensource et les licences pour la réplication sont d'un certain montantLe mar. 3 déc. 2019 à 20:14, Florent CARRÉ colundrum@gmail.com a écrit :Hello,Je confirme, Ceph sans hésiter à moins que tu es du cash et des besoins ultra critiques pour prendre du Infinidat.GlusterFS, je ne perdrais même plus du temps à poc cette chose.Sinon tu as OrangeFS qui reste une chose intéressante de mon point de vue.Pour du Ready to Prod, c'est:- pas le budget et pas ultra critique: Ceph- budget + ultra critique : Infinidat- budget mais recherche solution open source: Ceph avec la montée en compétences de la team- ultra critique et recherche solution open source: Ceph avec la montée en compétences de la team + accompagnement externe pour la mise en placeOn Tue, Dec 3, 2019, 13:53 PAILLE Jeremie Jeremie.PAILLE@arhm.fr wrote:
Proxmox dans sa dernière version semble faire cela ! Juste testé en cluster sur un VMWARE ! C’est simple à mettre en place ! Après à maintenir je ne sais pas !
Envoyé de mon iPhone
Le 3 déc. 2019 à 18:53, Sebastien Caps via FRsAG frsag@frsag.org a écrit :
Bonsoir, J'avais testé MooseFS(https://moosefs.com/) fut le temps c'était pas mal en terme de perf sur les petits et gros fichiers. Par contre Gluster FS était vraiment pas bon en terme de perf sur les petits fichiers pour le coup. My 2 cent Seb
Le 03-12-19 à 17:38, Guillaume via FRsAG a écrit :
Bien le bonsoir, Etant nouveau sur la ML, j’espère m’y prendre correctement. Pour faire très simple, je suis à la recherche d’une solution de stockage scalable, HA, ne nécéssitant pas une infrastucture démesurée. L’idéal étant de pouvoir faire de la réplication Multi Datacenter ( 4ms environs ) et de commencer petit. J’entends par là entre 5To et 10To, à terme environ 100To. Avez-vous des solutions intéréssantes, des retours d’expériences qui pourraient m’aider dans ma recherche ? J’ai déjà testé Ceph, j’avais été relativement déçu des performances. DrBD fait le taff mais niveau scalabilité, on repassera plus tard, et en cas de coupure d’electricité, très compliqué d’avoir quelque chose de correct. Je me pense sur une solution OpenSource/Maison car vu le tarif des baies de stockage…. Merci par avance. Bien cordialement Guillaume P.
_______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
_______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
_______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/ _______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
Hello Mes 2 cents au passage ... pour le côté open source et au risque de déterrer un troll ;-)
Pour le côté scalable « sur place » tu as ZFS qui est ton ami. ;-) Il suffit de remplacer par des disques plus gros pour étendre le stockage de tes grappes Raid-Zx :-)
Le hic c’est que ZFS c’est pas Cluster ready de base en full open source ..... - Mais bon c’est proddé depuis 2005 au moins sur Solaris, Illumos puis plus tard Freebsd etc .... - c’est relativement robuste pour les crash test que j’ai pu faire en home lab. - tu peux faire du ZFS send et receive
Si tu veux du cluster - c’est TrueNas (payant) - nexenta.com - https://napp-it.org/ avec du support récemment ; j’avais découvert en 2008/2009 mais l’interface freenas était plus sympa à gérer. ; j’ai découvert une proc pdf il y a qq temps pour faire du clustering assez poussé (pas testé)
- aussi FreeBSD avec la fonction HAST (ha storage) - et enfin Nas4Free renommé XigmaNas avec du clustering HAST intègré mais pas assez documenté ni retours d’expérience. J’ai vu passer des mots clef comme clustering split brain (pas assez creusé, pas testé mais pas rassurant ! Qqn a des retours sur le sujet sur la liste ? )
Côté Ceph je ne sais pas si on peux faire un équivalent de ZFS send | receive (?)
Voilà. Tu seras peut être un peu plus avancé .... ou pas ;-)
Bonne journée.
Merci aux bonnes âmes qui voudraient rebondir sur le sujet et communiquer des vrais REX sur ZFS en prod de leur côté :-)
Message envoyé depuis un terminal embarqué / Message sent from an embedded terminal.
Le 3 déc. 2019 à 17:41, Guillaume via FRsAG frsag@frsag.org a écrit :
Bien le bonsoir,
Etant nouveau sur la ML, j’espère m’y prendre correctement.
Pour faire très simple, je suis à la recherche d’une solution de stockage scalable, HA, ne nécéssitant pas une infrastucture démesurée. L’idéal étant de pouvoir faire de la réplication Multi Datacenter ( 4ms environs ) et de commencer petit. J’entends par là entre 5To et 10To, à terme environ 100To.
Avez-vous des solutions intéréssantes, des retours d’expériences qui pourraient m’aider dans ma recherche ?
J’ai déjà testé Ceph, j’avais été relativement déçu des performances. DrBD fait le taff mais niveau scalabilité, on repassera plus tard, et en cas de coupure d’electricité, très compliqué d’avoir quelque chose de correct. Je me pense sur une solution OpenSource/Maison car vu le tarif des baies de stockage….
Merci par avance.
Bien cordialement
Guillaume P.
Liste de diffusion du FRsAG http://www.frsag.org/
Salut,
ZFS est un système de fichier local Par essence, il n'est pas scalable sainement : comment faire un ZFS de 200TB ?
Cordialement,
On 12/4/19 1:00 PM, Jean-Christophe Janczak via FRsAG wrote:
Hello Mes 2 cents au passage ... pour le côté open source et au risque de déterrer un troll ;-)
Pour le côté scalable « sur place » tu as ZFS qui est ton ami. ;-) Il suffit de remplacer par des disques plus gros pour étendre le stockage de tes grappes Raid-Zx :-)
Le hic c’est que ZFS c’est pas Cluster ready de base en full open source .....
- Mais bon c’est proddé depuis 2005 au moins sur Solaris, Illumos puis plus tard Freebsd etc ....
- c’est relativement robuste pour les crash test que j’ai pu faire en home lab.
- tu peux faire du ZFS send et receive
Si tu veux du cluster
c’est TrueNas (payant)
nexenta.com
https://napp-it.org/ avec du support récemment ; j’avais découvert en 2008/2009 mais l’interface freenas était plus sympa à gérer. ; j’ai découvert une proc pdf il y a qq temps pour faire du clustering assez poussé (pas testé)
aussi FreeBSD avec la fonction HAST (ha storage)
et enfin Nas4Free renommé XigmaNas avec du clustering HAST intègré mais pas assez documenté ni retours d’expérience. J’ai vu passer des mots clef comme clustering split brain (pas assez creusé, pas testé mais pas rassurant ! Qqn a des retours sur le sujet sur la liste ? )
Côté Ceph je ne sais pas si on peux faire un équivalent de ZFS send | receive (?)
Voilà. Tu seras peut être un peu plus avancé .... ou pas ;-)
Bonne journée.
Merci aux bonnes âmes qui voudraient rebondir sur le sujet et communiquer des vrais REX sur ZFS en prod de leur côté :-)
Message envoyé depuis un terminal embarqué / Message sent from an embedded terminal.
Le 3 déc. 2019 à 17:41, Guillaume via FRsAG frsag@frsag.org a écrit :
Bien le bonsoir,
Etant nouveau sur la ML, j’espère m’y prendre correctement.
Pour faire très simple, je suis à la recherche d’une solution de stockage scalable, HA, ne nécéssitant pas une infrastucture démesurée. L’idéal étant de pouvoir faire de la réplication Multi Datacenter ( 4ms environs ) et de commencer petit. J’entends par là entre 5To et 10To, à terme environ 100To.
Avez-vous des solutions intéréssantes, des retours d’expériences qui pourraient m’aider dans ma recherche ?
J’ai déjà testé Ceph, j’avais été relativement déçu des performances. DrBD fait le taff mais niveau scalabilité, on repassera plus tard, et en cas de coupure d’electricité, très compliqué d’avoir quelque chose de correct. Je me pense sur une solution OpenSource/Maison car vu le tarif des baies de stockage….
Merci par avance.
Bien cordialement
Guillaume P.
Liste de diffusion du FRsAG http://www.frsag.org/
Liste de diffusion du FRsAG http://www.frsag.org/
Hello,
Le 04/12/2019 à 13:32, frsag@jack.fr.eu.org a écrit :
Salut,
ZFS est un système de fichier local Par essence, il n'est pas scalable sainement : comment faire un ZFS de 200TB ?
Ici 2 NAS de 750To distant de ~1km (sur 2 datacentres), splittés chacun en 3 gros zpool en raidz3 et 1 plus petit en raidz2. Chacun est connecté avec un brin SFP+ de 10Gb/s. Zfs send / receive chaque nuit, avec le démon znapzend (https://github.com/oetiker/znapzend , par Tobias Oetiker, le créateur de rrd/rrdtool). Sur ZoL, l'état des disques peut aussi être surveillé avec le démon "zed" inclus.
0 soucis, hormis pour mixer divers protocoles d'exposition (NFS, Samba, iscsi...) sur certaines version de ZFS. Le gros plus, je trouve, c'est de pouvoir transférer d'aussi gros volumes en mode bloc sur le lien dédié en 10Gb/s (les utilisateurs y accédent en 2Gb/s par 1 simple agrégat de 2 lien en GbE) dans des fenêtres de temps assez réduites et de pouvoir naviguer dans les snapshots Zfs à chaud pour faire des restauration de fichiers...
Matériel :
Dell R740xp + baie MD1280 (tu peux faire de l'ultra-dense, jusqu'à 84 disques et ça prend 5U : https://i.dell.com/sites/doccontent/shared-content/data-sheets/en/Documents/...) en multipath SAS. Pas de firmware spécifique Dell sur les disques. Tu peux connecter jusqu'à 2 baies par serveur. Il existe encore plus dense, notamment chez supermicro, mais le support et les conditions étaient meilleures chez Dell pour nous. Par contre, ça pèse son poids, donc bien faire gaffe à la livraison...
ZFS, c'est : ultra-robuste, opensource, et une communauté (via liste de diffusion) très (ré)active. Il faut juste bien prendre le temps de bien lire la doc avant de se lancer dedans pour un gros projet.
Maintenant, si c'était à refaire, je partirai peut-être sur Ceph, mais ce n'était pas aussi stable et utilisé à l'époque, et étant donné le ratio homme/temps dispo que j'avais, j'ai fait au plus simple / éprouvé / robuste.
My 2 cts,
Rémy.
Cordialement,
On 12/4/19 1:00 PM, Jean-Christophe Janczak via FRsAG wrote:
Hello Mes 2 cents au passage ... pour le côté open source et au risque de déterrer un troll ;-)
Pour le côté scalable « sur place » tu as ZFS qui est ton ami. ;-) Il suffit de remplacer par des disques plus gros pour étendre le stockage de tes grappes Raid-Zx :-)
Le hic c’est que ZFS c’est pas Cluster ready de base en full open source .....
- Mais bon c’est proddé depuis 2005 au moins sur Solaris, Illumos puis plus tard Freebsd etc ....
- c’est relativement robuste pour les crash test que j’ai pu faire en home lab.
- tu peux faire du ZFS send et receive
Si tu veux du cluster
c’est TrueNas (payant)
nexenta.com
https://napp-it.org/ avec du support récemment ; j’avais découvert en 2008/2009 mais l’interface freenas était plus sympa à gérer. ; j’ai découvert une proc pdf il y a qq temps pour faire du clustering assez poussé (pas testé)
aussi FreeBSD avec la fonction HAST (ha storage)
et enfin Nas4Free renommé XigmaNas avec du clustering HAST intègré mais pas assez documenté ni retours d’expérience. J’ai vu passer des mots clef comme clustering split brain (pas assez creusé, pas testé mais pas rassurant ! Qqn a des retours sur le sujet sur la liste ? )
Côté Ceph je ne sais pas si on peux faire un équivalent de ZFS send | receive (?)
Voilà. Tu seras peut être un peu plus avancé .... ou pas ;-)
Bonne journée.
Merci aux bonnes âmes qui voudraient rebondir sur le sujet et communiquer des vrais REX sur ZFS en prod de leur côté :-)
Message envoyé depuis un terminal embarqué / Message sent from an embedded terminal.
Le 3 déc. 2019 à 17:41, Guillaume via FRsAG frsag@frsag.org a écrit :
Bien le bonsoir,
Etant nouveau sur la ML, j’espère m’y prendre correctement.
Pour faire très simple, je suis à la recherche d’une solution de stockage scalable, HA, ne nécéssitant pas une infrastucture démesurée. L’idéal étant de pouvoir faire de la réplication Multi Datacenter ( 4ms environs ) et de commencer petit. J’entends par là entre 5To et 10To, à terme environ 100To.
Avez-vous des solutions intéréssantes, des retours d’expériences qui pourraient m’aider dans ma recherche ?
J’ai déjà testé Ceph, j’avais été relativement déçu des performances. DrBD fait le taff mais niveau scalabilité, on repassera plus tard, et en cas de coupure d’electricité, très compliqué d’avoir quelque chose de correct. Je me pense sur une solution OpenSource/Maison car vu le tarif des baies de stockage….
Merci par avance.
Bien cordialement
Guillaume P.
Liste de diffusion du FRsAG http://www.frsag.org/
Liste de diffusion du FRsAG http://www.frsag.org/
Liste de diffusion du FRsAG http://www.frsag.org/
Hello, Je pense que c'est "Ceph on Ceph (with diff)" concernant l'équivalent de zfs send/receive.
Tu trouveras l'explication ici (vidéo et slide) : https://archive.fosdem.org/2018/schedule/event/backup_ceph_at_scale/
Ensuite, je ne vois pas l'intérêt de faire du Ceph directement sur l'hyperviseur pour ces raisons: - allouer du temps cpu/interrupt pour les traitements de Ceph au lieu des vm - depuis quand un hyperviseur peut avoir la capacité de storage de nodes dédiées storage
Par exemple, j'ai besoin de 2 cartes réseaux PCI-Express (1 WAN, 1 storage donc dédié Ceph), il me reste combien de slot pour mettre des HBA pour étendre le storage? Combien de % de CPU et ram vont être utilisé par Ceph?
Je suis pour rester dans un système où les hyperviseurs font la virtu, ont leurs NIC pour: - le Wan - le storage (par exemple des NIC supportant l'offloading iscsi si on veut utiliser la gateway iscsi de Ceph) - le clustering/HA/transfert de vm entre hyperviseurs - pratiquement pas de disque local, le réseau de storage est là pour les disques des vm
Les nodes Ceph ont besoin d'excellentes NIC entre les nodes donc réseau dédié 40/100/200G et réseau interco hyperviseurs et storage Ceph. C'est le schéma recommandé par Ceph, 2 réseaux distincts.
Excellente journée
PS : pas de volonté pour lancer un troll au le sujet
On Wed, Dec 4, 2019, 07:02 Jean-Christophe Janczak via FRsAG < frsag@frsag.org> wrote:
Hello Mes 2 cents au passage ... pour le côté open source et au risque de déterrer un troll ;-)
Pour le côté scalable « sur place » tu as ZFS qui est ton ami. ;-) Il suffit de remplacer par des disques plus gros pour étendre le stockage de tes grappes Raid-Zx :-)
Le hic c’est que ZFS c’est pas Cluster ready de base en full open source .....
- Mais bon c’est proddé depuis 2005 au moins sur Solaris, Illumos puis
plus tard Freebsd etc ....
- c’est relativement robuste pour les crash test que j’ai pu faire en home
lab.
- tu peux faire du ZFS send et receive
Si tu veux du cluster
- c’est TrueNas (payant)
- nexenta.com
- https://napp-it.org/ avec du support récemment ; j’avais découvert en
2008/2009 mais l’interface freenas était plus sympa à gérer. ; j’ai découvert une proc pdf il y a qq temps pour faire du clustering assez poussé (pas testé)
- aussi FreeBSD avec la fonction HAST (ha storage)
- et enfin Nas4Free renommé XigmaNas avec du clustering HAST intègré mais
pas assez documenté ni retours d’expérience. J’ai vu passer des mots clef comme clustering split brain (pas assez creusé, pas testé mais pas rassurant ! Qqn a des retours sur le sujet sur la liste ? )
Côté Ceph je ne sais pas si on peux faire un équivalent de ZFS send | receive (?)
Voilà. Tu seras peut être un peu plus avancé .... ou pas ;-)
Bonne journée.
Merci aux bonnes âmes qui voudraient rebondir sur le sujet et communiquer des vrais REX sur ZFS en prod de leur côté :-)
Message envoyé depuis un terminal embarqué / Message sent from an embedded terminal.
Le 3 déc. 2019 à 17:41, Guillaume via FRsAG frsag@frsag.org a écrit :
Bien le bonsoir,
Etant nouveau sur la ML, j’espère m’y prendre correctement.
Pour faire très simple, je suis à la recherche d’une solution de stockage scalable, HA, ne nécéssitant pas une infrastucture démesurée.
L’idéal étant de pouvoir faire de la réplication Multi Datacenter ( 4ms environs ) et de commencer petit. J’entends par là entre 5To et 10To, à terme environ 100To.
Avez-vous des solutions intéréssantes, des retours d’expériences qui pourraient m’aider dans ma recherche ?
J’ai déjà testé Ceph, j’avais été relativement déçu des performances. DrBD fait le taff mais niveau scalabilité, on repassera plus tard, et en cas de coupure d’electricité, très compliqué d’avoir quelque chose de correct.
Je me pense sur une solution OpenSource/Maison car vu le tarif des baies de stockage….
Merci par avance.
Bien cordialement
Guillaume P.
Liste de diffusion du FRsAG http://www.frsag.org/
Liste de diffusion du FRsAG http://www.frsag.org/
Hello,
Alors, vu que ça parle ZFS, je ne peux que confirmer que sur NAS perso ça tient très bien (j'ai un freenas depuis 7 ans bientôt sans perte de données). Je n'ai pas testé de réplication vers un autre freenas (fonction incluse) mais il ne me semble pas qu'il y ait quoique ce soit pour gérer la haute dispo nativement. Faut ptêt mettre un keepalived ou autre truc moche en front. Ce qui est cool, c'est que point de vue accès, tu as du iscsi, du nfs, du cifs pour les mêmes volumes là ou Netapp se targuait d'être le seul à pouvoir faire ça il y a quelques années.
Pour en revenir à l'aspect scalable / HA, j'ai l'impression que les copains d'OpenIO peuvent répondre. Mais c'est de l'objet. Dépend du besoin du coup .... https://www.youtube.com/watch?v=M-A7jHuDnV0 1.3 Tbps sur 350 serveurs, ça va non ? :-)
Bye,
Le mercredi 04 décembre 2019 à 13:00 +0100, Jean-Christophe Janczak via FRsAG a écrit :
Hello Mes 2 cents au passage ... pour le côté open source et au risque de déterrer un troll ;-)
Pour le côté scalable « sur place » tu as ZFS qui est ton ami. ;-) Il suffit de remplacer par des disques plus gros pour étendre le stockage de tes grappes Raid-Zx :-)
Le hic c’est que ZFS c’est pas Cluster ready de base en full open source .....
- Mais bon c’est proddé depuis 2005 au moins sur Solaris, Illumos
puis plus tard Freebsd etc ....
- c’est relativement robuste pour les crash test que j’ai pu faire en
home lab.
- tu peux faire du ZFS send et receive
Si tu veux du cluster
- c’est TrueNas (payant)
- nexenta.com
- https://napp-it.org/ avec du support récemment ; j’avais découvert
en 2008/2009 mais l’interface freenas était plus sympa à gérer. ; j’ai découvert une proc pdf il y a qq temps pour faire du clustering assez poussé (pas testé)
- aussi FreeBSD avec la fonction HAST (ha storage)
- et enfin Nas4Free renommé XigmaNas avec du clustering HAST intègré
mais pas assez documenté ni retours d’expérience. J’ai vu passer des mots clef comme clustering split brain (pas assez creusé, pas testé mais pas rassurant ! Qqn a des retours sur le sujet sur la liste ? )
Côté Ceph je ne sais pas si on peux faire un équivalent de ZFS send | receive (?)
Voilà. Tu seras peut être un peu plus avancé .... ou pas ;-)
Bonne journée.
Merci aux bonnes âmes qui voudraient rebondir sur le sujet et communiquer des vrais REX sur ZFS en prod de leur côté :-)
Message envoyé depuis un terminal embarqué / Message sent from an embedded terminal.
Le 3 déc. 2019 à 17:41, Guillaume via FRsAG frsag@frsag.org a écrit :
Bien le bonsoir,
Etant nouveau sur la ML, j’espère m’y prendre correctement.
Pour faire très simple, je suis à la recherche d’une solution de stockage scalable, HA, ne nécéssitant pas une infrastucture démesurée. L’idéal étant de pouvoir faire de la réplication Multi Datacenter ( 4ms environs ) et de commencer petit. J’entends par là entre 5To et 10To, à terme environ 100To.
Avez-vous des solutions intéréssantes, des retours d’expériences qui pourraient m’aider dans ma recherche ?
J’ai déjà testé Ceph, j’avais été relativement déçu des performances. DrBD fait le taff mais niveau scalabilité, on repassera plus tard, et en cas de coupure d’electricité, très compliqué d’avoir quelque chose de correct. Je me pense sur une solution OpenSource/Maison car vu le tarif des baies de stockage….
Merci par avance.
Bien cordialement
Guillaume P.
Liste de diffusion du FRsAG http://www.frsag.org/
Liste de diffusion du FRsAG http://www.frsag.org/
# ZFS in prod
Je suis actuellement en train de monter un système en ZFS pour du cold-storage de backup via NFS.
Hardware: Dell Server, deux alim, deux cartes SAS, 2 port 10GB, 2 port 1G, LACP, VLAN, OS : FreeNas Array Dell PowerVault ME4 Series Storage JBOD, double carte SAS 84 disks slots
Actuellement un tank de 2 VDEV de 12 disk en raidz2, la contrainte d’augmentation est que cela seras par VDEV de 12 disk de capacité équivalente pour augmenter l’espace globale du tank.
J’ai aussi eu du stockage de VM sur un freenas (Proxmox) avec un dataset/zvol par VM qui as bien fait le boulot en remplacement d’un pool CEPH qui as crash (qui étais à l’époque sur les même noeuds que les proxmox).
C’est possible, mais comme tout SAN, cela demande de la planification et une étude sérieuse.
Bonne journée,
Olivier
December 4, 2019 11:09 PM, "Olivier Duquesne aka DaffyDuke" daffyduke@lautre.net wrote:
Hello,
Alors, vu que ça parle ZFS, je ne peux que confirmer que sur NAS perso ça tient très bien (j'ai un freenas depuis 7 ans bientôt sans perte de données). Je n'ai pas testé de réplication vers un autre freenas (fonction incluse) mais il ne me semble pas qu'il y ait quoique ce soit pour gérer la haute dispo nativement. Faut ptêt mettre un keepalived ou autre truc moche en front. Ce qui est cool, c'est que point de vue accès, tu as du iscsi, du nfs, du cifs pour les mêmes volumes là ou Netapp se targuait d'être le seul à pouvoir faire ça il y a quelques années.
Pour en revenir à l'aspect scalable / HA, j'ai l'impression que les copains d'OpenIO peuvent répondre. Mais c'est de l'objet. Dépend du besoin du coup .... https://www.youtube.com/watch?v=M-A7jHuDnV0 1.3 Tbps sur 350 serveurs, ça va non ? :-)
Bye,
Le mercredi 04 décembre 2019 à 13:00 +0100, Jean-Christophe Janczak via FRsAG a écrit :
Hello Mes 2 cents au passage ... pour le côté open source et au risque de déterrer un troll ;-)
Pour le côté scalable « sur place » tu as ZFS qui est ton ami. ;-) Il suffit de remplacer par des disques plus gros pour étendre le stockage de tes grappes Raid-Zx :-)
Le hic c’est que ZFS c’est pas Cluster ready de base en full open source .....
- Mais bon c’est proddé depuis 2005 au moins sur Solaris, Illumos
puis plus tard Freebsd etc ....
- c’est relativement robuste pour les crash test que j’ai pu faire en
home lab.
- tu peux faire du ZFS send et receive
Si tu veux du cluster
- c’est TrueNas (payant)
- nexenta.com
- https://napp-it.org avec du support récemment ; j’avais découvert
en 2008/2009 mais l’interface freenas était plus sympa à gérer. ; j’ai découvert une proc pdf il y a qq temps pour faire du clustering assez poussé (pas testé)
- aussi FreeBSD avec la fonction HAST (ha storage)
- et enfin Nas4Free renommé XigmaNas avec du clustering HAST intègré
mais pas assez documenté ni retours d’expérience. J’ai vu passer des mots clef comme clustering split brain (pas assez creusé, pas testé mais pas rassurant ! Qqn a des retours sur le sujet sur la liste ? )
Côté Ceph je ne sais pas si on peux faire un équivalent de ZFS send | receive (?)
Voilà. Tu seras peut être un peu plus avancé .... ou pas ;-)
Bonne journée.
Merci aux bonnes âmes qui voudraient rebondir sur le sujet et communiquer des vrais REX sur ZFS en prod de leur côté :-)
Message envoyé depuis un terminal embarqué / Message sent from an embedded terminal.
Le 3 déc. 2019 à 17:41, Guillaume via FRsAG frsag@frsag.org a écrit :
Bien le bonsoir,
Etant nouveau sur la ML, j’espère m’y prendre correctement.
Pour faire très simple, je suis à la recherche d’une solution de stockage scalable, HA, ne nécéssitant pas une infrastucture démesurée. L’idéal étant de pouvoir faire de la réplication Multi Datacenter ( 4ms environs ) et de commencer petit. J’entends par là entre 5To et 10To, à terme environ 100To.
Avez-vous des solutions intéréssantes, des retours d’expériences qui pourraient m’aider dans ma recherche ?
J’ai déjà testé Ceph, j’avais été relativement déçu des performances. DrBD fait le taff mais niveau scalabilité, on repassera plus tard, et en cas de coupure d’electricité, très compliqué d’avoir quelque chose de correct. Je me pense sur une solution OpenSource/Maison car vu le tarif des baies de stockage….
Merci par avance.
Bien cordialement
Guillaume P.
Liste de diffusion du FRsAG http://www.frsag.org
Liste de diffusion du FRsAG http://www.frsag.org
-- Olivier Duquesne aka DaffyDuke Mail : daffyduke@lautre.net WWW : http://www.coincoin.fr.eu.org IM : daffy@mailfr.com µblog : https://mamot.fr/users/daffyduke GPG Key : 63F60C2C Club LinuX Nord-Pas de Calais, Le Grand Mix, L'Autre Net, PoleNord
It's time to kick ass and chew bubble gum, and I'm all outta gum! -+=Duke nukem.=+-
Liste de diffusion du FRsAG http://www.frsag.org
Plop,
Je hijack scandaleusement ce fil pour demander si quelqu'un a eu l'occasion de tester Unraid (https://unraid.net/) ? Je n'ai pas regardé en détail mais le produit a l'air intéressant.
bonsoir,
quel est le but de ton stockage ?
Si c'est pour un hyperviseur, je te confirme que DRBD fait parfaitement le taff si on prends le temps de maitriser la technologie. Cela reste du RAID-1 logique via le réseau mais c'est vraiment robuste comme solution. Nous nous en servons de concert avec LVM piloté par Ganeti pour un cluster à plusieurs noeuds répartis sur plusieurs data- centers (chaque volume d'une VM est un LV+DRBD). Une fois DRBD bien paramétré, tu peux profiter du débit max de tes disques et potentiellement saturer ton réseau. Nous obtenons des débits de l'ordre de 6gbit/s limités par nos disques.
L'option de mettre les meta-données sur un volume séparé est très interessante car tu peux les mettres sur des volumes de type SSD sachant qu'il te faut 128Mo de metadata pour 4 To de stockage. Cela peut t'apporter des gains impressionnants pour les parcours des arborescences du filesystem. Ca te fais presque un SSHD à peu de frais. Question robustesse, on a subit plusieurs défaillances réseau dont une de type bagotage intempestif et DRBD a toujours sut s'y retrouver grace aux échanges de bitmaps (simple mais efficace pour de la reprise sur erreur).
Donc pour de l'hyperviseur c'est vraiment adapté. Si de plus tu crées des VMs de stockage, tu peux t'en servir comme stockage de fichiers comme tu l'entends et même rajouter des disques dans le LVM puis faire grossir ton DRBD et ton/tes filesystems qu'y s'y trouvent.
Je pense que si tu veux de l'expertise, tu peux te retourner vers Linode qui en sont les créateurs et mainteneurs.
Hello,
on a massivement investi dans dans Nimble. C'est clairement pas donné, mais ca mange des IO. Ca s'update très bien, c'est super scalable, ca se monitor bien aussi. On est à plus de 120 To utilise et vu la flexibilité du produit on va rester sur le matos. On du mode hybride avec le soft qui gère l'alignement des têtes pour faire des écritures massives. On achète par module, il vaut mieux prendre tout de suite des disques grandes capacités, car le module est pré rempli.
Alex
Le mar. 3 déc. 2019 à 17:41, Guillaume via FRsAG frsag@frsag.org a écrit :
Bien le bonsoir,
Etant nouveau sur la ML, j’espère m’y prendre correctement.
Pour faire très simple, je suis à la recherche d’une solution de stockage scalable, HA, ne nécéssitant pas une infrastucture démesurée.
L’idéal étant de pouvoir faire de la réplication Multi Datacenter ( 4ms environs ) et de commencer petit. J’entends par là entre 5To et 10To, à terme environ 100To.
Avez-vous des solutions intéréssantes, des retours d’expériences qui pourraient m’aider dans ma recherche ?
J’ai déjà testé Ceph, j’avais été relativement déçu des performances. DrBD fait le taff mais niveau scalabilité, on repassera plus tard, et en cas de coupure d’electricité, très compliqué d’avoir quelque chose de correct.
Je me pense sur une solution OpenSource/Maison car vu le tarif des baies de stockage….
Merci par avance.
Bien cordialement
Guillaume P.
Liste de diffusion du FRsAG http://www.frsag.org/
-
Alain Bieuzent -
cverger99 -
David Ponzone -
Dernat Rémy -
Florent CARRÉ -
frsag＠jack.fr.eu.org -
guillaume＠putier.fr -
Jean-Christophe Janczak -
Jean-Francois Maeyhieux -
Joel DEREFINKO -
Jonathan Leroy - Inikup -
Kevin CHAILLY | Service Technique -
Olivier Duquesne aka DaffyDuke -
olivier＠calzi.fr -
open doc -
PAILLE Jeremie -
Philippe Beauchet -
Richard Baret -
Sebastien Caps -
SERRUT Arnaud -
Wallace