'jour les gens.
Je voudrais faire des tests (et peut-être un peu plus) en interne de backup vers du S3.
Le serveur qui va héberger le service existe déjà, c'est du ZFS, l'idée serait d'avoir un dataset qui est servi en S3. Du coup, pas besoin de distribution géographique (ou locale), pas besoin de contrôle de parité ou EC, juste un serveur S3.
J'ai trouvé Minio et Garage (qui font aussi tout ce dont je n'ai pas besoin).
Est-ce que vous auriez d'autres outils à proposer ?
Merci, David
Hello,
Tu comptes rester sur un seul serveur? -- Étienne Menguy
Feb 21, 2024, 09:46 by david@network-studio.com:
'jour les gens.
Je voudrais faire des tests (et peut-être un peu plus) en interne de backup vers du S3.
Le serveur qui va héberger le service existe déjà, c'est du ZFS, l'idée serait d'avoir un dataset qui est servi en S3. Du coup, pas besoin de distribution géographique (ou locale), pas besoin de contrôle de parité ou EC, juste un serveur S3.
J'ai trouvé Minio et Garage (qui font aussi tout ce dont je n'ai pas besoin).
Est-ce que vous auriez d'autres outils à proposer ?
Merci, David
Liste de diffusion du %(real_name)s http://www.frsag.org/
Re-
Il y a déjà l'infra en place (serveurs dans différents DC, sous ZFS et qui font du send/receive).
L'idée est de tester S3 (vs NFS) pour des backups (de pleins de petits fichiers - des mails).
David
----- Mail original -----
De: "Etienne Menguy" contact@etienne-menguy.fr À: "David Touitou" david@network-studio.com Cc: "French SysAdmin Group" frsag@frsag.org Envoyé: Mercredi 21 Février 2024 09:55:43 Objet: Re: [FRsAG] Serveur S3
Hello,
Tu comptes rester sur un seul serveur?
Étienne Menguy
Feb 21, 2024, 09:46 by david@network-studio.com:
'jour les gens.
Je voudrais faire des tests (et peut-être un peu plus) en interne de backup vers du S3.
Le serveur qui va héberger le service existe déjà, c'est du ZFS, l'idée serait d'avoir un dataset qui est servi en S3. Du coup, pas besoin de distribution géographique (ou locale), pas besoin de contrôle de parité ou EC, juste un serveur S3.
J'ai trouvé Minio et Garage (qui font aussi tout ce dont je n'ai pas besoin).
Est-ce que vous auriez d'autres outils à proposer ?
Merci, David
Liste de diffusion du %(real_name)s http://www.frsag.org/
Bonjour la liste,
Nous sommes une société d'édition de logiciels et nous recueillons des données de chacun de nos clients sur une vm dédiée.
Nous avons 3 dns : ns-01 master, ns-02 slave et ns-03 slave chez un autre hébergeur.
Notre hébergeur nous demande de changer de DC et de renuméroter notre réseau avec un nouveau /24. Il va donc y avoir une coupure de tous nos services et du dns en particulier.
ns-01 est déclaré au registre (glue record), et seul ns-03 va continuer à fonctionner durant le déménagement.
Sachant que les ips de nos dns vont changer, quelle est, selon vous, la meilleure stratégie à déployer pour minimiser le temps de reprise ? ttl, glue records, etc.
Merci pour vos réponses,
Eric Pretet
Il doit manquer un info, car je vois mal ce qui empêche de remonter des NS sur le nouveau DC tout de suite (ou ailleurs, provisoirement).
David
Le 21 févr. 2024 à 14:35, Pep pep@gluglu.org a écrit :
Bonjour la liste,
Nous sommes une société d'édition de logiciels et nous recueillons des données de chacun de nos clients sur une vm dédiée.
Nous avons 3 dns : ns-01 master, ns-02 slave et ns-03 slave chez un autre hébergeur.
Notre hébergeur nous demande de changer de DC et de renuméroter notre réseau avec un nouveau /24. Il va donc y avoir une coupure de tous nos services et du dns en particulier.
ns-01 est déclaré au registre (glue record), et seul ns-03 va continuer à fonctionner durant le déménagement.
Sachant que les ips de nos dns vont changer, quelle est, selon vous, la meilleure stratégie à déployer pour minimiser le temps de reprise ? ttl, glue records, etc.
Merci pour vos réponses,
Eric Pretet _______________________________________________ Liste de diffusion du %(real_name)s http://www.frsag.org/
J'ai trouvé Minio et Garage (qui font aussi tout ce dont je n'ai pas besoin).
Minio très bien ! S'installe facile, admin sympa et gaze bien.
Seul défaut (sic), leur admin en cli s'appelle mc, comme midnight commander, donc on renomme mio :)
Bonjour,
Ici minio en standalone avec > 100To sur de la Vm avec partage NFS NetApp Full Flash. Rien à dire. En prod depuis 10ans. En mode cluster pour une autre infra. Un peu plus touchy a prendre en main. Pour ton besoin le standalone suffira. Sécurise ton stockage simplement
Nicolas Girardi.
Le 21 févr. 2024 à 09:45, David Touitou david@network-studio.com a écrit :
'jour les gens.
Je voudrais faire des tests (et peut-être un peu plus) en interne de backup vers du S3.
Le serveur qui va héberger le service existe déjà, c'est du ZFS, l'idée serait d'avoir un dataset qui est servi en S3. Du coup, pas besoin de distribution géographique (ou locale), pas besoin de contrôle de parité ou EC, juste un serveur S3.
J'ai trouvé Minio et Garage (qui font aussi tout ce dont je n'ai pas besoin).
Est-ce que vous auriez d'autres outils à proposer ?
Merci, David
Liste de diffusion du %(real_name)s http://www.frsag.org/
Bonsoir tout le monde,
il y a aussi storj si tu le souhaites.
Le mer. 21 févr. 2024 à 19:17, Nicolas GIRARDI n.girardi@gmail.com a écrit :
Bonjour,
Ici minio en standalone avec > 100To sur de la Vm avec partage NFS NetApp Full Flash. Rien à dire. En prod depuis 10ans. En mode cluster pour une autre infra. Un peu plus touchy a prendre en main. Pour ton besoin le standalone suffira. Sécurise ton stockage simplement
Nicolas Girardi.
Le 21 févr. 2024 à 09:45, David Touitou david@network-studio.com a
écrit :
'jour les gens.
Je voudrais faire des tests (et peut-être un peu plus) en interne de
backup vers du S3.
Le serveur qui va héberger le service existe déjà, c'est du ZFS, l'idée
serait d'avoir un dataset qui est servi en S3.
Du coup, pas besoin de distribution géographique (ou locale), pas besoin
de contrôle de parité ou EC, juste un serveur S3.
J'ai trouvé Minio et Garage (qui font aussi tout ce dont je n'ai pas
besoin).
Est-ce que vous auriez d'autres outils à proposer ?
Merci, David
Liste de diffusion du %(real_name)s http://www.frsag.org/
Liste de diffusion du %(real_name)s http://www.frsag.org/
'jour à tous.
Je me réponds à moi même (et aux autres - merci à eux).
Dans Minio, la fonction gateway n'existe plus (et pas de fork à l'heure actuelle). https://blog.min.io/deprecation-of-the-minio-gateway/
On se retrouve avec l'Erasure Coding activé (avec parity=0, EC=1) quand on le configure pour utiliser un filesystem. Je n'ai pas testé mais si j'ai bien compris ça a impact (perf/espace ?) pour "rien" (mais c'est pas le bon use-case pour Minio).
Nicolas, vous avez une idée du ratio "espace utilisé" vs "stockage fourni" (pour avoir une idée de la perte liée à l'EC) ? Avec une version à jour de Minio ?
Du coup j'ai continué à chercher un peu j'ai trouvé d'autres outils : - rclone intègre maintenant un serveur S3 - gofakes3 peut faire ce que je veux en go (a été intégré à rclone) - s3proxy peut faire ce que je veux (en java) - S3 ninja - s3rver (pas d'update au projet depuis 3 ans) - fake S3 (pas d'update au projet depuis 5 ans)
Cela dit, Minio est le seul qui soit en "production ready", les autres sont "experimental" (rclone) ou "prévus pour développer/tester du S3 en local, pas pour la prod'"....
David
----- Mail original -----
De: "Nicolas GIRARDI" n.girardi@gmail.com À: "David Touitou" david@network-studio.com Cc: "French SysAdmin Group" frsag@frsag.org Envoyé: Mercredi 21 Février 2024 19:16:59 Objet: Re: [FRsAG] Serveur S3
Bonjour,
Ici minio en standalone avec > 100To sur de la Vm avec partage NFS NetApp Full Flash. Rien à dire. En prod depuis 10ans. En mode cluster pour une autre infra. Un peu plus touchy a prendre en main. Pour ton besoin le standalone suffira. Sécurise ton stockage simplement
Nicolas Girardi.
Le 21 févr. 2024 à 09:45, David Touitou david@network-studio.com a écrit :
'jour les gens.
Je voudrais faire des tests (et peut-être un peu plus) en interne de backup vers du S3.
Le serveur qui va héberger le service existe déjà, c'est du ZFS, l'idée serait d'avoir un dataset qui est servi en S3. Du coup, pas besoin de distribution géographique (ou locale), pas besoin de contrôle de parité ou EC, juste un serveur S3.
J'ai trouvé Minio et Garage (qui font aussi tout ce dont je n'ai pas besoin).
Est-ce que vous auriez d'autres outils à proposer ?
Merci, David
Liste de diffusion du %(real_name)s http://www.frsag.org/
Hello,
Il n'y aura pas de perte d'espace puisqu'un 1 object = 1 chunk.
-- Étienne Menguy
Mar 11, 2024, 10:16 by david@network-studio.com:
'jour à tous.
Je me réponds à moi même (et aux autres - merci à eux).
Dans Minio, la fonction gateway n'existe plus (et pas de fork à l'heure actuelle). https://blog.min.io/deprecation-of-the-minio-gateway/
On se retrouve avec l'Erasure Coding activé (avec parity=0, EC=1) quand on le configure pour utiliser un filesystem. Je n'ai pas testé mais si j'ai bien compris ça a impact (perf/espace ?) pour "rien" (mais c'est pas le bon use-case pour Minio).
Nicolas, vous avez une idée du ratio "espace utilisé" vs "stockage fourni" (pour avoir une idée de la perte liée à l'EC) ? Avec une version à jour de Minio ?
Du coup j'ai continué à chercher un peu j'ai trouvé d'autres outils :
- rclone intègre maintenant un serveur S3
- gofakes3 peut faire ce que je veux en go (a été intégré à rclone)
- s3proxy peut faire ce que je veux (en java)
- S3 ninja
- s3rver (pas d'update au projet depuis 3 ans)
- fake S3 (pas d'update au projet depuis 5 ans)
Cela dit, Minio est le seul qui soit en "production ready", les autres sont "experimental" (rclone) ou "prévus pour développer/tester du S3 en local, pas pour la prod'"....
David
----- Mail original -----
De: "Nicolas GIRARDI" n.girardi@gmail.com À: "David Touitou" david@network-studio.com Cc: "French SysAdmin Group" frsag@frsag.org Envoyé: Mercredi 21 Février 2024 19:16:59 Objet: Re: [FRsAG] Serveur S3
Bonjour,
Ici minio en standalone avec > 100To sur de la Vm avec partage NFS NetApp Full Flash. Rien à dire. En prod depuis 10ans. En mode cluster pour une autre infra. Un peu plus touchy a prendre en main. Pour ton besoin le standalone suffira. Sécurise ton stockage simplement
Nicolas Girardi.
Le 21 févr. 2024 à 09:45, David Touitou david@network-studio.com a écrit :
'jour les gens.
Je voudrais faire des tests (et peut-être un peu plus) en interne de backup vers du S3.
Le serveur qui va héberger le service existe déjà, c'est du ZFS, l'idée serait d'avoir un dataset qui est servi en S3. Du coup, pas besoin de distribution géographique (ou locale), pas besoin de contrôle de parité ou EC, juste un serveur S3.
J'ai trouvé Minio et Garage (qui font aussi tout ce dont je n'ai pas besoin).
Est-ce que vous auriez d'autres outils à proposer ?
Merci, David
Liste de diffusion du %(real_name)s
Liste de diffusion du %(real_name)s http://www.frsag.org/
En standalone. Aucune.
Le lundi 11 mars 2024, Etienne Menguy contact@etienne-menguy.fr a écrit :
Hello,
Il n'y aura pas de perte d'espace puisqu'un 1 object = 1 chunk.
-- Étienne Menguy
Mar 11, 2024, 10:16 by david@network-studio.com:
'jour à tous.
Je me réponds à moi même (et aux autres - merci à eux).
Dans Minio, la fonction gateway n'existe plus (et pas de fork à l'heure actuelle). https://blog.min.io/deprecation-of-the-minio-gateway/
On se retrouve avec l'Erasure Coding activé (avec parity=0, EC=1) quand on le configure pour utiliser un filesystem. Je n'ai pas testé mais si j'ai bien compris ça a impact (perf/espace ?) pour "rien" (mais c'est pas le bon use-case pour Minio).
Nicolas, vous avez une idée du ratio "espace utilisé" vs "stockage fourni" (pour avoir une idée de la perte liée à l'EC) ? Avec une version à jour de Minio ?
Du coup j'ai continué à chercher un peu j'ai trouvé d'autres outils :
- rclone intègre maintenant un serveur S3
- gofakes3 peut faire ce que je veux en go (a été intégré à rclone)
- s3proxy peut faire ce que je veux (en java)
- S3 ninja
- s3rver (pas d'update au projet depuis 3 ans)
- fake S3 (pas d'update au projet depuis 5 ans)
Cela dit, Minio est le seul qui soit en "production ready", les autres sont "experimental" (rclone) ou "prévus pour développer/tester du S3 en local, pas pour la prod'"....
David
----- Mail original -----
De: "Nicolas GIRARDI" n.girardi@gmail.com À: "David Touitou" david@network-studio.com Cc: "French SysAdmin Group" frsag@frsag.org Envoyé: Mercredi 21 Février 2024 19:16:59 Objet: Re: [FRsAG] Serveur S3
Bonjour,
Ici minio en standalone avec > 100To sur de la Vm avec partage NFS NetApp Full Flash. Rien à dire. En prod depuis 10ans. En mode cluster pour une autre infra. Un peu plus touchy a prendre en main. Pour ton besoin le standalone suffira. Sécurise ton stockage simplement
Nicolas Girardi.
Le 21 févr. 2024 à 09:45, David Touitou david@network-studio.com a écrit :
'jour les gens.
Je voudrais faire des tests (et peut-être un peu plus) en interne de backup vers du S3.
Le serveur qui va héberger le service existe déjà, c'est du ZFS, l'idée serait d'avoir un dataset qui est servi en S3. Du coup, pas besoin de distribution géographique (ou locale), pas besoin de contrôle de parité ou EC, juste un serveur S3.
J'ai trouvé Minio et Garage (qui font aussi tout ce dont je n'ai pas besoin).
Est-ce que vous auriez d'autres outils à proposer ?
Merci, David
Liste de diffusion du %(real_name)s
Liste de diffusion du %(real_name)s http://www.frsag.org/
-
Benjamin AVET -
David Ponzone -
David Touitou -
Etienne Menguy -
Nicolas GIRARDI -
Pep -
Stéphane Rivière