Bonjour la liste,
Je bosse sur un projet de plateforme virtualisée légère et je me demande si parmi vous il y en a qui utilisent Proxmox comme environnement de virtualisation, sans stockage partage?
J'aurais donc 2 serveurs physique sur lesquelles j’exécute mes hyperviseurs, et le stockage ZFS qui contient mes VMs sur l'hyperviseur A, est répliqué sur le ZFS de l'hyperviseur B.
Je sais que cela est également possible avec Windows Server en cluster avec stockage SMB et hyper v mais vu le nombre de VM que je veux installer ( 3 machines Windows et 2 Linux ), je pense qu'il me faudrait une licence type datacenter. Avez-vous des retour d’expérience sur ce genre d'infra? Et sur l'utilisation de proxmox d'une manière générale? Je découvre l'outil et cela me semble prometteur..
Merci d'avance et bonne journee
Jeremy Gourmel
Salut.
Jamais fait avec ZFS, de mon côté j'ai monté des réplications DRBD avec du LVM Thin dessus.
Proxmox est pas mal dans l'intégration des différends éléments et outils (c'est du KVM derrière, avec des suites d'outils), c'est bien maintenu, la doc est bonne, et ça souffre de peu de bugs.
Je suis preneur aussi concernant la réplication ZFS.
Pierre.
Le 05/06/2018 à 09:45, jgourmel@free.fr a écrit :
Bonjour la liste,
Je bosse sur un projet de plateforme virtualisée légère et je me demande si parmi vous il y en a qui utilisent Proxmox comme environnement de virtualisation, sans stockage partage? J'aurais donc 2 serveurs physique sur lesquelles j’exécute mes hyperviseurs, et le stockage ZFS qui contient mes VMs sur l'hyperviseur A, est répliqué sur le ZFS de l'hyperviseur B. Je sais que cela est également possible avec Windows Server en cluster avec stockage SMB et hyper v mais vu le nombre de VM que je veux installer (3 machines Windows et 2 Linux), je pense qu'il me faudrait une licence type datacenter. Avez-vous des retour d’expérience sur ce genre d'infra? Et sur l'utilisation de proxmox d'une manière générale? Je découvre l'outil et cela me semble prometteur..
Merci d'avance et bonne journee
Jeremy Gourmel
Liste de diffusion du FRsAG http://www.frsag.org/
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA512
Le 05/06/2018 à 09:45, jgourmel@free.fr a écrit :
Bonjour la liste,
Je bosse sur un projet de plateforme virtualisée légère et je me demande si parmi vous il y en a qui utilisent Proxmox comme environnement de virtualisation, sans stockage partage? J'aurais donc 2 serveurs physique sur lesquelles j’exécute mes hyperviseurs, et le stockage ZFS qui contient mes VMs sur l'hyperviseur A, est répliqué sur le ZFS de l'hyperviseur B.
Ca fonctionne. Deux manières de le faire selon moi : * Soit utiliser pve-zsync (https://pve.proxmox.com/wiki/PVE-zsync) qui utilise ni plus ni moins que ZFS send/receive. Tu vas avoir un delta de quelques secondes à quelques minutes en fonction de la fréquence de synchro que tu peux te permettre
* DRBD : ca intègre un plugin ZFS en backend. Ton delta sera négligeable (zéro avec protocol C, quelques dizièmes de secondes avec protocol A ou B mais attention à l'atomicité des données).
Ca dépend aussi si tu tes HV sont sur le même site (la latence et bande passante entre les deux). Avec une grosse latence, DRBD fonctionne moins bien ou alors il faut que tu t'assures de quelques paramètres concernant la synchronicité des écritures, potentiellement au niveau de ZFS (sync=always peut aider par exemple mais SSD obligatoire).
Je ne sais pas avec pve-zsync mais avec DRBD, c'est considéré par Proxmox comme du shared storage et donc live migration possible.
Attention : avec seulement deux noeuds, tu n'aura jamais de H.A. Il te faudrait au moins un troisième device pour le quorum.
Julien
Bonjour,
On a un cluster pour faire des tests dans ce cas là, basé sur deux serveurs avec disques locaux en ZFS, un troisième noeud logique pour le quorum est assuré par un RPi.
On a choisi la solution ZFS avec synchronisation toutes les deux heures des VM et CT car nous n'avons pas besoin de migration à chaud vu que ce ne sont que des machines de tests pour de la dev / preprod de solution client ou pour tester les restaurations de sauvegardes chaque mois (s'assurer que les sauvegardes sont fonctionnelles).
Nous avons testé drbd avec lvmthin mais sans succès début 2018, dès qu'on avait trop de mouvements (création, suppression, déplacement par plusieurs personnes en même temps) ça nous laissait des partitions lvm orpheline et ça a finit par faire planter le lien entre l'api drbd et proxmox.
La prochaine évolution de cette solution lorsque l'on reprendra des serveurs récents, c'est d'en mettre trois avec une configuration locale apte à recevoir du Ceph (ssd pour les meta, ssd ou hybrid pour le stockage). Proxmox dans sa dernière verison majeure gère très bien cela, créer un cluster de trois ou plus avec utilisation du stockage local en Ceph avec le gain de pouvoir à nouveau faire du HA, déplacement à chaud.
Voilà pour notre retour
Le 05/06/2018 à 09:45, jgourmel@free.fr a écrit :
Bonjour la liste,
Je bosse sur un projet de plateforme virtualisée légère et je me demande si parmi vous il y en a qui utilisent Proxmox comme environnement de virtualisation, sans stockage partage? J'aurais donc 2 serveurs physique sur lesquelles j’exécute mes hyperviseurs, et le stockage ZFS qui contient mes VMs sur l'hyperviseur A, est répliqué sur le ZFS de l'hyperviseur B. Je sais que cela est également possible avec Windows Server en cluster avec stockage SMB et hyper v mais vu le nombre de VM que je veux installer (3 machines Windows et 2 Linux), je pense qu'il me faudrait une licence type datacenter. Avez-vous des retour d’expérience sur ce genre d'infra? Et sur l'utilisation de proxmox d'une manière générale? Je découvre l'outil et cela me semble prometteur..
Merci d'avance et bonne journee
Jeremy Gourmel
Liste de diffusion du FRsAG http://www.frsag.org/
Avez-vous des retour d’expérience sur ce genre d'infra? Et sur l'utilisation de proxmox d'une manière générale? Je découvre l'outil et cela me semble prometteur..
3000vms en prod (3 cluster de 17 noeuds), 100% sur ceph comme stockage (sur des noeuds dédiés, comme on a pas mal de volumetrie). Ca marche du tonnere :) en prod depuis la version 2.X pour les premiers clusters, avec upgrade jusque la 5.X sans interruption.
la replication zfs intégré fonctionne bien, mais c'est assez recent, et j'ai vu des fix pour la HA sur la mailing list y'a pas longtemps https://www.mail-archive.com/pve-devel@pve.proxmox.com/msg28175.html
Et n'oublie pas de bien tuner la mémoire de zfs https://pve.proxmox.com/wiki/ZFS_on_Linux
Alexandre
----- Mail original ----- De: jgourmel@free.fr À: "French SysAdmin Group" frsag@frsag.org Envoyé: Mardi 5 Juin 2018 09:45:55 Objet: [FRsAG] Proxmox avec replication de stockage (stockage non partage)
Bonjour la liste,
Je bosse sur un projet de plateforme virtualisée légère et je me demande si parmi vous il y en a qui utilisent Proxmox comme environnement de virtualisation, sans stockage partage? J'aurais donc 2 serveurs physique sur lesquelles j’exécute mes hyperviseurs, et le stockage ZFS qui contient mes VMs sur l'hyperviseur A, est répliqué sur le ZFS de l'hyperviseur B. Je sais que cela est également possible avec Windows Server en cluster avec stockage SMB et hyper v mais vu le nombre de VM que je veux installer (3 machines Windows et 2 Linux), je pense qu'il me faudrait une licence type datacenter. Avez-vous des retour d’expérience sur ce genre d'infra? Et sur l'utilisation de proxmox d'une manière générale? Je découvre l'outil et cela me semble prometteur..
Merci d'avance et bonne journee
Jeremy Gourmel
_______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA512
Le 06/06/2018 à 04:25, Alexandre DERUMIER a écrit :
Avez-vous des retour d’expérience sur ce genre d'infra? Et sur l'utilisation de proxmox d'une manière générale? Je découvre l'outil et cela me semble prometteur..
3000vms en prod (3 cluster de 17 noeuds), 100% sur ceph comme stockage (sur des noeuds dédiés, comme on a pas mal de volumetrie). Ca marche du tonnere :)
Je crois que ce n'était pas trop l'objectif de la question initiale : j'ai compris qu'il n'avait que deux nœuds. Ceph, c'est déjà 4 nœuds minimum non ? (mais on peut prendre les Proxmox déjà).
en prod depuis la version 2.X pour les premiers clusters, avec upgrade jusque la 5.X sans interruption.
Hum, cool. Et pour les montées de version de Ceph ? Ca se passe bien ?
Julien
Bonjour,
De mon côté 35 Vms reparties sur un cluster de 7 serveurs, storage 100% Ceph full SSD. Tout ce petit monde tourne depuis un peu plus de 5 ans sans aucun problème jusqu'à présent.
Pour les mises à jour, nous en avons profité pour changer le hard en même temps et donc créé un nouveau cluster en parallèle puis migré les Vms
Franck
----- Mail original -----
De: "Julien Escario" julien.escario@altinea.fr À: frsag@frsag.org Envoyé: Mercredi 6 Juin 2018 15:03:32 Objet: Re: [FRsAG] Proxmox avec replication de stockage (stockage non partage)
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA512
Le 06/06/2018 à 04:25, Alexandre DERUMIER a écrit :
Avez-vous des retour d’expérience sur ce genre d'infra? Et sur l'utilisation de proxmox d'une manière générale? Je découvre l'outil et cela me semble prometteur..
3000vms en prod (3 cluster de 17 noeuds), 100% sur ceph comme stockage (sur des noeuds dédiés, comme on a pas mal de volumetrie). Ca marche du tonnere :)
Je crois que ce n'était pas trop l'objectif de la question initiale : j'ai compris qu'il n'avait que deux nœuds. Ceph, c'est déjà 4 nœuds minimum non ? (mais on peut prendre les Proxmox déjà).
en prod depuis la version 2.X pour les premiers clusters, avec upgrade jusque la 5.X sans interruption.
Hum, cool. Et pour les montées de version de Ceph ? Ca se passe bien ?
Julien
_______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
-
Alexandre DERUMIER -
Franck Parisy -
jgourmel＠free.fr -
Julien Escario -
Pierre DOLIDON -
Wallace