Cluster Ganeti + CEPH ?
Bonjour la liste, Pour rester dans le thème du thread "Proxmox + Ceph" d'il y a quelques semaines, nous envisageons à $job de passer sur une solution Ganeti + Ceph. Utilisateur heureux de Ganeti + DRBD depuis plusieurs années dans un autre contexte, nous avons actuellement à $job une infra à base de 3 hyperviseurs debian (qui font tourner du libvirt/qemu en direct, avec un unison dans un cron, bref ça marche bien pas c'est pas terrible) et 5 ceph à coté, ce qui fait bien le job mais commence à dater. On souhaite profiter du renouvellement physique de cette infra pour remettre un peu tout ça à plat. Je suis donc preneur de retours d'expérience et d'avis sur Ganeti + CEPH, voire d'autres idées / technos ou retours (l'objectif étant de rester relativement bas niveau, avec une gestion en CLI, dans un environnement de production). Bonne semaine à tout le monde, F.
Ça fonctionne bien Le principal soucis : Ganeti n'est plus (ou presque) supporté Si tu veux utiliser Ganeti avec Ceph, quelques patchs sont nécessaires : a minima, la modification des arguments rbd Et pour un peu de rab, l'ajout du support trim et la purge des snapshots rbd à la suppression d'une image Bref .. je peux te trouver les patch si cela intéresse, et une fois mis en place, comme dit, ça fonctionne bien On 08/01/2018 16:53, Fabien Sirjean wrote:
Bonjour la liste,
Pour rester dans le thème du thread "Proxmox + Ceph" d'il y a quelques semaines, nous envisageons à $job de passer sur une solution Ganeti + Ceph.
Utilisateur heureux de Ganeti + DRBD depuis plusieurs années dans un autre contexte, nous avons actuellement à $job une infra à base de 3 hyperviseurs debian (qui font tourner du libvirt/qemu en direct, avec un unison dans un cron, bref ça marche bien pas c'est pas terrible) et 5 ceph à coté, ce qui fait bien le job mais commence à dater. On souhaite profiter du renouvellement physique de cette infra pour remettre un peu tout ça à plat.
Je suis donc preneur de retours d'expérience et d'avis sur Ganeti + CEPH, voire d'autres idées / technos ou retours (l'objectif étant de rester relativement bas niveau, avec une gestion en CLI, dans un environnement de production).
Bonne semaine à tout le monde,
F.
_______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
On Mon 2018-01-08 17:00, frsag@jack.fr.eu.org wrote a message (29 lines) which said:
Ça fonctionne bien Le principal soucis : Ganeti n'est plus (ou presque) supporté
J'ai entendu dire ça aussi, mais je n'ai rien vu/lu de concret. Des histoires liées au fait que Google ne s'en sert plus en interne, et que du coup c'est plus ou moins à l'abandon. Mais il me semble que c'est relativement utilisé dans la communauté, j'espère que le projet ne pas pas s'arrêter. Tu as des liens / plus d'infos ?
Si tu veux utiliser Ganeti avec Ceph, quelques patchs sont nécessaires : a minima, la modification des arguments rbd Et pour un peu de rab, l'ajout du support trim et la purge des snapshots rbd à la suppression d'une image
Bref .. je peux te trouver les patch si cela intéresse, et une fois mis en place, comme dit, ça fonctionne bien
Si tu as ça dans un coin oui, avec plaisir. Cela dit la doc de la version alpha de ganeti en ce qui concerne CEPH a l'air relativement propre, c'est pas curieux qu'il faille bidouiller comme ça ? Merci, F.
On 08/01/2018 16:53, Fabien Sirjean wrote:
Bonjour la liste,
Pour rester dans le thème du thread "Proxmox + Ceph" d'il y a quelques semaines, nous envisageons à $job de passer sur une solution Ganeti + Ceph.
Utilisateur heureux de Ganeti + DRBD depuis plusieurs années dans un autre contexte, nous avons actuellement à $job une infra à base de 3 hyperviseurs debian (qui font tourner du libvirt/qemu en direct, avec un unison dans un cron, bref ça marche bien pas c'est pas terrible) et 5 ceph à coté, ce qui fait bien le job mais commence à dater. On souhaite profiter du renouvellement physique de cette infra pour remettre un peu tout ça à plat.
Je suis donc preneur de retours d'expérience et d'avis sur Ganeti + CEPH, voire d'autres idées / technos ou retours (l'objectif étant de rester relativement bas niveau, avec une gestion en CLI, dans un environnement de production).
Bonne semaine à tout le monde,
F.
_______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
_______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
Je n'en sais pas plus que ça : https://github.com/ganeti/ganeti/graphs/contributors Par rapport aux patch, il y a lui par exemple : https://groups.google.com/forum/#!topic/ganeti-devel/qkSa2qRtD9c (l'option -p de showmapped a été supprimé dans infernalis, apparement) En pj, un patch pour supporter vaguement scsi-hd pour supporter le trim Ainsi qu'un wrapper + alias bash (et un bash completion ^^) pour supprimer une vm avec les snap s'il en existe Après, en effet, ces fonctionnalités sont présentes upstream (ormis la dernière peut-être) .. si tu es prêt à mettre de l'alpha en prod :p On 08/01/2018 18:08, Fabien Sirjean wrote:
On Mon 2018-01-08 17:00, frsag@jack.fr.eu.org wrote a message (29 lines) which said:
Ça fonctionne bien Le principal soucis : Ganeti n'est plus (ou presque) supporté
J'ai entendu dire ça aussi, mais je n'ai rien vu/lu de concret. Des histoires liées au fait que Google ne s'en sert plus en interne, et que du coup c'est plus ou moins à l'abandon. Mais il me semble que c'est relativement utilisé dans la communauté, j'espère que le projet ne pas pas s'arrêter. Tu as des liens / plus d'infos ?
Si tu veux utiliser Ganeti avec Ceph, quelques patchs sont nécessaires : a minima, la modification des arguments rbd Et pour un peu de rab, l'ajout du support trim et la purge des snapshots rbd à la suppression d'une image
Bref .. je peux te trouver les patch si cela intéresse, et une fois mis en place, comme dit, ça fonctionne bien
Si tu as ça dans un coin oui, avec plaisir. Cela dit la doc de la version alpha de ganeti en ce qui concerne CEPH a l'air relativement propre, c'est pas curieux qu'il faille bidouiller comme ça ?
Merci,
F.
On 08/01/2018 16:53, Fabien Sirjean wrote:
Bonjour la liste,
Pour rester dans le thème du thread "Proxmox + Ceph" d'il y a quelques semaines, nous envisageons à $job de passer sur une solution Ganeti + Ceph.
Utilisateur heureux de Ganeti + DRBD depuis plusieurs années dans un autre contexte, nous avons actuellement à $job une infra à base de 3 hyperviseurs debian (qui font tourner du libvirt/qemu en direct, avec un unison dans un cron, bref ça marche bien pas c'est pas terrible) et 5 ceph à coté, ce qui fait bien le job mais commence à dater. On souhaite profiter du renouvellement physique de cette infra pour remettre un peu tout ça à plat.
Je suis donc preneur de retours d'expérience et d'avis sur Ganeti + CEPH, voire d'autres idées / technos ou retours (l'objectif étant de rester relativement bas niveau, avec une gestion en CLI, dans un environnement de production).
Bonne semaine à tout le monde,
F.
_______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
_______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
Le 08/01/2018 à 18:08, Fabien Sirjean a écrit :
On Mon 2018-01-08 17:00, frsag@jack.fr.eu.org wrote a message (29 lines) which said:
Ça fonctionne bien Le principal soucis : Ganeti n'est plus (ou presque) supporté J'ai entendu dire ça aussi, mais je n'ai rien vu/lu de concret. Des histoires liées au fait que Google ne s'en sert plus en interne, et que du coup c'est plus ou moins à l'abandon. Mais il me semble que c'est relativement utilisé dans la communauté, j'espère que le projet ne pas pas s'arrêter. Tu as des liens / plus d'infos ? Bonjour,
En fait l'histoire est un peu différente et vous pouvez en avoir un aperçu ici : https://groups.google.com/forum/#!topic/ganeti/IRLw02G2TJE En gros, de ce que j'ai compris, google s'en sert toujours en interne, mais il n'y a plus que deux développeurs sur Ganeti, dont un avec d'autres projets plus prioritaires actuellement. Du coup, les mises à jour ganeti se sont fait rares ces temps ci et la 2.16 est promise pour début 2018. Concernant les propositions de patchs elle devaient d'abord avoir l'aval de google avant d'être entérinées. La décision a dons été prise de forker ganeti afin d'intégrer plus facilement les propositions issues des utilisateurs. Bonne journée
Si tu veux utiliser Ganeti avec Ceph, quelques patchs sont nécessaires : a minima, la modification des arguments rbd Et pour un peu de rab, l'ajout du support trim et la purge des snapshots rbd à la suppression d'une image
Bref .. je peux te trouver les patch si cela intéresse, et une fois mis en place, comme dit, ça fonctionne bien Si tu as ça dans un coin oui, avec plaisir. Cela dit la doc de la version alpha de ganeti en ce qui concerne CEPH a l'air relativement propre, c'est pas curieux qu'il faille bidouiller comme ça ?
Merci,
F.
On 08/01/2018 16:53, Fabien Sirjean wrote:
Bonjour la liste,
Pour rester dans le thème du thread "Proxmox + Ceph" d'il y a quelques semaines, nous envisageons à $job de passer sur une solution Ganeti + Ceph.
Utilisateur heureux de Ganeti + DRBD depuis plusieurs années dans un autre contexte, nous avons actuellement à $job une infra à base de 3 hyperviseurs debian (qui font tourner du libvirt/qemu en direct, avec un unison dans un cron, bref ça marche bien pas c'est pas terrible) et 5 ceph à coté, ce qui fait bien le job mais commence à dater. On souhaite profiter du renouvellement physique de cette infra pour remettre un peu tout ça à plat.
Je suis donc preneur de retours d'expérience et d'avis sur Ganeti + CEPH, voire d'autres idées / technos ou retours (l'objectif étant de rester relativement bas niveau, avec une gestion en CLI, dans un environnement de production).
Bonne semaine à tout le monde,
F.
_______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
_______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
Liste de diffusion du FRsAG http://www.frsag.org/
-- <http://www.univ-rennes2.fr>Sylvain Costard Administrateur Système Unix D.S.I - Pôle Infrastructures - Domaine unix 02.99.14.13.47
Le 08/01/2018 à 16:53, Fabien Sirjean a écrit :
Bonjour la liste,
Pour rester dans le thème du thread "Proxmox + Ceph" d'il y a quelques semaines, nous envisageons à $job de passer sur une solution Ganeti + Ceph.
Utilisateur heureux de Ganeti + DRBD depuis plusieurs années dans un autre contexte, nous avons actuellement à $job une infra à base de 3 hyperviseurs debian (qui font tourner du libvirt/qemu en direct, avec un unison dans un cron, bref ça marche bien pas c'est pas terrible) et 5 ceph à coté, ce qui fait bien le job mais commence à dater. On souhaite profiter du renouvellement physique de cette infra pour remettre un peu tout ça à plat.
Je suis donc preneur de retours d'expérience et d'avis sur Ganeti + CEPH, voire d'autres idées / technos ou retours (l'objectif étant de rester relativement bas niveau, avec une gestion en CLI, dans un environnement de production).
Et pourquoi pas du Ganeti (ou proxmox ou ovirt) + DRBD ? Parce que 3 machines ? Ce n'est pas un problème si tu fais du DRBD9 avec drbdmanage même si son espérance de vie est assez réduite puisqu'ils parlent de le remplacer par un truc en java dont j'ai oublié le nom. Julien
On Tue 2018-01-09 14:56, Julien Escario wrote a message (24 lines) which said:
Le 08/01/2018 à 16:53, Fabien Sirjean a écrit :
Je suis donc preneur de retours d'expérience et d'avis sur Ganeti + CEPH, voire d'autres idées / technos ou retours (l'objectif étant de rester relativement bas niveau, avec une gestion en CLI, dans un environnement de production).
Et pourquoi pas du Ganeti (ou proxmox ou ovirt) + DRBD ? Parce que 3 machines ?
Le DRBD sur 3 machines se passe très bien, avec les mécanismes d'hôte primaire et secondaire de Ganeti. Le pourquoi du Ceph est : parce que l'infra Ceph est existante, et qu'elle tourne au poil. Le besoin est principalement d'uniformiser et de gérer de manière à peu près centralisée les VM qui tournent sur les différents hyperviseurs. La solution actuelle (du libvirt avec une syncro des fichiers de configuration via un unison dans un cron) fonctionne assez bien, mais on cherche à gagner en souplesse et (un peu) en facilité d'utilisation. F.
participants (5)
-
alexandre.bruyelles＠gmail.com -
Fabien Sirjean -
frsag＠jack.fr.eu.org -
Julien Escario -
sylvain.costard＠uhb.fr