Ceph sur trois noeuds dans le moule Proxmox, ça marche quand tout est ok.

Si tu perds un noeuds le quorum en prend un coup comme pour Proxmox mais ça passe.

On a découvert avec douleur qu'un cluster Proxmox trois noeuds qui démarre à froid (coupure courant de nuit dans une entreprise malgré l'onduleur ça n'a pas tenu jusqu'au matin) et qui a un noeud ceph mort (l'équipe sur place faisait une maintenance sur les disques la veille). Ceph refuse de démarrer et donc tu ne peux pas faire repartir. Proxmox dans ce cas on peut toujours dire tel host a un point plus grand pour le quorum et/ou baisser le nombre de voix de chaque membre ça passe. Ceph on a pas trouvé et la seule façon a été de reconfigurer le cluster pour demander une réplication sur 2 noeuds au lieu de 3. Du coup gros travail de Ceph qui a bien saturé ses liens pendant 3 jours mettant des perfs assez faibles pour les vms.

Les réseaux séparés c'est la vie pour tout de toute façon, c'est une best practice dans beaucoup de design d'archi.

Ceph c'est bien à partir de 4 noeuds pour être tranquille.

Je ne connais pas ceph et pose certainement une question idiote...

Quel serait l'avantage d'avoir a minima 4 nœuds (par rapport à, par
exemple, 2 nœuds de prod + un nœud d'arbitrage - ça je comprends l'idée) ?

DRBD c'est bien aussi, c'est surtout très adapté pour 2 noeuds mais
malheureusement plus supporté par Proxmox.

Actuellement ici, c'est DRBD, ce dernier étant réseau privé. Les cochons
d'un coté, les poules de l'autre, avec chacun sa mangeoire. En cas de
resynchro, ça aide 'légèrement'.