RAID et SSD : hardware ou software ?
Bonjour, Nous sommes en train de voir à faire évoluer notre serveur d'entreprise. Je me posais quelques questions au niveau stockage: Le raid matériel peut-il encore encaisser les débits d'une grappe SSD ? Est-ce toujours possible avec des SSD NVMe d'avoir une carte RAID ? En Raid Logiciel (ZFS par exemple) : peut-on espérer des gains en vitesse d'écriture ? Aujourd'hui : Raid Logiciel ou Matériel ? Cdlt, VM
Aujourd'hui : Raid Logiciel ou Matériel ?
Logiciel Observé depuis longtemps que le raid soft est généralement beaucoup rapide qu'une carte raid dédiée Aujourd'hui, le fonctionnement même d'un NVMe me semble rendre (imho) les cartes dédiées obsolètes. Sur des CM Asrock de serveur + NVMe en raid1 soft (infra ou advance OVH), on a juste des perfs de oufs. -- Stéphane Rivière Ile d'Oléron - France
Hello, Si NVMe, logiciel Si HDD, Hard Cdt ——— Guillaume PUTIER guillaume@putier.fr Ce courriel et toutes ses pièces jointes peuvent contenir de l'information de nature confidentielle ou privilégiée. Si vous avez reçu ce courriel par erreur, merci de ne pas le transférer, le copier ou l'utiliser. Veuillez communiquer immédiatement avec l'expéditeur et supprimer le message dans son intégralité. Le fait de vous avoir envoyé ce courriel par erreur ne signifie pas que l'expéditeur renonce à ses droits. Je ne peut être tenue responsable de toute perte ou dommages liés au présent courriel et peut effectuer un suivi de ce courriel, le conserver et l'examiner.
Le 12 juil. 2022 à 15:56, Stéphane Rivière <stef@genesix.org> a écrit :
Aujourd'hui : Raid Logiciel ou Matériel ? Logiciel
Observé depuis longtemps que le raid soft est généralement beaucoup rapide qu'une carte raid dédiée
Aujourd'hui, le fonctionnement même d'un NVMe me semble rendre (imho) les cartes dédiées obsolètes.
Sur des CM Asrock de serveur + NVMe en raid1 soft (infra ou advance OVH), on a juste des perfs de oufs.
-- Stéphane Rivière Ile d'Oléron - France <OpenPGP_0x68A4C5C1D498F92F.asc>_______________________________________________ Liste de diffusion du %(real_name)s http://www.frsag.org/
Si NVMe, logiciel Si HDD, Hard
Pourquoi ? Ayant du raid soft depuis plus de 15 ans. Avec du HDD scsi 15K de récup (sur des servs de récup), en RAID10 (bien tuné), des perfs limite pas loin des premiers SSD ;) Avec du HDD sata 7,2K, ça marchait aussi très bien. Un cas où je verrais l'utilisation du RAID matériel est l'OS qui exige de ne voir qu'un disque au boot. Pour le reste, le KISS est le mieux. -- Stéphane Rivière Ile d'Oléron - France
Le Tue, Jul 12, 2022 at 04:51:22PM +0200, Stéphane Rivière a écrit:
Un cas où je verrais l'utilisation du RAID matériel est l'OS qui exige de ne voir qu'un disque au boot.
Ou la gestion de l'UEFI: on oublie souvent de mettre à jour le répertoire /boot/efi du deuxième disque, vu que c'est pas en raid1... Là du coup avantage au matériel, puisque du coup le bios ne voit qu'un disque. Un script ultra-basique comme ça fait le job: mount /boot/efi grub-install /dev/sda grub-install /dev/sdb umount /boot/efi mount /dev/sda1 /mnt/bootsda1/ mount /dev/sdb1 /mnt/bootsdb1/ rsync -av /mnt/bootsda1/ /mnt/bootsdb1/ umount /mnt/bootsdb1/ umount /mnt/bootsda1/ Mais c'est quand même moche. Arnaud.
Le 14/07/2022 à 11:19, Arnaud Launay a écrit
Ou la gestion de l'UEFI: on oublie souvent de mettre à jour le répertoire /boot/efi du deuxième disque, vu que c'est pas en raid1... Là du coup avantage au matériel, puisque du coup le bios ne voit qu'un disque. +1 l'oubli viendra frapper le jour où... Un script ultra-basique comme ça fait le job:
.../...
Mais c'est quand même moche.
C'est l'UEFI qui est moche, et totalement useless¹, mais c'est pas politiquement correct de le dire. ¹ Dans un contexte où un minix est dans le processeur et que tous les composants clés (interface réseaux, etc) ne doivent pas être moins plombées. -- Stéphane Rivière Ile d'Oléron - France
Je mets un bémol purement perso, mais je suis peut-être pas le seul: Les procédures de recovery quand on a une situation anormale, avec / sur un raid soft, que ça soit MDADM ou ZFS, c’est pas forcément trivial quand on le fait pas tous les jours. Je suis personnellement plus serein (peut-être à tort) avec mon / sur un Raid 1 HW, pour le moment en tout cas.
Le 12 juil. 2022 à 15:56, Stéphane Rivière <stef@genesix.org> a écrit :
Aujourd'hui : Raid Logiciel ou Matériel ? Logiciel
Observé depuis longtemps que le raid soft est généralement beaucoup rapide qu'une carte raid dédiée
Aujourd'hui, le fonctionnement même d'un NVMe me semble rendre (imho) les cartes dédiées obsolètes.
Sur des CM Asrock de serveur + NVMe en raid1 soft (infra ou advance OVH), on a juste des perfs de oufs.
-- Stéphane Rivière Ile d'Oléron - France <OpenPGP_0x68A4C5C1D498F92F.asc>_______________________________________________ Liste de diffusion du %(real_name)s http://www.frsag.org/
Je suis personnellement plus serein (peut-être à tort) avec mon / sur un Raid 1 HW, pour le moment en tout cas.
Mon expérience est strictement inverse. Les cartes RAID hardware, déjà quand elles claquent, faut avoir du spare, ensuite quand le RAID claque, ça peut aller jusqu'à la perte totale (sans rien comprendre, même avec de la carte RAID haut de gamme). Avec du RAID soft, au pire, sur une reconstruction "difficile" en RAID1 on prend un disque pas mort et... on "juste le lit" (puisque on est dans du standard). Une remarque, toujours par expérience, quand c'est du lourd (médical par exemple), RAID1 3 disques (et pas 2 disques). -- Stéphane Rivière Ile d'Oléron - France
=> "Les cartes RAID hardware, déjà quand elles claquent, faut avoir du spare" et la bonne version du firmware, voire la bonne révision de la carte... Le 12/07/2022, Stéphane Rivière<stef@genesix.org> a écrit :
Je suis personnellement plus serein (peut-être à tort) avec mon / sur un Raid 1 HW, pour le moment en tout cas.
Mon expérience est strictement inverse. Les cartes RAID hardware, déjà quand elles claquent, faut avoir du spare, ensuite quand le RAID claque, ça peut aller jusqu'à la perte totale (sans rien comprendre, même avec de la carte RAID haut de gamme). Avec du RAID soft, au pire, sur une reconstruction "difficile" en RAID1 on prend un disque pas mort et... on "juste le lit" (puisque on est dans du standard).
Une remarque, toujours par expérience, quand c'est du lourd (médical par exemple), RAID1 3 disques (et pas 2 disques).
-- Stéphane Rivière Ile d'Oléron - France
Faut mettre des cartes très courantes, très dispos en broke et avoir un bon broker. Une carte RAID qui part en vrille, ça doit arriver je dis pas le contraire. Mais ça m’est jamais arrivé. Mais je suis d’accord avec vous sur le fond, je préfèrerais être très à l’aise avec le soft pour faire que de l’install soft. Hélas, y a encore pas si longtemps, installer une Debian avec / sur un RaidZ1, c’était pas vraiment trivial.
Le 12 juil. 2022 à 16:54, Matic Vari <varimatic@gmail.com> a écrit :
=> "Les cartes RAID hardware, déjà quand elles claquent, faut avoir du spare" et la bonne version du firmware, voire la bonne révision de la carte...
Le 12/07/2022, Stéphane Rivière<stef@genesix.org> a écrit :
Je suis personnellement plus serein (peut-être à tort) avec mon / sur un Raid 1 HW, pour le moment en tout cas.
Mon expérience est strictement inverse. Les cartes RAID hardware, déjà quand elles claquent, faut avoir du spare, ensuite quand le RAID claque, ça peut aller jusqu'à la perte totale (sans rien comprendre, même avec de la carte RAID haut de gamme). Avec du RAID soft, au pire, sur une reconstruction "difficile" en RAID1 on prend un disque pas mort et... on "juste le lit" (puisque on est dans du standard).
Une remarque, toujours par expérience, quand c'est du lourd (médical par exemple), RAID1 3 disques (et pas 2 disques).
-- Stéphane Rivière Ile d'Oléron - France
Le 12/07/2022 à 20:05, David Ponzone a écrit :
Faut mettre des cartes très courantes, très dispos en broke et avoir un bon broker. Une carte RAID qui part en vrille, ça doit arriver je dis pas le contraire. Mais ça m’est jamais arrivé. Chanceux. Sans ironie. Mais je suis d’accord avec vous sur le fond, je préfèrerais être très à l’aise avec le soft pour faire que de l’install soft. Hélas, y a encore pas si longtemps, installer une Debian avec / sur un RaidZ1, c’était pas vraiment trivial.
On fait couramment depuis plus de 15 ans. Rien de sorcier. Y compris les remplacements de disque... J'ai eu une fois un truc zarb, des partoches différentes claquées sur les deux disques (le client avait trouvé le moyen de coller une nouvelle gaine de 63 (en provenance de l'extérieur, plein est) qui arrivait au cul du serveur en question. Au premier hiver, il y a eu des conséquences (les disques étaient passés à 5°). En bref, à la fin, une resync infinie sur un volume due à un secteur défectueux sur le second disque (celui qui globalement était le moins attaqué) car ce volume ne pouvait être déclaré "sain" à la fin de la reconstruction. Ben pas de souci, y'a une façon de faire pour dire à nunux que ce secteur là, on le blackliste. Y'a une formule et les tutos pour. Pas facile à calculer mais faisable. Mais ça n'a jamais permis d'avoir ce volume sain tout de même. Mon unique problème sur des centaines de servs. C'est suite à cette expérience que, dans des cas de serveurs critiques, c'est RAID 1 avec 3 disques, idéalement de deux fabrications différentes (en 'grand public' du WD Red - usine WD - et du du WD Gold - ex usine Hitachi, ex IBM) et il n'est pas déconnant de déclencher une alarme si les disques passent en dessous de 20°, ce qui implique probablement une ambiance à 10°. Les disques qui tournent ne supportent pas les basses températures, pas du tout. -- Stéphane Rivière Ile d'Oléron - France
Ca marche pas avec des SSD NVMe, si j'ai bien compris. Le 12/07/2022, David Ponzone<david.ponzone@gmail.com> a écrit :
Je mets un bémol purement perso, mais je suis peut-être pas le seul:
Les procédures de recovery quand on a une situation anormale, avec / sur un raid soft, que ça soit MDADM ou ZFS, c’est pas forcément trivial quand on le fait pas tous les jours. Je suis personnellement plus serein (peut-être à tort) avec mon / sur un Raid 1 HW, pour le moment en tout cas.
Le 12 juil. 2022 à 15:56, Stéphane Rivière <stef@genesix.org> a écrit :
Aujourd'hui : Raid Logiciel ou Matériel ? Logiciel
Observé depuis longtemps que le raid soft est généralement beaucoup rapide qu'une carte raid dédiée
Aujourd'hui, le fonctionnement même d'un NVMe me semble rendre (imho) les cartes dédiées obsolètes.
Sur des CM Asrock de serveur + NVMe en raid1 soft (infra ou advance OVH), on a juste des perfs de oufs.
-- Stéphane Rivière Ile d'Oléron - France <OpenPGP_0x68A4C5C1D498F92F.asc>_______________________________________________ Liste de diffusion du %(real_name)s http://www.frsag.org/
On Tue, Jul 12, 2022 at 2:18 PM Matic Vari <varimatic@gmail.com> wrote:
Aujourd'hui : Raid Logiciel ou Matériel ?
Alors ici: - Use case: Un certain nombre de serveurs CDN; - Raid soft (100% FreeBSD: gmirror pour les anciennes machines, raidz pour les nouvelles) pour les disques supportant l'OS uniquement; - Pas de réplication pour les disques dédiés au contenu (car répliqué sur les autres serveurs). Pourquoi: - Simplification de la supervision: Pas d'outil spécifique pour remonter l'état du raid matériel; - Simplification de la maintenance: On maîtrise l'ensemble du code. Cdlt, Olivier
Le Tue, Jul 12, 2022 at 02:16:58PM +0200, Matic Vari [varimatic@gmail.com] a écrit: (...)
Aujourd'hui : Raid Logiciel ou Matériel ?
Aujourd'hui, comme depuis un moment, la difference ne se fera pas sur les perfs. Mais sur les "fonctionnalites", par exemple : - disque de boot en raid soft souvent plus complique a gerer ( installer grub sur tous les membres, uefi, ... ) - cache en ecriture avec batterie de secours, sur les cartes raid materiel - fonctionnement "independant" de l'OS installé -- Dominique Rousseau Neuronnexion, Prestataire Internet & Intranet 6 rue des Hautes cornes - 80000 Amiens tel: 03 22 71 61 90 - fax: 03 22 71 61 99 - http://www.neuronnexion.coop
Peut-on faire du RAID matériel avec des SSD NVMe? => pour moi non, car le contrôleur disque est embarqué sur le SSD. Le 15/07/2022, Dominique Rousseau<d.rousseau@nnx.com> a écrit :
Le Tue, Jul 12, 2022 at 02:16:58PM +0200, Matic Vari [varimatic@gmail.com] a écrit: (...)
Aujourd'hui : Raid Logiciel ou Matériel ?
Aujourd'hui, comme depuis un moment, la difference ne se fera pas sur les perfs.
Mais sur les "fonctionnalites", par exemple :
- disque de boot en raid soft souvent plus complique a gerer ( installer grub sur tous les membres, uefi, ... )
- cache en ecriture avec batterie de secours, sur les cartes raid materiel
- fonctionnement "independant" de l'OS installé
-- Dominique Rousseau Neuronnexion, Prestataire Internet & Intranet 6 rue des Hautes cornes - 80000 Amiens tel: 03 22 71 61 90 - fax: 03 22 71 61 99 - http://www.neuronnexion.coop _______________________________________________ Liste de diffusion du %(real_name)s http://www.frsag.org/
https://www.tomshardware.fr/highpoint-propose-des-cartes-raid-nvme-m-2-a-8-p... Y a aussi des contrôleurs RAID basés sur des GPU qui arrivent, avec des perfs de fou. David Ponzone
Le 15 juil. 2022 à 12:49, Matic Vari <varimatic@gmail.com> a écrit :
Peut-on faire du RAID matériel avec des SSD NVMe?
=> pour moi non, car le contrôleur disque est embarqué sur le SSD.
Le 15/07/2022, Dominique Rousseau<d.rousseau@nnx.com> a écrit :
Le Tue, Jul 12, 2022 at 02:16:58PM +0200, Matic Vari [varimatic@gmail.com] a écrit: (...)
Aujourd'hui : Raid Logiciel ou Matériel ?
Aujourd'hui, comme depuis un moment, la difference ne se fera pas sur les perfs.
Mais sur les "fonctionnalites", par exemple :
- disque de boot en raid soft souvent plus complique a gerer ( installer grub sur tous les membres, uefi, ... )
- cache en ecriture avec batterie de secours, sur les cartes raid materiel
- fonctionnement "independant" de l'OS installé
-- Dominique Rousseau Neuronnexion, Prestataire Internet & Intranet 6 rue des Hautes cornes - 80000 Amiens tel: 03 22 71 61 90 - fax: 03 22 71 61 99 - http://www.neuronnexion.coop _______________________________________________ Liste de diffusion du %(real_name)s http://www.frsag.org/
Liste de diffusion du %(real_name)s http://www.frsag.org/
Le 15/07/2022 à 13:07, David Ponzone a écrit :
https://www.tomshardware.fr/highpoint-propose-des-cartes-raid-nvme-m-2-a-8-p...
Y a aussi des contrôleurs RAID basés sur des GPU qui arrivent, avec des perfs de fou. Comme les NVME sont sur la carte même, c'est logique mais bon, ça fait cher la soluce alors que Linux et une bonne CM font ça déjà mieux que bien.
-- Stéphane Rivière Ile d'Oléron - France
Bonjour, Le 15/07/2022 à 12:48, Matic Vari a écrit :
Peut-on faire du RAID matériel avec des SSD NVMe?
=> pour moi non, car le contrôleur disque est embarqué sur le SSD.
Oui, en théorie on peut même l'avoir avec le VROC du processeur Intel: https://www.intel.fr/content/www/fr/fr/software/virtual-raid-on-cpu-vroc.htm... Je n'ai pas eu l'occasion de tester, mais je suis curieux de voir ce que cela donne :-) Bon courage aux travailleurs de ce vendredi de pont. -- *Emmanuel DECAEN*
Aujourd'hui, comme depuis un moment, la difference ne se fera pas sur les perfs. Je trouvais déjà que le raid soft était plus performant depuis pas mal de temps mais avec les NVMe en communication directe avec le proc, je vois pas comment ça peut être pareil en intercalant un 'proxy' matériel sur un connecteur d'extension... Mais sur les "fonctionnalites", par exemple :
- disque de boot en raid soft souvent plus complique a gerer ( installer grub sur tous les membres, uefi, ... ) Quelques lignes dans un scrip, c'est pas génial mais c'est le principe d'avoir un boot opérationnel sur chaque disque - cache en ecriture avec batterie de secours, sur les cartes raid materiel Donc des batteries à changer, au lieu d'un FS journalisé ?;) - fonctionnement "independant" de l'OS installé C'est je crois le gros point fort (le discriminant même) pour une solution matérielle. On va prendre du raid matériel quand l'OS sait pas gérer.
-- Stéphane Rivière Ile d'Oléron - France
participants (8)
-
Arnaud Launay -
David Ponzone -
Dominique Rousseau -
Emmanuel DECAEN -
Guillaume PUTIER -
Matic Vari -
Olivier Cochard-Labbé -
Stéphane Rivière