Bonjour la Liste, Je suis en train de me battre avec des SSD NVMe et FreeBSD... L'utilisation typique des SSD chez moi est pour du stockage hybride aka : log / cache sur un zpool. Ceci dit sur FreeBSD 11.2-RELEASE (sur du Xeon Silver 4110), tout est loin d'être rose. En effet, après avoir lutté pendant 2 mois sur ces serveurs de fichiers j'arrive à la conclusion que le fautif sur la stabilité de mon serveur de fichier serait les SSD. Dès que je lui bourrine la tronche (pas grand chose, pas loin de 5Gb/s en NFS) le log monte et dès que passe a > 24G -> reboot. Évidement rien dans le log du serveur (ni par syslog distant hein) et c'est plutôt aléatoire. Le setup est plutôt simple : - 4 HD SAS 1To - 2 SSD SAMSUNG PM1725a (MZWLL800HEHP-00003) N'ayant jamais eu de vrai prod sur des SSD NVMe sur FreeBSD je lance ma bouteille à la mer pour savoir si vous aviez déjà des comportement aussi relou ? Merci a tous, Xavier
Hello, Il faut déterminer si c'est un soucis hardware ou software, Le seul moyen est de changer l'un ou l'autre pour vérifier, tester si la conf tiens la charge sur un autre OS sur le même hardware (ou l'inverse...), afin de confirmer/infirmer si c'est hard ou soft. conf semblable pas encore rencontrée sur le terrain, donc difficile de faire un retour plus détaillé. Nicolas ----- Mail original -----
De: "Xavier Beaudouin" <kiwi@oav.net> À: "frsag" <frsag@frsag.org> Envoyé: Jeudi 26 Juillet 2018 15:47:35 Objet: [FRsAG] SSD NVMe et FreeBSD / ZFS
Bonjour la Liste,
Je suis en train de me battre avec des SSD NVMe et FreeBSD... L'utilisation typique des SSD chez moi est pour du stockage hybride aka : log / cache sur un zpool.
Ceci dit sur FreeBSD 11.2-RELEASE (sur du Xeon Silver 4110), tout est loin d'être rose.
En effet, après avoir lutté pendant 2 mois sur ces serveurs de fichiers j'arrive à la conclusion que le fautif sur la stabilité de mon serveur de fichier serait les SSD.
Dès que je lui bourrine la tronche (pas grand chose, pas loin de 5Gb/s en NFS) le log monte et dès que passe a > 24G -> reboot.
Évidement rien dans le log du serveur (ni par syslog distant hein) et c'est plutôt aléatoire.
Le setup est plutôt simple :
- 4 HD SAS 1To - 2 SSD SAMSUNG PM1725a (MZWLL800HEHP-00003)
N'ayant jamais eu de vrai prod sur des SSD NVMe sur FreeBSD je lance ma bouteille à la mer pour savoir si vous aviez déjà des comportement aussi relou ?
Merci a tous, Xavier _______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
Hello J’ai la même conf avec du VMware esx et c’est ultra stable. Donc j’ai un sérieux doute sur le fait que le hardware soit caviardé sachant que j’ai 4 machines identiques et seule les machines sous freebsd me cassent les pieds. Les 2 sous freebsd ont exactement les mêmes pb et j’ai passé pas mal de temps de config bios / hardware pour tenter de résoudre le pb. Je pense que le nvme sur freebsd n’est pas encore sec. Reste à trouver des ssd SAS pour faire un test... Xavier -- Xavier BEAUDOUIN
Le 26 juil. 2018 à 16:14, Nicolas Parpandet <npa@1g6.biz> a écrit :
Hello,
Il faut déterminer si c'est un soucis hardware ou software,
Le seul moyen est de changer l'un ou l'autre pour vérifier, tester si la conf tiens la charge sur un autre OS sur le même hardware (ou l'inverse...), afin de confirmer/infirmer si c'est hard ou soft.
conf semblable pas encore rencontrée sur le terrain, donc difficile de faire un retour plus détaillé.
Nicolas
----- Mail original -----
De: "Xavier Beaudouin" <kiwi@oav.net> À: "frsag" <frsag@frsag.org> Envoyé: Jeudi 26 Juillet 2018 15:47:35 Objet: [FRsAG] SSD NVMe et FreeBSD / ZFS
Bonjour la Liste,
Je suis en train de me battre avec des SSD NVMe et FreeBSD... L'utilisation typique des SSD chez moi est pour du stockage hybride aka : log / cache sur un zpool.
Ceci dit sur FreeBSD 11.2-RELEASE (sur du Xeon Silver 4110), tout est loin d'être rose.
En effet, après avoir lutté pendant 2 mois sur ces serveurs de fichiers j'arrive à la conclusion que le fautif sur la stabilité de mon serveur de fichier serait les SSD.
Dès que je lui bourrine la tronche (pas grand chose, pas loin de 5Gb/s en NFS) le log monte et dès que passe a > 24G -> reboot.
Évidement rien dans le log du serveur (ni par syslog distant hein) et c'est plutôt aléatoire.
Le setup est plutôt simple :
- 4 HD SAS 1To - 2 SSD SAMSUNG PM1725a (MZWLL800HEHP-00003)
N'ayant jamais eu de vrai prod sur des SSD NVMe sur FreeBSD je lance ma bouteille à la mer pour savoir si vous aviez déjà des comportement aussi relou ?
Merci a tous, Xavier _______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
Bonjour, T'as essayé de passer en 12? y a eu pas mal d'améliorations. Le 2018-07-26 16:42, Xavier Beaudouin a écrit :
Hello
J’ai la même conf avec du VMware esx et c’est ultra stable. Donc j’ai un sérieux doute sur le fait que le hardware soit caviardé sachant que j’ai 4 machines identiques et seule les machines sous freebsd me cassent les pieds.
Les 2 sous freebsd ont exactement les mêmes pb et j’ai passé pas mal de temps de config bios / hardware pour tenter de résoudre le pb.
Je pense que le nvme sur freebsd n’est pas encore sec.
Reste à trouver des ssd SAS pour faire un test...
Xavier
-- Xavier BEAUDOUIN
Le 26 juil. 2018 à 16:14, Nicolas Parpandet <npa@1g6.biz> a écrit :
Hello,
Il faut déterminer si c'est un soucis hardware ou software,
Le seul moyen est de changer l'un ou l'autre pour vérifier, tester si la conf tiens la charge sur un autre OS sur le même hardware (ou l'inverse...), afin de confirmer/infirmer si c'est hard ou soft.
conf semblable pas encore rencontrée sur le terrain, donc difficile de faire un retour plus détaillé.
Nicolas
----- Mail original -----
De: "Xavier Beaudouin" <kiwi@oav.net> À: "frsag" <frsag@frsag.org> Envoyé: Jeudi 26 Juillet 2018 15:47:35 Objet: [FRsAG] SSD NVMe et FreeBSD / ZFS
Bonjour la Liste,
Je suis en train de me battre avec des SSD NVMe et FreeBSD... L'utilisation typique des SSD chez moi est pour du stockage hybride aka : log / cache sur un zpool.
Ceci dit sur FreeBSD 11.2-RELEASE (sur du Xeon Silver 4110), tout est loin d'être rose.
En effet, après avoir lutté pendant 2 mois sur ces serveurs de fichiers j'arrive à la conclusion que le fautif sur la stabilité de mon serveur de fichier serait les SSD.
Dès que je lui bourrine la tronche (pas grand chose, pas loin de 5Gb/s en NFS) le log monte et dès que passe a > 24G -> reboot.
Évidement rien dans le log du serveur (ni par syslog distant hein) et c'est plutôt aléatoire.
Le setup est plutôt simple :
- 4 HD SAS 1To - 2 SSD SAMSUNG PM1725a (MZWLL800HEHP-00003)
N'ayant jamais eu de vrai prod sur des SSD NVMe sur FreeBSD je lance ma bouteille à la mer pour savoir si vous aviez déjà des comportement aussi relou ?
Merci a tous, Xavier _______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
Liste de diffusion du FRsAG http://www.frsag.org/
Pas essayé la 12 étant du Head ... -- Xavier BEAUDOUIN
Le 26 juil. 2018 à 17:09, boris.tassou@securmail.fr a écrit :
Bonjour,
T'as essayé de passer en 12? y a eu pas mal d'améliorations.
Le 2018-07-26 16:42, Xavier Beaudouin a écrit :
Hello
J’ai la même conf avec du VMware esx et c’est ultra stable. Donc j’ai un sérieux doute sur le fait que le hardware soit caviardé sachant que j’ai 4 machines identiques et seule les machines sous freebsd me cassent les pieds.
Les 2 sous freebsd ont exactement les mêmes pb et j’ai passé pas mal de temps de config bios / hardware pour tenter de résoudre le pb.
Je pense que le nvme sur freebsd n’est pas encore sec.
Reste à trouver des ssd SAS pour faire un test...
Xavier
-- Xavier BEAUDOUIN
Le 26 juil. 2018 à 16:14, Nicolas Parpandet <npa@1g6.biz> a écrit :
Hello,
Il faut déterminer si c'est un soucis hardware ou software,
Le seul moyen est de changer l'un ou l'autre pour vérifier, tester si la conf tiens la charge sur un autre OS sur le même hardware (ou l'inverse...), afin de confirmer/infirmer si c'est hard ou soft.
conf semblable pas encore rencontrée sur le terrain, donc difficile de faire un retour plus détaillé.
Nicolas
----- Mail original -----
De: "Xavier Beaudouin" <kiwi@oav.net> À: "frsag" <frsag@frsag.org> Envoyé: Jeudi 26 Juillet 2018 15:47:35 Objet: [FRsAG] SSD NVMe et FreeBSD / ZFS
Bonjour la Liste,
Je suis en train de me battre avec des SSD NVMe et FreeBSD... L'utilisation typique des SSD chez moi est pour du stockage hybride aka : log / cache sur un zpool.
Ceci dit sur FreeBSD 11.2-RELEASE (sur du Xeon Silver 4110), tout est loin d'être rose.
En effet, après avoir lutté pendant 2 mois sur ces serveurs de fichiers j'arrive à la conclusion que le fautif sur la stabilité de mon serveur de fichier serait les SSD.
Dès que je lui bourrine la tronche (pas grand chose, pas loin de 5Gb/s en NFS) le log monte et dès que passe a > 24G -> reboot.
Évidement rien dans le log du serveur (ni par syslog distant hein) et c'est plutôt aléatoire.
Le setup est plutôt simple :
- 4 HD SAS 1To - 2 SSD SAMSUNG PM1725a (MZWLL800HEHP-00003)
N'ayant jamais eu de vrai prod sur des SSD NVMe sur FreeBSD je lance ma bouteille à la mer pour savoir si vous aviez déjà des comportement aussi relou ?
Merci a tous, Xavier _______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
Liste de diffusion du FRsAG http://www.frsag.org/
SAS ou SATA, le SAS acceptant les disques SATA..., mais pas l'inverse. Nicolas ----- Mail original -----
De: "Xavier Beaudouin" <kiwi@oav.net> À: "npa" <npa@1g6.biz> Cc: "frsag" <frsag@frsag.org> Envoyé: Jeudi 26 Juillet 2018 16:42:56 Objet: Re: [FRsAG] SSD NVMe et FreeBSD / ZFS
Hello
J’ai la même conf avec du VMware esx et c’est ultra stable. Donc j’ai un sérieux doute sur le fait que le hardware soit caviardé sachant que j’ai 4 machines identiques et seule les machines sous freebsd me cassent les pieds.
Les 2 sous freebsd ont exactement les mêmes pb et j’ai passé pas mal de temps de config bios / hardware pour tenter de résoudre le pb.
Je pense que le nvme sur freebsd n’est pas encore sec.
Reste à trouver des ssd SAS pour faire un test...
Xavier
-- Xavier BEAUDOUIN
Le 26 juil. 2018 à 16:14, Nicolas Parpandet <npa@1g6.biz> a écrit :
Hello,
Il faut déterminer si c'est un soucis hardware ou software,
Le seul moyen est de changer l'un ou l'autre pour vérifier, tester si la conf tiens la charge sur un autre OS sur le même hardware (ou l'inverse...), afin de confirmer/infirmer si c'est hard ou soft.
conf semblable pas encore rencontrée sur le terrain, donc difficile de faire un retour plus détaillé.
Nicolas
----- Mail original -----
De: "Xavier Beaudouin" <kiwi@oav.net> À: "frsag" <frsag@frsag.org> Envoyé: Jeudi 26 Juillet 2018 15:47:35 Objet: [FRsAG] SSD NVMe et FreeBSD / ZFS
Bonjour la Liste,
Je suis en train de me battre avec des SSD NVMe et FreeBSD... L'utilisation typique des SSD chez moi est pour du stockage hybride aka : log / cache sur un zpool.
Ceci dit sur FreeBSD 11.2-RELEASE (sur du Xeon Silver 4110), tout est loin d'être rose.
En effet, après avoir lutté pendant 2 mois sur ces serveurs de fichiers j'arrive à la conclusion que le fautif sur la stabilité de mon serveur de fichier serait les SSD.
Dès que je lui bourrine la tronche (pas grand chose, pas loin de 5Gb/s en NFS) le log monte et dès que passe a > 24G -> reboot.
Évidement rien dans le log du serveur (ni par syslog distant hein) et c'est plutôt aléatoire.
Le setup est plutôt simple :
- 4 HD SAS 1To - 2 SSD SAMSUNG PM1725a (MZWLL800HEHP-00003)
N'ayant jamais eu de vrai prod sur des SSD NVMe sur FreeBSD je lance ma bouteille à la mer pour savoir si vous aviez déjà des comportement aussi relou ?
Merci a tous, Xavier _______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA512 Le 26/07/2018 à 15:47, Xavier Beaudouin a écrit :
Bonjour la Liste,
Bonjour,
Je suis en train de me battre avec des SSD NVMe et FreeBSD... L'utilisation typique des SSD chez moi est pour du stockage hybride aka : log / cache sur un zpool.
Ceci dit sur FreeBSD 11.2-RELEASE (sur du Xeon Silver 4110), tout est loin d'être rose.
En effet, après avoir lutté pendant 2 mois sur ces serveurs de fichiers j'arrive à la conclusion que le fautif sur la stabilité de mon serveur de fichier serait les SSD.
Dès que je lui bourrine la tronche (pas grand chose, pas loin de 5Gb/s en NFS) le log monte et dès que passe a > 24G -> reboot.
Évidement rien dans le log du serveur (ni par syslog distant hein) et c'est plutôt aléatoire.
Le setup est plutôt simple :
- 4 HD SAS 1To - 2 SSD SAMSUNG PM1725a (MZWLL800HEHP-00003)
N'ayant jamais eu de vrai prod sur des SSD NVMe sur FreeBSD je lance ma bouteille à la mer pour savoir si vous aviez déjà des comportement aussi relou ?
De retour de vacances, j'écluse quelques listes. Est-ce que par hasard ton swap serait en ZFS ? Ce n'est pas le même environnement mais avec ZFS-on-Linux, nous avions le même genre de comportement avec du swap en ZFS (comportement par défaut de l'installer Proxmox, beurk). Reboot totalement intempestif quand on sollicite un peu trop la RAM (ZFS a besoin de RAM mais swap à besoin de ZFS qui a besoin de RAM ... dans le doute, reboote). Au kazou ... Julien -----BEGIN PGP SIGNATURE----- iQIcBAEBCgAGBQJbcVoPAAoJEOWv2Do/Mctun2AP+wfhZqzZG5ginD/+NhSTnVDP 4AYhrxKD/k/TbIxDhKP+XDR3Gl021CDXfjTG1ibUYYXz50hrbw+CCiyj26S/iGFX Rp3uRR1I1noLC3rAtfSOK+ZHY/3Ye9ltjNJjsAp+5qY/fG6AoEriauxZaA9VKaSf tyeiIHmE6YXTBSMfib1b+Yj5TJIpuuPlBa9EvHnfD4NIGmwyxQQHqFsA01R3H2hJ ny63/6y8oaDRg3T8y1ay+NG5Ks2LBWPydC8RYFh4/fHOPZA8ZmIai3H/x6xefy9b VhAiUaZgVZvGJp/6x0gfJ4/C/uHdIopaWiDFJ81/yLhBNGGdQleUKZCpD/APSBlt 3UnT2cImgPJ7RN8vOplwvGVxc+dcxJj5NM5KlCxJeSqY/1ns1KCSB63ANufJxwWs Wc7TbdSyja1AhhU0eMslcVHCdCzkToItB2uzNk629ZX5W946cSbAEE4HgfHnjbvY l48LTvneF6aQ/SWs+rquMQCcySkDB+bLXV2PYgJIXazk131d1zYfzEApW1kHvi8f /P80L9RJ5Qpqvu1Om0fX1SCZ5k6GFuBvijSXXJTKyfdawPul+EFyqiQMZcvGmXiC ELtjHH4DHzLKvQdQMvq1T4oznvqiWrB3/xo53oE2NKHUFJaZBwNFhQ6gI7c4SUNb PY3vCDfOoEBXjxc7bbSs =Yq3c -----END PGP SIGNATURE-----
Salut Julien,
Le setup est plutôt simple :
- 4 HD SAS 1To - 2 SSD SAMSUNG PM1725a (MZWLL800HEHP-00003)
N'ayant jamais eu de vrai prod sur des SSD NVMe sur FreeBSD je lance ma bouteille à la mer pour savoir si vous aviez déjà des comportement aussi relou ?
De retour de vacances, j'écluse quelques listes.
Est-ce que par hasard ton swap serait en ZFS ? Ce n'est pas le même environnement mais avec ZFS-on-Linux, nous avions le même genre de comportement avec du swap en ZFS (comportement par défaut de l'installer Proxmox, beurk).
Le swap est en EFS mais avec l'option "no cache", pas de dedup ni même de compression. Ceci dit avant que je mettes un swap il y en avais pas (swap / filer ? pourquoi faire ?). Et en plus j'ai limité a 50G l'ARC (qui a priori est bien suivit), ce qui laisse 14G pour la sauce interne a FreeBSD.
Reboot totalement intempestif quand on sollicite un peu trop la RAM (ZFS a besoin de RAM mais swap à besoin de ZFS qui a besoin de RAM ... dans le doute, reboote).
:) /me le note le jour ou il fera du ZFs on linux :) Plus je fouille plus j'ai la nette impression qu'il y a un effet kiss cool entre le cache nfs et celui de ZFS. Genre le machin qui se prends les pieds dans le tapis... Xavier
participants (4)
-
boris.tassou＠securmail.fr -
Julien Escario -
Nicolas Parpandet -
Xavier Beaudouin