Bonsoir, Un disque d'un zpool est mort (jusque là, rien d'exceptionnel).
J'ai ajouté un disque, rebooté la machine (impossible de faire détecter le nouveau disque via l'outil de la carte RAID). Un serveur de backup, rien de bien grave.
Le soucis c'est qu'en rebootant le disque mort est revenu en ligne (je me demande si ce n'est pas un soucis de backplane d'ailleurs).
J'ai gaiement fait un : # zpool replace backuppool wwn-0x50014ee208b4df37 /dev/disk/by-id/wwn-0x50014ee0aed608b3
Ca semblait bien sur le papier : root@backup03:~# zpool status pool: backuppool state: ONLINE status: One or more devices is currently being resilvered. The pool will continue to function, possibly in a degraded state. action: Wait for the resilver to complete. scan: resilver in progress since Mon Oct 17 17:56:46 2016 12,4G scanned out of 14,4T at 39,8M/s, 105h16m to go 2,25G resilvered, 0,08% done config:
NAME STATE READ WRITE CKSUM backuppool ONLINE 0 0 0 mirror-0 ONLINE 0 0 0 wwn-0x5000cca07323a834 ONLINE 0 0 0 wwn-0x5000cca07320be08 ONLINE 0 0 0 mirror-1 ONLINE 0 0 0 wwn-0x5000cca05d53c77c ONLINE 0 0 0 wwn-0x5000cca05d53b824 ONLINE 0 0 0 mirror-2 ONLINE 0 0 0 replacing-0 ONLINE 57 0 19 wwn-0x50014ee208b4df37 ONLINE 124 0 40 (resilvering) wwn-0x50014ee0aed608b3 ONLINE 0 0 110 (resilvering) wwn-0x50014ee25f450bb1 ONLINE 0 0 0 mirror-3 ONLINE 0 0 0 wwn-0x50014ee2b4933588 ONLINE 0 0 0 wwn-0x50014ee209501544 ONLINE 0 0 0 mirror-4 ONLINE 0 0 0 wwn-0x50014ee209316d16 ONLINE 0 0 0 wwn-0x50014ee209f33449 ONLINE 0 0 0 mirror-5 ONLINE 0 0 0 wwn-0x50014ee25e8699ee ONLINE 0 0 0 wwn-0x50014ee2b3dc5d66 ONLINE 0 0 0
Le soucis, c'est qu'il semblerait que ca incrémente tout doucement les valeurs de READ et CKSUM. J'imagine que ce sont des erreurs lecture et checksum.
Ca ne m'embêterait pas si à chaque fois que c'est incrémenté, le resilvering ne repartait pas à zéro ...
Du coup, j'ai l'impression que mon resilver ne finira jamais (il tourne depuis quelques jours déjà).
Une idée sur la façon dont je peux m'en sortir ? C'est un serveur de backup donc je peux mettre hors ligne quelques heures mais si je perds les données, ça va me prendre DES PLOMBES à tout remettre, sans compter la période de fonctionnement sans backup 'sec'.
Merci pour vos lumières, Julien
Salut,
Le 17 octobre 2016 à 18:04, Julien Escario escario@azylog.net a écrit :
Bonsoir, Un disque d'un zpool est mort (jusque là, rien d'exceptionnel).
J'ai ajouté un disque, rebooté la machine (impossible de faire détecter le nouveau disque via l'outil de la carte RAID). Un serveur de backup, rien de bien grave.
Le soucis c'est qu'en rebootant le disque mort est revenu en ligne (je me demande si ce n'est pas un soucis de backplane d'ailleurs).
J'ai gaiement fait un : # zpool replace backuppool wwn-0x50014ee208b4df37 /dev/disk/by-id/wwn-0x50014ee0aed608b3
Ca semblait bien sur le papier : root@backup03:~# zpool status pool: backuppool state: ONLINE status: One or more devices is currently being resilvered. The pool will continue to function, possibly in a degraded state. action: Wait for the resilver to complete. scan: resilver in progress since Mon Oct 17 17:56:46 2016 12,4G scanned out of 14,4T at 39,8M/s, 105h16m to go 2,25G resilvered, 0,08% done config:
NAME STATE READ WRITE CKSUM backuppool ONLINE 0 0 0 mirror-0 ONLINE 0 0 0 wwn-0x5000cca07323a834 ONLINE 0 0 0 wwn-0x5000cca07320be08 ONLINE 0 0 0 mirror-1 ONLINE 0 0 0 wwn-0x5000cca05d53c77c ONLINE 0 0 0 wwn-0x5000cca05d53b824 ONLINE 0 0 0 mirror-2 ONLINE 0 0 0 replacing-0 ONLINE 57 0 19 wwn-0x50014ee208b4df37 ONLINE 124 0 40(resilvering) wwn-0x50014ee0aed608b3 ONLINE 0 0 110 (resilvering) wwn-0x50014ee25f450bb1 ONLINE 0 0 0 mirror-3 ONLINE 0 0 0 wwn-0x50014ee2b4933588 ONLINE 0 0 0 wwn-0x50014ee209501544 ONLINE 0 0 0 mirror-4 ONLINE 0 0 0 wwn-0x50014ee209316d16 ONLINE 0 0 0 wwn-0x50014ee209f33449 ONLINE 0 0 0 mirror-5 ONLINE 0 0 0 wwn-0x50014ee25e8699ee ONLINE 0 0 0 wwn-0x50014ee2b3dc5d66 ONLINE 0 0 0
Le soucis, c'est qu'il semblerait que ca incrémente tout doucement les valeurs de READ et CKSUM. J'imagine que ce sont des erreurs lecture et checksum.
Ca ne m'embêterait pas si à chaque fois que c'est incrémenté, le resilvering ne repartait pas à zéro ...
Du coup, j'ai l'impression que mon resilver ne finira jamais (il tourne depuis quelques jours déjà).
Une idée sur la façon dont je peux m'en sortir ? C'est un serveur de backup donc je peux mettre hors ligne quelques heures mais si je perds les données, ça va me prendre DES PLOMBES à tout remettre, sans compter la période de fonctionnement sans backup 'sec'.
Merci pour vos lumières,
Le bug suivant semble te concerner : https://github.com/zfsonlinux/zfs/issues/840 Tu peux essayer : #1 la dernière release ZoL (0.6.5.8) si ça ne passe pas, c'est que le patch proposé n'a pas été intégré dedans, et donc il va te falloir compiler ZoL avec :
https://github.com/zfsonlinux/zfs/commit/d14fa5dba1ad0e68e803435ac48ec1ea781...
De quoi occuper ta soirée :p
Olivier
Le 17/10/2016 à 19:13, Olivier Doucet a écrit :
Le bug suivant semble te concerner : https://github.com/zfsonlinux/zfs/issues/840 Tu peux essayer : #1 la dernière release ZoL (0.6.5.8) si ça ne passe pas, c'est que le patch proposé n'a pas été intégré dedans, et donc il va te falloir compiler ZoL avec :
https://github.com/zfsonlinux/zfs/commit/d14fa5dba1ad0e68e803435ac48ec1ea781...
De quoi occuper ta soirée :p
La lecture du thread en détail m'a déjà bien occupé la soirée, merci ;-)
Donc j'ai plusieurs options : 1) smartctl -l scterc,70,70 /dev/disk/by-id/wwn-0x50014ee208b4df37 (le disque à moitié H.S.) 2) Débrancher physiquement le disque fautif de la machine (ou tout autre équivalent potentiellement foireux en cli avec le mptsas) 3) Patcher/upgrader mon ZFS qui a dû être installé via le package ubuntu.
Pas super chaud pour jouer avec des données en prod même si c'est du backup. Certains clients pourraient mettre des plombes à réuploader toutes les données si je les perds. Et avec la loi des séries ...
Donc je vais attendre sagement que mon zfs send/receive sur une autre machine se termine en croisant les doigts pour que ça ne foire pas totalement dans l'intervalle et je testerais les solutions dans l'ordre.
Je vous redis ça dans quelques jours.
Julien
Le 18/10/2016 à 11:05, Julien Escario a écrit :
Donc j'ai plusieurs options :
- smartctl -l scterc,70,70 /dev/disk/by-id/wwn-0x50014ee208b4df37 (le disque à
moitié H.S.) 2) Débrancher physiquement le disque fautif de la machine (ou tout autre équivalent potentiellement foireux en cli avec le mptsas) 3) Patcher/upgrader mon ZFS qui a dû être installé via le package ubuntu.
Donc, finalement, après avoir pesé le pour et le contre, j'ai tout simplement fait un : # zpool offline backuppool wwn-0x50014ee208b4df37
Du coup, le remplacement s'est fait en lisant les données à partir du disque miroir sain et plus de celui qui était en train de mourir.
Ca vient de terminer, tout bien. Il a juste fallu que je fasse un clear pour virer les compteurs d'erreurs qui traînaient.
En revanche, maintenant, il veut que je lui fasse un zpool upgrade. C'est sans risque ça ? Je peux y aller à chaud ou je fais export/import avant ? (je précise que le pool n'est pas mon boot, j'ai deux petits SSD à côté pour ça).
Thx, Julien
Le 10/17/16 à 18:04, Julien Escario a écrit :
Bonsoir, Un disque d'un zpool est mort (jusque là, rien d'exceptionnel).
J'ai ajouté un disque, rebooté la machine (impossible de faire détecter le nouveau disque via l'outil de la carte RAID). Un serveur de backup, rien de bien grave.
Le soucis c'est qu'en rebootant le disque mort est revenu en ligne (je me demande si ce n'est pas un soucis de backplane d'ailleurs).
J'ai gaiement fait un : # zpool replace backuppool wwn-0x50014ee208b4df37 /dev/disk/by-id/wwn-0x50014ee0aed608b3
je fait tjs zpool attach ; zpool offline; zpool detach ( pour des motifs oubliés)...
...
Le soucis, c'est qu'il semblerait que ca incrémente tout doucement les valeurs de READ et CKSUM. J'imagine que ce sont des erreurs lecture et checksum.
Ca ne m'embêterait pas si à chaque fois que c'est incrémenté, le resilvering ne repartait pas à zéro ...
Du coup, j'ai l'impression que mon resilver ne finira jamais (il tourne depuis quelques jours déjà).
Une idée sur la façon dont je peux m'en sortir ? C'est un serveur de backup donc je peux mettre hors ligne quelques heures mais si je perds les données, ça va me prendre DES PLOMBES à tout remettre, sans compter la période de fonctionnement sans backup 'sec'.
* déconnecter le disque fautif (physiquement ou logiquement via le controleur) * oux reboot en single user/avant zpool import et invalider le tag zpool sur le disque fautif ( wipefs -a /dev/... ?) cad rendre se disque non reconnu par zfs.
mes 2centimes...
-
Julien Escario -
Olivier Doucet -
Un