December 2020 - FRsAG

Proxmox 6.3-2 et Pool LVM-Thin
by Pi Droid 07 Dec '20

07 Dec '20

Hello, TL;DR : Comment gérer efficacement les pools LVM-Thin sous proxmox ? sans risque de crash dû à des metadata à 100% ? Il y a quelque temps, j'avais basculé mes "datastores" Proxmox d'un traditionnel LVM à du LVM-Thin pour diverses raisons (snapshot, clone, overcommitment avec discard ...) Seulement, voilà, le 23/11/20 la VM 118 de type "NAS" (samba) voit son disque dédié aux données en erreur au fur et à mesure que l'on stocke dessus avec notamment la perte significative de données (Cf plus bas pour les logs) puis fini par basculer régulièrement en read only jusqu'au 29/11/20 (oui... je pense que vous noterez ici la concordance avec un potentiel petit souci de monitoring et je ne vous parle pas de la fin de vie de mon backup hors site chez C14... ). Après de nombreuses investigations, je découvre que le pool LVM-Thin sur lequel était le LV dédié aux données affiche un taux d'occupation de metadata à 100%. Quelques infos qui aideront, je l'espère, à la compréhension : >>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>> ~# vgs v2cold VG #PV #LV #SN Attr VSize VFree v2cold 1 11 0 wz--n- 16.37t 1.08t ~# lvs -a v2cold LV VG Attr LSize Pool Origin Data% Meta% Move Log Cpy%Sync Convert data2cold v2cold twi-aotz-- 11.29t 52.09 38.59 [data2cold_tdata] v2cold Twi-ao---- 11.29t [data2cold_tmeta] v2cold ewi-ao---- 288.00m [lvol0_pmspare] v2cold ewi------- 128.00m ressource2cold v2cold -wi-ao---- 4.00t ... vm-118-disk-0 v2cold Vwi-a-tz-- <3.91t data2cold 31.33 vm-118-disk-1 v2cold Vwi-aotz-- <3.91t data2cold 31.05 <<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<< Afin de résoudre au plus vite la situation, voici les actions menées : - arrêt de toutes les vm utilisant data2cold - augmentation des metadata pour ce pool via la commande : lvextend --poolmetadatasize +160M v2cold/data2cold - augmentation du lv-thin suite à warning sur manque d'espace : lvextend -L +300G v2cold/data2cold - tentative de redémarrage de la VM 118 en question (boucle de : boot + fsck + test d'écriture) mais ca retombe toujours en erreur. J'en ai conclu (à tort ?) que le LV vm-118-disk-0 de la VM était mort. - création d'un autre LV (vm-118-disk-1) sur ce même pool + restauration de backup et switch entre les deux LV sur la VM - la VM refonctionne à nouveau Maintenant après vérification, il est nécessaire de restaurer les autres VM également. Seulement voilà... J'aimerai fiabiliser mes pool LVM-Thin... J'ai lu de très très nombreux documents et sites sur le sujet (le plus pertinent et complet à mes yeux pour ceux qui veulent : https://bugzilla.proxmox.com/show_bug.cgi?id=1241 ) et suis "ravi" de voir que je ne suis pas le seul à avoir rencontré ce problème... Pour autant je n'ai pas trouvé de solution fiable et pérenne. En effet, voici mes conclusions : - La commande d'augmentation des metadata pour un pool n'est pas la bonne (ou n'est pas complète). Bref, je ne suis pas parvenu à augmenter le lvol0_pmspare alors que ce dernier est nécessaire pour les snapshots et réparations si j'ai bien compris. - J'ai tenté de calculer la taille des metadata avec la formule <ThinPool Size> / <Chunk Size> * 64 Ce qui a donné pour mes 3 pools : data0hot (taille 930G, chunk 512K) : 122 Mo data1middle (taille 1,64T, chunk 1M) : 111 Mo data2cold (taille 11,3T, chunk 2M) : 379 Mo Complètement décorrélé de ce que j'ai sous les yeux... - J'ai découvert les options thin_pool_autoextend_threshold et thin_pool_autoextend_percent dont l'interprétation varie selon la source (pas oser expérimenter du coup...) - Ma peur de me retrouver dans une situation encore plus dégradée me rend très réticent à toute expérimentation (heureusement seul data2cold est à refaire pour le moment). Et ma question : Comment bien gérer les LVM Thin-pool sous proxmox ? Je prends tout autre conseil également ! Merci d'avance, pidroid PS : concernant les incidents "monitoring" et "backup hors site", ils seront traités dans les plus bref délais.. je l'espère :-P ############################################################################### Kern.log de la VM 118: >>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>> Nov 29 00:32:17 vm-118 kernel: [ 772.386502] EXT4-fs error (device dm-0): ext4_ext_map_blocks:4321: inode #82575362: comm kworker/u4:1: bad extent address lblock: 122881, depth:$ Nov 29 00:32:17 vm-118 kernel: [ 772.388484] EXT4-fs (dm-0): Delayed block allocation failed for inode 82575362 at logical offset 122881 with max blocks 2048 with error 117 Nov 29 00:32:17 vm-118 kernel: [ 772.388587] EXT4-fs (dm-0): This should not happen!! Data will be lost Nov 29 00:32:17 vm-118 kernel: [ 772.388587] Nov 29 00:32:17 vm-118 kernel: [ 772.426374] sd 2:0:0:2: [sdb] tag#169 FAILED Result: hostbyte=DID_OK driverbyte=DRIVER_SENSE Nov 29 00:32:17 vm-118 kernel: [ 772.426382] sd 2:0:0:2: [sdb] tag#169 Sense Key : Aborted Command [current] Nov 29 00:32:17 vm-118 kernel: [ 772.426384] sd 2:0:0:2: [sdb] tag#169 Add. Sense: I/O process terminated Nov 29 00:32:17 vm-118 kernel: [ 772.426390] sd 2:0:0:2: [sdb] tag#169 CDB: Write(16) 8a 00 00 00 00 00 9d 9e 51 50 00 00 00 08 00 00 Nov 29 00:32:17 vm-118 kernel: [ 772.426393] print_req_error: I/O error, dev sdb, sector 2644398416 Nov 29 00:32:17 vm-118 kernel: [ 772.426472] Buffer I/O error on dev dm-0, logical block 330549546, lost async page write <<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<

8 16

[TECH] question gestion centralisée d’utilisateurs sur Apple
by Olivier Vailleau 07 Dec '20

07 Dec '20

Bonjour la liste, Nous avons un petit paquet d'ordinateurs Apple utilisés dans un cadre pédagogique avec des élèves (adultes) pour du travail sur les suites Adobe et autres. Nous souhaitons pouvoir gérer ces élèves en tant qu'utilisateurs de façon à ce qu'ils puissent se connecter sur les Mac, via un outil comme ActiveDirectory dans le monde des pc. Apparemment, dans le monde Apple, c'est OpenDirectory. Est-ce que le service "Opendirectory" n'existe qu'à travers un apple server ? Est-ce que les clients Apple sont capables de se connecter à un autre annuaire, genre ActiveDirectory, ou autres annuaires LDAP annexes qu'on peut trouver dans des NAS comme le Directory Service de Synology ? Merci d'avance pour vos réponses, Olivier.

5 4

Re: [FRsAG] Cessation d'activité
by Guillaume Tournat 06 Dec '20

06 Dec '20

Bonjour Ceci peut m’intéresser. Vous pouvez me contacter en privé sur : guillaume (A) ironie.fr Même si je préfère Nginx aujourd’hui à Apache ;-) > Le 6 déc. 2020 à 11:57, Jonathan Leroy | Inikup via FRsAG <frsag(a)frsag.org> a écrit : > > jonathan(a)inikup.com

1 0

Re: [FRsAG] Cessation d'activité
by Guillaume Tournat 06 Dec '20

06 Dec '20

Bonjour Ceci peut m’intéresser. Vous pouvez me contacter en privé sur : guillaume (A) ironie.fr Même si je préfère Nginx aujourd’hui à Apache ;-) > Le 6 déc. 2020 à 11:57, Jonathan Leroy | Inikup via FRsAG <frsag(a)frsag.org> a écrit : > > jonathan(a)inikup.com

1 0

Re: [FRsAG] cold backup, vous connaissez du "vrai" glacier ?
by Daniel Caillibaud 03 Dec '20

03 Dec '20

Le 02/12/20 à 16h41, Yann Pretot <yann(a)pretot.fr> a écrit : > Hello Daniel, > > AWS fait ça dans Glacier avec les Vault Locks. Tu peux définir une > politique de conservation pour une durée donnée, et tant qu’elle n’expire > pas, rien ni personne ne peut supprimer le contenu de tes archives. > > La FAQ donne un bon premier aperçu du fonctionnement : > https://aws.amazon.com/glacier/faqs/?nc1=h_ls#Vault_Lock Merci Yann. À voir comment implémenter ça coté client, mais ça semble pas si compliqué - créer un coffre-fort https://docs.aws.amazon.com/amazonglacier/latest/dev/creating-vaults-cli.ht… - envoyer dedans des fichiers chiffrés https://docs.aws.amazon.com/cli/latest/reference/glacier/upload-archive.html - verrouiller le coffre-fort https://docs.aws.amazon.com/cli/latest/reference/glacier/initiate-vault-loc… https://docs.aws.amazon.com/amazonglacier/latest/dev/vault-access-policy.ht… https://docs.aws.amazon.com/amazonglacier/latest/dev/vault-lock-policy.html https://docs.aws.amazon.com/cli/latest/reference/glacier/complete-vault-loc… Reste à voir la gestion de la durée de vie, pas vu si on devait mettre le TTL sur le vault ou sur chaque archive qu'on envoie dedans, mais ça doit pas être si compliqué (dans les exemple trouvés on interdit l'effacement pendant une durée mais ensuite faut le lancer). Sur https://docs.aws.amazon.com/amazonglacier/latest/dev/vault-lock.html et https://docs.aws.amazon.com/amazonglacier/latest/dev/vault-lock-policy.html ils expliquent comment verrouiller les droits d'accès du vault, mais ça parle pas d'expiration et suppression automatique. Par ailleurs, d'après ce que je comprends, si le propio du compte aws arrête de payer ça supprime tout (mais ça c'est le cas partout). Reste à demander à ceux qui se disent "S3 compliant" s'ils implémentent tout ça (pas sûr, S3 ≠ S3 glacier), et choisir le presta. -- Daniel L’arithmétique, c’est être capable de compter jusqu’à vingt sans enlever ses chaussures. Walt Disney

3 3

Antivirus Raspbian ARM v8
by Hugo SIMANCAS 01 Dec '20

01 Dec '20

Bonjour, Je cherche plusieurs antivirus pour Raspbian ARM v8. Scan de fichier uniquement. une idée hormis ClamAV ? Payant ou non Merci d'avance Hugo Les informations contenues dans ce courrier électronique sont confidentielles et protégées par le secret professionnel. En tout état de cause, elles ne sont destinées qu'à la personne ou entreprise dont le nom est mentionné ci-dessus. Veuillez aviser l'expéditeur de toute difficulté ou de toute erreur dans la transmission de ce document. Si vous n'êtes pas le destinataire du présent courrier, vous n'êtes pas autorisé, sous peine de poursuites à en prendre des copies, le divulguer ou le diffuser. La présence de cette note prouve également que ce message électronique a été vérifié par un logiciel anti-virus.

4 6